Шаг 2. Оркестрация конвейера знаний

Представьте, что вы настраиваете производственную линию на заводе, где каждая станция (узел) выполняет определённую задачу, а вы соединяете их, чтобы собрать детали в готовый продукт. Это и есть оркестрация конвейера знаний — визуальный конструктор рабочих процессов, который позволяет настраивать последовательности обработки данных через интерфейс с перетаскиванием. Он даёт контроль над приёмом документов, их обработкой, чанкингом, индексацией и стратегиями поиска. В этом разделе вы познакомитесь с процессом конвейера знаний, разберётесь в разных узлах и их настройке, а также научитесь создавать собственные рабочие процессы обработки данных, чтобы эффективно управлять базой знаний и оптимизировать её.

​

Состояние интерфейса

При входе на холст оркестрации конвейера знаний вы увидите:

• Состояние вкладок: вкладки «Документы», «Тестирование поиска» и «Настройки» будут затенены и пока недоступны
• Обязательные шаги: прежде чем загружать файлы, необходимо завершить оркестрацию конвейера знаний и опубликовать его

Отправная точка зависит от выбранного ранее шаблона. Если вы выбрали Пустой конвейер знаний, вы увидите холст, на котором находится только узел База знаний. Рядом с узлом будет заметка с руководством, которое проведёт вас по основным шагам создания конвейера. Если вы выбрали конкретный шаблон конвейера, на холсте сразу появится готовый рабочий процесс, который можно использовать или изменить.

​

Полный процесс конвейера знаний

Прежде чем начать, разберём процесс конвейера знаний, чтобы понять, как ваши документы превращаются в базу знаний с возможностью поиска. Конвейер знаний включает следующие ключевые шаги:

1. Источник данных: контент из различных источников данных (локальные файлы, Notion, веб-страницы и т. п.)
2. Обработка данных: обработка и преобразование контента данных
   • Экстрактор: разбор и структурирование содержимого документа
   • Чанкер: разделение структурированного содержимого на удобные сегменты
3. База знаний: настройка структуры чанков и параметров поиска
4. Поле пользовательского ввода: определение параметров, которые пользователи конвейера должны вводить для обработки данных
5. Тестирование и публикация: проверка и официальная активация базы знаний

---

​

Шаг 1. Источник данных

В базе знаний можно выбрать один или несколько источников данных. На данный момент Интеллос поддерживает 4 типа источников данных: загрузка файлов, онлайн-хранилище, онлайн-документы и веб-краулер. Дополнительные источники данных доступны в Интеллос Маркетплейс.

​

Загрузка файлов

Загружайте локальные файлы перетаскиванием или выбором файла.

---

​

Онлайн-документ

​

Notion

Интегрируйтесь со своим рабочим пространством Notion, чтобы беспрепятственно импортировать страницы и базы данных и всегда поддерживать базу знаний в актуальном состоянии автоматически.

---

​

Веб-краулер

Преобразуйте веб-контент в форматы, которые легко считываются большими языковыми моделями. База знаний поддерживает Jina Reader и Firecrawl.

​

Jina Reader

Инструмент веб-разбора с открытым исходным кодом, предоставляющий простые и удобные API-сервисы. Подходит для быстрого сбора и обработки веб-контента.

​

Firecrawl

Инструмент веб-разбора с открытым исходным кодом, предлагающий более тонкие настройки контроля сбора и API-сервисы. Он поддерживает глубокий обход сложных структур сайтов и рекомендуется для пакетной обработки и точного контроля.

---

​

Онлайн-хранилище

Подключите свои облачные хранилища (например, Google Drive, Dropbox, OneDrive) и позвольте Интеллос автоматически получать ваши файлы. Просто выбирайте и импортируйте нужные документы для обработки без ручной выгрузки и повторной загрузки файлов.

---

​

Шаг 2. Настройка инструментов обработки данных

На этом этапе инструменты извлекают, разбивают на чанки и преобразуют контент для оптимального хранения и поиска в базе знаний. Представьте этот шаг как подготовку блюда. Мы очищаем сырьё, нарезаем его на небольшие кусочки и всё раскладываем, чтобы блюдо можно было быстро приготовить, когда кто-то его закажет.

​

Обработчик документов

Документы бывают разных форматов — PDF, XLSX, DOCX. Однако LLM не может читать эти файлы напрямую. Здесь на помощь приходят экстракторы. Они поддерживают множество форматов и выполняют преобразование, чтобы ваш контент был готов к следующему шагу для LLM. Вы можете выбрать Doc Extractor от Интеллос для обработки файлов или подобрать инструменты под свои задачи в Маркетплейс, где доступны Интеллос Extractor и сторонние инструменты, например Unstructured.

Изображения в документах

Изображения в документах можно извлекать с помощью подходящих обработчиков документов. Извлечённые изображения привязываются к соответствующим чанкам, могут управляться независимо и возвращаются вместе с этими чанками при поиске.URL-адреса извлечённых изображений остаются в тексте чанка, но вы можете без опасений удалить эти URL, чтобы текст оставался чистым, — на извлечённые изображения это не повлияет.Каждый чанк поддерживает до 10 прикреплённых изображений; изображения сверх этого лимита извлекаться не будут.Если выбранный обработчик не извлёк ни одного изображения, Интеллос автоматически извлечёт изображения JPG, JPEG, PNG и GIF размером менее 2 МБ, на которые ссылаются доступные URL с использованием следующего синтаксиса Markdown:

• ![alt text](image_url)
• ![alt text](image_url "optional title")

Для самостоятельно размещённых развёртываний эти лимиты можно настроить через переменные среды:

• Максимальный размер изображения: ATTACHMENT_IMAGE_FILE_SIZE_LIMIT
• Максимальное число вложений на чанк: SINGLE_CHUNK_ATTACHMENT_LIMIT

Если в настройках индексации вы выберете мультимодальную эмбеддинг-модель (отмеченную значком Распознавание изображений), извлечённые изображения также будут эмбеддированы и проиндексированы для поиска.

​

Doc Extractor

Будучи центром обработки информации, узел экстрактора документов идентифицирует и считывает файлы из входных переменных, извлекает информацию и в итоге преобразует её в формат, совместимый со следующим узлом.

​

Интеллос Extractor

Интеллос Extractor — встроенный парсер документов от Интеллос. Он поддерживает множество распространённых форматов файлов и специально оптимизирован под файлы Doc. Он может извлекать и сохранять изображения из документов и возвращать URL-адреса изображений.

​

Unstructured

---

​

Чанкер

Подобно ограниченному вниманию человека, большие языковые модели не могут обрабатывать огромный объём информации одновременно. Поэтому после извлечения информации чанкер разбивает большое содержимое документа на меньшие, удобные для работы сегменты (называемые «чанками»). Разным документам нужны разные стратегии чанкинга. Руководство по продукту лучше всего разбивать по функциям продукта, а научные статьи — по логическим разделам. Интеллос предлагает 3 типа чанкеров для различных типов документов и сценариев использования.

​

Обзор разных чанкеров

​

Общие правила предварительной обработки текста

Все чанкеры поддерживают эти опции очистки текста:

​

Общий чанкер

Базовая обработка чанкинга документов, подходящая для документов с относительно простой структурой. Вы можете настроить правила чанкинга текста и предобработки текста согласно следующей конфигурации. Входная и выходная переменная Настройки чанкинга

​

Родительско-дочерний чанкер

Используя двухуровневую структуру разбиения для разрешения противоречия между контекстом и точностью, родительско-дочерний чанкер достигает баланса между точным сопоставлением и исчерпывающей контекстной информацией в системах генерации с дополненной выборкой (RAG). Как работает родительско-дочерний чанкер Дочерние чанки для сопоставления запроса: небольшие точные сегменты информации (обычно отдельные предложения), сопоставляемые с пользовательскими запросами с высокой точностью. Родительские чанки дают богатый контекст: более крупные блоки контента (абзацы, разделы или целые документы), содержащие совпавшие дочерние чанки и дающие большой языковой модели (LLM) исчерпывающую справочную информацию. Настройки чанкинга

​

Обработчик «вопрос-ответ»

Объединяя извлечение и чанкинг в одном узле, обработчик «вопрос-ответ» специально предназначен для структурированных наборов данных «вопрос-ответ» из файлов CSV и Excel. Идеально подходит для списков FAQ, графиков смен и любых табличных данных с чёткими парами «вопрос-ответ». Входная и выходная переменная Настройка переменных

---

​

Шаг 3. Настройка узла База знаний

Теперь, когда ваши документы обработаны и разбиты на чанки, пора настроить, как они будут храниться и извлекаться. Здесь вы можете выбрать разные методы индексации и стратегии поиска в зависимости от ваших конкретных потребностей. Настройка узла База знаний включает: входную переменную, структуру чанков, метод индексации и параметры поиска.

​

Структура чанков

Структура чанков определяет, как база знаний организует и индексирует содержимое ваших документов. Выберите режим структуры, который лучше всего соответствует типу документа, сценарию использования и затратам. База знаний поддерживает три режима чанков: Общий режим, Родительско-дочерний режим и режим «Вопрос-ответ». Если вы создаёте базу знаний впервые, рекомендуем выбрать Родительско-дочерний режим.

​

Общий режим

Подходит для большинства стандартных сценариев обработки документов. Он предоставляет гибкие опции индексации — вы можете выбирать подходящие методы индексации в зависимости от требований к качеству и затратам. Общий режим поддерживает как высококачественный, так и экономичный методы индексации, а также различные настройки поиска.

​

Родительско-дочерний режим

Он обеспечивает точное сопоставление и соответствующую контекстную информацию при поиске и подходит для профессиональных документов, требующих сохранения полного контекста. Родительско-дочерний режим поддерживает только режим HQ (Высокое качество), предлагая при поиске дочерние чанки для сопоставления запроса и родительские чанки для контекстной информации.

​

Режим «Вопрос-ответ»

Создавайте документы, в которых вопросы сочетаются с ответами, при использовании структурированных данных «вопрос-ответ». Эти документы индексируются по части с вопросом, что позволяет системе извлекать релевантные ответы на основе схожести с запросом. Режим «Вопрос-ответ» поддерживает только режим HQ (Высокое качество).

​

Входная переменная

Входные переменные получают результаты обработки от узлов обработки данных в качестве источника данных для базы знаний. Необходимо подключить вывод чанкера к базе знаний в качестве входа. Узел поддерживает разные типы стандартных входов в зависимости от выбранной структуры чанков:

• Общий режим: x Array[Chunk] — массив общих чанков
• Родительско-дочерний режим: x Array[ParentChunk] — массив родительских чанков
• Режим «Вопрос-ответ»: x Array[QAChunk] — массив чанков «вопрос-ответ»

​

Метод индексации и параметры поиска

Метод индексации определяет, как ваша база знаний строит индексы контента, а параметры поиска предоставляют соответствующие стратегии поиска на основе выбранного метода индексации. Думайте об этом так: метод индексации определяет, как организовать ваши документы, а параметры поиска говорят пользователям, какими методами они могут искать документы. База знаний предоставляет два метода индексации: Высокое качество и Экономичный, каждый из которых предлагает разные опции настройки поиска. Метод Высокое качество использует эмбеддинг-модели для преобразования чанков в числовые векторы, что помогает эффективнее сжимать и хранить большие объёмы информации. Это позволяет системе находить семантически релевантные точные ответы, даже когда формулировка вопроса пользователя не совпадает в точности с документом. В Экономичном методе каждый блок использует для поиска 10 ключевых слов без вызова эмбеддинг-моделей, не порождая затрат. Вы также можете обратиться к таблице ниже за сведениями о настройке структуры чанков, методов индексации, параметров и настроек поиска.

​

Автогенерация сводок

Автоматически генерируйте сводки для всех чанков, чтобы повысить их находимость при поиске. Сводки также эмбеддируются и индексируются для поиска. Когда сводка совпадает с запросом, возвращается и соответствующий ей чанк. Вы можете вручную отредактировать автоматически сгенерированные сводки или позже сгенерировать их заново для конкретных документов. Подробнее см. Управление содержимым базы знаний.

---

​

Шаг 4. Создание формы пользовательского ввода

Формы пользовательского ввода необходимы для сбора начальной информации, которая нужна вашему конвейеру для эффективной работы. Подобно узлу Пользовательский ввод в рабочем процессе, эта форма собирает у пользователей необходимые сведения — например, файлы для загрузки, конкретные параметры обработки документов, — гарантируя, что у вашего конвейера есть вся информация, нужная для получения точных результатов. Так вы можете создавать специализированные формы ввода для разных сценариев использования, повышая гибкость и удобство конвейера для различных источников данных или шагов обработки документов.

​

Создание формы пользовательского ввода

Создать поле пользовательского ввода можно двумя способами:

1. Интерфейс оркестрации конвейера
   Нажмите на Поле ввода, чтобы начать создание и настройку форм ввода.\
   
2. Панель параметров узла
   Выберите узел. Затем в области ввода параметров на правой панели нажмите + Создать пользовательский ввод для новых элементов ввода. Новые элементы ввода также будут собраны в Поле ввода. 

​

Добавление полей пользовательского ввода

​

Уникальные входы для каждой точки входа

Эти входы относятся к конкретному источнику данных и его нижестоящим узлам. Пользователям нужно заполнять эти поля только при выборе соответствующего источника данных — например, разные URL для разных источников данных. Как создать: нажмите кнопку + справа от источника данных, чтобы добавить поля для этого конкретного источника данных. На эти поля могут ссылаться только этот источник данных и подключённые после него узлы.

​

Глобальные входы для всех точек входа

На глобальные общие входы могут ссылаться все узлы. Эти входы подходят для универсальных параметров обработки, таких как разделители, максимальная длина чанка, настройки обработки документов и т. п. Пользователям нужно заполнять эти поля независимо от того, какой источник данных они выбрали. Как создать: нажмите кнопку + справа от Глобальных входов, чтобы добавить поля, на которые может ссылаться любой узел.

​

Поддерживаемые типы полей ввода

Конвейер знаний поддерживает семь типов входных переменных:

​

Параметры настройки полей

Все типы полей ввода включают: обязательные, необязательные и дополнительные настройки. Вы можете задать, является ли поле обязательным, отметив соответствующую опцию. После завершения настройки нажмите кнопку предпросмотра в правом верхнем углу, чтобы просмотреть интерфейс предпросмотра формы. Вы можете перетаскивать и регулировать группировки полей. Если появляется восклицательный знак, это означает, что после перемещения ссылка стала недействительной.

---

​

Шаг 5. Присвоение имени базе знаний

По умолчанию имя базы знаний будет «Untitled + число», права доступа установлены на «Только я», а значком будет оранжевая книга. Если вы импортируете её из файла DSL, будет использован сохранённый значок. Отредактируйте сведения о базе знаний, нажав Настройки на левой панели, и заполните информацию ниже:

• Имя и значок
  Выберите имя для своей базы знаний.
  Выберите эмодзи, загрузите изображение или вставьте URL изображения в качестве значка этой базы знаний.
• Описание базы знаний
  Дайте краткое описание своей базы знаний. Это помогает ИИ лучше понимать и извлекать ваши данные. Если оставить поле пустым, Интеллос применит стратегию поиска по умолчанию.
• Права доступа
  Выберите подходящие права доступа из выпадающего меню.

---

​

Шаг 6. Тестирование

Вы почти у цели! Это финальный шаг оркестрации конвейера знаний. После завершения оркестрации сначала нужно проверить всю конфигурацию. Затем выполните несколько прогонов и подтвердите все настройки. Наконец, опубликуйте конвейер знаний.

​

Проверка полноты конфигурации

Перед тестированием рекомендуется проверить полноту вашей конфигурации, чтобы избежать сбоев теста из-за отсутствующих настроек. Нажмите кнопку контрольного списка в правом верхнем углу, и система покажет все недостающие части. После завершения всех настроек вы можете предварительно посмотреть работу конвейера базы знаний через тестовые запуски, убедиться, что все настройки точны, а затем приступить к публикации.

​

Тестовый запуск

1. Запуск теста: нажмите кнопку «Тестовый запуск» в правом верхнем углу
2. Импорт тестового файла: импортируйте файлы в окне источника данных, которое появляется справа

3. Заполнение параметров: после успешного импорта заполните соответствующие параметры согласно настроенной ранее форме пользовательского ввода
4. Запуск тестового прогона: нажмите «Следующий шаг», чтобы начать тестирование всего конвейера

Во время тестирования вы можете обращаться к Журналам истории (отслеживают все записи о запусках с метками времени, статусом выполнения и сводками ввода/вывода) и Инспектору переменных (панель внизу, показывающая данные ввода/вывода для каждого узла, чтобы помочь выявить проблемы и проверить поток данных) для эффективного устранения неполадок и исправления ошибок.