​
Что такое чанкинг?

Документы, импортированные в базы знаний, разбиваются на меньшие сегменты — чанки. Представьте чанкинг как разбиение большой книги на главы и абзацы: в одном огромном блоке текста быстро найти нужную информацию невозможно, а хорошо организованные разделы делают поиск эффективным. Когда пользователи задают вопросы, система ищет среди этих чанков релевантную информацию и передаёт её LLM в качестве контекста. Без чанкинга обработка целых документов на каждый запрос была бы медленной и неэффективной. Ключевые параметры чанка
  • Разделитель: символ или последовательность, по которым разбивается текст. Например, \n\n разбивает по разрывам абзацев, \n — по разрывам строк.
    Разделители удаляются во время чанкинга. Например, при использовании A в качестве разделителя строка CBACD разбивается на CB и CD.Чтобы избежать потери информации, используйте символы, не относящиеся к содержимому и не встречающиеся в ваших документах естественным образом.
  • Максимальная длина чанка: максимальный размер каждого чанка в символах. Текст, превышающий этот предел, принудительно разбивается независимо от настроек разделителя.

​
Выбор режима чанкинга

Режим чанкинга нельзя изменить после создания базы знаний. Однако такие настройки чанкинга, как разделитель и максимальная длина чанка, можно изменить в любой момент.

​
Обзор режимов

В режиме «Общий» все чанки используют одни и те же настройки. Совпавшие чанки возвращаются напрямую как результаты поиска.Настройки чанкингаПомимо разделителя и максимальной длины чанка, вы также можете настроить параметр перекрытие чанков, который задаёт, сколько символов перекрывается между соседними чанками. Это помогает сохранить смысловые связи и не допустить разрыва важной информации на границах чанков.Например, при перекрытии в 50 символов последние 50 символов одного чанка также появятся как первые 50 символов следующего чанка.

​
Краткое сравнение

​
Предварительная обработка текста перед чанкингом

Перед разбиением текста на чанки вы можете очистить нерелевантное содержимое, чтобы повысить качество поиска.
  • Заменить идущие подряд пробелы, переводы строк и табуляции
    • Три и более идущих подряд перевода строки → два перевода строки
    • Несколько пробелов → один пробел
    • Табуляции, разрывы страниц и специальные пробелы Unicode → обычный пробел
  • Удалить все URL и адреса электронной почты
    Эта настройка игнорируется в режиме Полный документ.

​
Включение автогенерации сводок

Доступно только для самостоятельно размещённых развёртываний.
Автоматически генерируйте сводки для всех чанков, чтобы повысить их находимость при поиске. Сводки также подвергаются эмбеддингу и индексируются для поиска. Когда сводка совпадает с запросом, возвращается и соответствующий ей чанк. Вы можете вручную отредактировать автоматически сгенерированные сводки или позже перегенерировать их для отдельных документов. Подробнее см. Управление содержимым базы знаний.
Если вы выберете LLM с поддержкой распознавания изображений, сводки будут генерироваться на основе как текста чанка, так и любых прикреплённых изображений.

​
Предпросмотр чанков

Нажмите Предпросмотр, чтобы увидеть, как будет разбито ваше содержимое. Для быстрого ознакомления отображается ограниченное число чанков. Если результаты не полностью соответствуют вашим ожиданиям, выберите наиболее близкую конфигурацию — отдельные чанки можно вручную доработать позже. Подробнее см. Управление содержимым базы знаний. Для нескольких документов нажмите имя файла вверху панели предпросмотра, чтобы переключаться между ними.