Чат-боты хранят до 500 сообщений или 2000 токенов истории на один разговор. Если любой из этих лимитов превышен, самые старые сообщения удаляются, чтобы освободить место для новых.
Настройка
Написание промпта
Промпт сообщает модели, что делать, как отвечать и какие ограничения соблюдать. Он формирует поведение модели на протяжении всего разговора, поэтому воспринимайте его как описание постоянной личности, а не разовой задачи. Вот несколько советов по написанию эффективных промптов:- Задайте личность: опишите, кем должна выступать модель и какой тон использовать.
- Укажите формат вывода: опишите ожидаемую структуру, длину или стиль.
- Задайте ограничения: сообщите модели, чего избегать и какие правила соблюдать.
Создание динамических промптов с помощью переменных
Чтобы адаптировать чат-бот под разных пользователей или контексты, не переписывая промпт каждый раз, добавьте переменные для сбора нужной информации заранее. Переменные — это заполнители в промпте: каждая отображается как поле ввода, которое пользователи заполняют перед началом разговора, а их значения подставляются в промпт во время выполнения. Пользователи также могут менять значения переменных в середине разговора, и промпт соответствующим образом подстроится. Например, ассистент онбординга может использоватьrole и language, чтобы адаптировать свои ответы:
- Короткий текст
- Абзац
- Выбор
- Число
- Флажок
- Переменная на основе API
Принимает до 256 символов. Используйте для имён, адресов электронной почты, заголовков или любого короткого текстового ввода, помещающегося в одну строку.
Имя метки — это то, что конечные пользователи видят для каждого поля ввода.
Генерация или улучшение промпта с помощью ИИ
Если вы не знаете, с чего начать, или хотите доработать существующий промпт, нажмите Сгенерировать, чтобы LLM помог вам составить его. Опишите желаемое с нуля или сошлитесь наcurrent_prompt и укажите, что нужно улучшить. Для более точного результата добавьте пример в поле Идеальный результат.
Каждая генерация сохраняется как версия, поэтому вы можете свободно экспериментировать и откатываться назад.
Опора ответов на ваши собственные данные
Чтобы ответы модели опирались на ваши собственные данные, а не на общие знания, добавьте базу знаний. Каждый раз, когда пользователь отправляет сообщение, оно используется как поисковый запрос для извлечения релевантного содержимого из базы знаний, которое затем подставляется в промпт как контекст для модели.Настройка параметров поиска на уровне приложения
Чтобы точно настроить обработку результатов поиска, нажмите Настройки извлечения.Есть два уровня настроек поиска — уровень базы знаний и уровень приложения.Воспринимайте их как два последовательных фильтра: настройки базы знаний определяют исходный набор результатов, а настройки приложения дополнительно переранжируют результаты или сужают набор.
-
Настройки реранкинга
- Взвешенная оценка Относительный вес между семантическим сходством и совпадением по ключевым словам при реранкинге. Больший семантический вес отдаёт предпочтение релевантности по смыслу, а больший вес ключевых слов — точным совпадениям. Взвешенная оценка доступна только тогда, когда все добавленные базы знаний проиндексированы в режиме Высокое качество.
-
Модель повторного ранжирования
Реранк-модель для повторной оценки и переупорядочивания всех результатов на основе их релевантности запросу.
Если добавлены какие-либо мультимодальные базы знаний, выберите также мультимодальную реранк-модель (помеченную меткой Распознавание изображений). Иначе извлечённые изображения будут исключены из реранкинга и итогового вывода.
- Top K Максимальное количество лучших результатов, возвращаемых после реранкинга. Когда выбрана реранк-модель, это значение автоматически корректируется в зависимости от максимальной входной ёмкости модели (сколько текста модель может обработать за один раз).
- Порог оценки Минимальная оценка сходства для возвращаемых результатов. Результаты с оценкой ниже этого порога исключаются. Используйте более высокие пороги для более строгой релевантности или более низкие — чтобы включить более широкие совпадения.
Поиск в пределах конкретных документов
По умолчанию поиск выполняется по всей базе знаний. Чтобы ограничить поиск конкретными документами, включите ручную или автоматическую фильтрацию метаданных. Это повышает точность поиска, особенно когда ваша база знаний велика или содержит материалы для разных контекстов. О создании и управлении метаданными документов см. Метаданные.Обработка мультимодальных входных данных
Чтобы разрешить конечным пользователям загружать файлы, выберите модель с соответствующими мультимодальными возможностями. Нужные переключатели типов файлов — Распознавание изображений, Аудио или Документ — появляются, как только модель их поддерживает, и вы можете включить каждый по необходимости.Поддерживаемые модальности модели можно быстро определить по её меткам.
-
Разрешение: управляет уровнем детализации только для обработки изображений.
- Высокое: выше точность для сложных изображений, но расходует больше токенов
- Низкое: более быстрая обработка с меньшим числом токенов для простых изображений
- Метод загрузки: выберите, могут ли пользователи загружать с устройства, вставлять URL или и то, и другое.
- Лимит загрузки: максимальное количество файлов, которые пользователь может загрузить в одном сообщении.
Для самостоятельно размещённых развёртываний вы можете настроить лимиты размера файлов через следующие переменные среды:
UPLOAD_IMAGE_FILE_SIZE_LIMIT(по умолчанию: 10 MB)UPLOAD_FILE_SIZE_LIMIT(по умолчанию: 15 MB)UPLOAD_AUDIO_FILE_SIZE_LIMIT(по умолчанию: 50 MB)
Отладка и предпросмотр
В панели предпросмотра справа тестируйте свой чат-бот в реальном времени. Выберите модель, которая лучше всего подходит для вашей задачи, введите сообщение и отправьте его, чтобы увидеть, как модель отвечает. После выбора модели вы можете настроить её параметры, чтобы управлять тем, как она генерирует ответы. Доступные параметры и пресеты зависят от модели.Чтобы сравнить выводы разных моделей, нажмите Отладка как нескольких моделей, чтобы запустить до 4 моделей одновременно.