Интеграция с Opik

​

Что такое Opik

Opik — это платформа с открытым исходным кодом, предназначенная для оценки, тестирования и мониторинга приложений на основе больших языковых моделей (LLM). Она разработана компанией Comet и нацелена на то, чтобы сделать совместную работу, тестирование и мониторинг LLM-приложений более удобными и наглядными.

---

​

Как настроить Opik

​

1. Зарегистрируйтесь или войдите в Opik

​

2. Получите ваш API-ключ для Opik

Получите ваш API-ключ для Opik в меню пользователя в правом верхнем углу. Нажмите API Key, затем нажмите на сам ключ, чтобы скопировать его:

​

3. Интегрируйте Opik с Интеллос

Настройте Opik в приложении Интеллос. Откройте приложение, которое нужно отслеживать, откройте раздел Мониторинг в боковом меню и выберите на странице Отслеживание производительности приложения. После нажатия на настройку вставьте API-ключ и имя проекта, созданные в Opik, в конфигурацию и сохраните. После успешного сохранения вы можете просматривать статус мониторинга на текущей странице.

​

Просмотр данных мониторинга в Opik

После настройки вы можете отлаживать или использовать приложение Интеллос как обычно. Вся история использования отслеживается в Opik. Перейдя в Opik, вы можете просматривать подробные журналы операций приложений Интеллос в дашборде. Подробные журналы операций LLM в Opik помогут вам оптимизировать производительность вашего приложения Интеллос.

​

Список данных мониторинга

​

Информация трассировки Workflow/Chatflow

Используется для отслеживания рабочих процессов Workflow и Chatflow

Workflow	Opik Trace
workflow_app_log_id/workflow_run_id	id
user_session_id	- помещается в metadata
name
start_time	start_time
end_time	end_time
inputs	inputs
outputs	outputs
Потребление токенов модели	usage_metadata
metadata	metadata
error	error
[workflow]	tags
”conversation_id/none for workflow”	conversation_id в metadata

Информация трассировки Workflow

• workflow_id — Уникальный идентификатор рабочего процесса
• conversation_id — ID разговора
• workflow_run_id — ID текущего запуска
• tenant_id — ID арендатора
• elapsed_time — Время, затраченное на текущий запуск
• status — Статус запуска
• version — Версия рабочего процесса
• total_tokens — Всего токенов, использованных в текущем запуске
• file_list — Список обработанных файлов
• triggered_from — Источник, запустивший текущий запуск
• workflow_run_inputs — Входные данные текущего запуска
• workflow_run_outputs — Выходные данные текущего запуска
• error — Ошибки, возникшие во время текущего запуска
• query — Запрос, использованный во время запуска
• workflow_app_log_id — ID журнала приложения рабочего процесса
• message_id — Связанный ID сообщения
• start_time — Время начала запуска
• end_time — Время окончания запуска
• workflow node executions — Информация о выполнении узлов рабочего процесса
• Метаданные
  • workflow_id — Уникальный идентификатор рабочего процесса
  • conversation_id — ID разговора
  • workflow_run_id — ID текущего запуска
  • tenant_id — ID арендатора
  • elapsed_time — Время, затраченное на текущий запуск
  • status — Статус запуска
  • version — Версия рабочего процесса
  • total_tokens — Всего токенов, использованных в текущем запуске
  • file_list — Список обработанных файлов
  • triggered_from — Источник, запустивший текущий запуск

​

Информация трассировки сообщений

Используется для отслеживания связанных с LLM разговоров

Чат	Opik LLM
message_id	id
user_session_id	- помещается в metadata
”llm”	name
start_time	start_time
end_time	end_time
inputs	inputs
outputs	outputs
Потребление токенов модели	usage_metadata
metadata	metadata
[“message”, conversation_mode]	tags
conversation_id	conversation_id в metadata

Информация трассировки сообщений

• message_id — ID сообщения
• message_data — Данные сообщения
• user_session_id — ID пользовательской сессии
• conversation_model — Режим разговора
• message_tokens — Количество токенов в сообщении
• answer_tokens — Количество токенов в ответе
• total_tokens — Общее количество токенов в сообщении и ответе
• error — Информация об ошибке
• inputs — Входные данные
• outputs — Выходные данные
• file_list — Список обработанных файлов
• start_time — Время начала
• end_time — Время окончания
• message_file_data — Данные файла, связанного с сообщением
• conversation_mode — Режим разговора
• Метаданные
  • conversation_id — ID разговора
  • ls_provider — Поставщик модели
  • ls_model_name — ID модели
  • status — Статус сообщения
  • from_end_user_id — ID отправляющего пользователя
  • from_account_id — ID отправляющей учётной записи
  • agent_based — Основано ли сообщение на агенте
  • workflow_run_id — ID запуска рабочего процесса
  • from_source — Источник сообщения

​

Информация трассировки модерации

Используется для отслеживания модерации разговоров

Модерация	Opik Tool
user_id	- помещается в metadata
“moderation”	name
start_time	start_time
end_time	end_time
inputs	inputs
outputs	outputs
metadata	metadata
[“moderation”]	tags

Информация трассировки модерации

• message_id — ID сообщения
• user_id: ID пользователя
• workflow_app_log_id — ID журнала приложения рабочего процесса
• inputs — Входные данные модерации
• message_data — Данные сообщения
• flagged — Помечен ли контент для внимания
• action — Конкретные предпринятые действия
• preset_response — Предустановленный ответ
• start_time — Время начала модерации
• end_time — Время окончания модерации
• Метаданные
  • message_id — ID сообщения
  • action — Конкретные предпринятые действия
  • preset_response — Предустановленный ответ

​

Информация трассировки предлагаемых вопросов

Используется для отслеживания предлагаемых вопросов

Предлагаемый вопрос	Opik LLM
user_id	- помещается в metadata
”suggested_question”	name
start_time	start_time
end_time	end_time
inputs	inputs
outputs	outputs
metadata	metadata
[“suggested_question”]	tags

Информация трассировки сообщений

• message_id — ID сообщения
• message_data — Данные сообщения
• inputs — Входной контент
• outputs — Выходной контент
• start_time — Время начала
• end_time — Время окончания
• total_tokens — Количество токенов
• status — Статус сообщения
• error — Информация об ошибке
• from_account_id — ID отправляющей учётной записи
• agent_based — Основано ли сообщение на агенте
• from_source — Источник сообщения
• model_provider — Поставщик модели
• model_id — ID модели
• suggested_question — Предлагаемый вопрос
• level — Уровень статуса
• status_message — Сообщение о статусе
• Метаданные
  • message_id — ID сообщения
  • ls_provider — Поставщик модели
  • ls_model_name — ID модели
  • status — Статус сообщения
  • from_end_user_id — ID отправляющего пользователя
  • from_account_id — ID отправляющей учётной записи
  • workflow_run_id — ID запуска рабочего процесса
  • from_source — Источник сообщения

​

Информация трассировки поиска по набору данных

Используется для отслеживания поиска по базе знаний

Поиск по набору данных	Opik Retriever
user_id	- помещается в metadata
”dataset_retrieval”	name
start_time	start_time
end_time	end_time
inputs	inputs
outputs	outputs
metadata	metadata
[“dataset_retrieval”]	tags
message_id	parent_run_id

Информация трассировки поиска по набору данных

• message_id — ID сообщения
• inputs — Входной контент
• documents — Данные документов
• start_time — Время начала
• end_time — Время окончания
• message_data — Данные сообщения
• Метаданные
  • message_id — ID сообщения
  • ls_provider — Поставщик модели
  • ls_model_name — ID модели
  • status — Статус сообщения
  • from_end_user_id — ID отправляющего пользователя
  • from_account_id — ID отправляющей учётной записи
  • agent_based — Основано ли сообщение на агенте
  • workflow_run_id — ID запуска рабочего процесса
  • from_source — Источник сообщения

​

Информация трассировки инструментов

Используется для отслеживания вызова инструментов

Tool	Opik Tool
user_id	- помещается в metadata
tool_name	name
start_time	start_time
end_time	end_time
inputs	inputs
outputs	outputs
metadata	metadata
[“tool”, tool_name]	tags

​

Информация трассировки инструментов

• message_id — ID сообщения
• tool_name — Имя инструмента
• start_time — Время начала
• end_time — Время окончания
• tool_inputs — Входные данные инструмента
• tool_outputs — Выходные данные инструмента
• message_data — Данные сообщения
• error — Информация об ошибке, если есть
• inputs — Входные данные сообщения
• outputs — Выходные данные сообщения
• tool_config — Конфигурация инструмента
• time_cost — Затраченное время
• tool_parameters — Параметры инструмента
• file_url — URL связанного файла
• Метаданные
  • message_id — ID сообщения
  • tool_name — Имя инструмента
  • tool_inputs — Входные данные инструмента
  • tool_outputs — Выходные данные инструмента
  • tool_config — Конфигурация инструмента
  • time_cost — Затраченное время
  • error — Информация об ошибке, если есть
  • tool_parameters — Параметры инструмента
  • message_file_id — ID файла сообщения
  • created_by_role — Роль создателя
  • created_user_id — ID пользователя-создателя

Информация трассировки генерации имени Используется для отслеживания генерации заголовка разговора

Генерация имени	Opik Tool
user_id	- помещается в metadata
”generate_conversation_name”	name
start_time	start_time
end_time	end_time
inputs	inputs
outputs	outputs
metadata	metadata
[“generate_name”]	tags

Информация трассировки генерации имени

• conversation_id — ID разговора
• inputs — Входные данные
• outputs — Сгенерированное имя разговора
• start_time — Время начала
• end_time — Время окончания
• tenant_id — ID арендатора
• Метаданные
  • conversation_id — ID разговора
  • tenant_id — ID арендатора