Интеграция с W&B Weave

​

Что такое W&B Weave

Weights & Biases (W&B) Weave — это фреймворк для отслеживания, экспериментов, оценки, деплоя и улучшения приложений на основе LLM. Weave спроектирован для гибкости и масштабируемости и поддерживает каждый этап разработки вашего приложения на основе LLM.

​

Как настроить Weave

​

1. Регистрация / вход

Зарегистрируйтесь или войдите в W&B Weave и получите свой API-ключ. Затем скопируйте API-ключ отсюда.

​

2. Интеграция W&B Weave с Интеллос

Настройте Weave в приложении Интеллос. Откройте приложение, которое нужно отслеживать, выберите Мониторинг в боковом меню и нажмите Отслеживание производительности приложения на странице. После нажатия на настройку вставьте API Key и имя проекта, а также при необходимости укажите W&B entity (необязательно, по умолчанию — ваше имя пользователя) в конфигурации и сохраните. После успешного сохранения вы можете просмотреть статус мониторинга на текущей странице.

​

Просмотр данных мониторинга в Weave

После настройки отладочные или рабочие данные приложений Интеллос можно отслеживать в Weave. Переключившись в Weave, вы можете просматривать подробные журналы операций приложений Интеллос в панели управления. Подробные журналы операций LLM через Weave помогут вам оптимизировать производительность вашего приложения Интеллос.

​

Перечень данных мониторинга

​

Информация трассировки Workflow/Chatflow

Используется для отслеживания рабочих процессов и чат-процессов Информация трассировки Workflow

• workflow_id — уникальный идентификатор рабочего процесса
• conversation_id — идентификатор разговора
• workflow_run_id — идентификатор текущего запуска
• tenant_id — идентификатор арендатора
• elapsed_time — время, затраченное на текущий запуск
• status — статус запуска
• version — версия рабочего процесса
• total_tokens — всего токенов, использованных в текущем запуске
• file_list — список обработанных файлов
• triggered_from — источник, запустивший текущий запуск
• workflow_run_inputs — входные данные текущего запуска
• workflow_run_outputs — выходные данные текущего запуска
• error — ошибки, возникшие во время текущего запуска
• query — запрос, использованный во время выполнения
• workflow_app_log_id — идентификатор журнала приложения рабочего процесса
• message_id — идентификатор связанного сообщения
• start_time — время начала запуска
• end_time — время окончания запуска
• workflow node executions — информация о выполнениях узлов рабочего процесса
• Metadata
  • workflow_id — уникальный идентификатор рабочего процесса
  • conversation_id — идентификатор разговора
  • workflow_run_id — идентификатор текущего запуска
  • tenant_id — идентификатор арендатора
  • elapsed_time — время, затраченное на текущий запуск
  • status — статус запуска
  • version — версия рабочего процесса
  • total_tokens — всего токенов, использованных в текущем запуске
  • file_list — список обработанных файлов
  • triggered_from — источник, запустивший текущий запуск

​

Информация трассировки сообщений

Используется для отслеживания разговоров, связанных с LLM Информация трассировки сообщений

• message_id — идентификатор сообщения
• message_data — данные сообщения
• user_session_id — идентификатор сессии пользователя
• conversation_model — режим разговора
• message_tokens — количество токенов в сообщении
• answer_tokens — количество токенов в ответе
• total_tokens — общее количество токенов в сообщении и ответе
• error — информация об ошибке
• inputs — входные данные
• outputs — выходные данные
• file_list — список обработанных файлов
• start_time — время начала
• end_time — время окончания
• message_file_data — данные файла, связанного с сообщением
• conversation_mode — режим разговора
• Metadata
  • conversation_id — идентификатор разговора
  • ls_provider — поставщик модели
  • ls_model_name — идентификатор модели
  • status — статус сообщения
  • from_end_user_id — идентификатор отправившего пользователя
  • from_account_id — идентификатор отправившей учетной записи
  • agent_based — основано ли сообщение на агенте
  • workflow_run_id — идентификатор запуска рабочего процесса
  • from_source — источник сообщения

​

Информация трассировки модерации

Используется для отслеживания модерации разговоров Информация трассировки модерации

• message_id — идентификатор сообщения
• user_id: идентификатор пользователя
• workflow_app_log_id — идентификатор журнала приложения рабочего процесса
• inputs — входные данные модерации
• message_data — данные сообщения
• flagged — помечен ли контент для внимания
• action — конкретные предпринятые действия
• preset_response — предустановленный ответ
• start_time — время начала модерации
• end_time — время окончания модерации
• Metadata
  • message_id — идентификатор сообщения
  • action — конкретные предпринятые действия
  • preset_response — предустановленный ответ

​

Информация трассировки предлагаемых вопросов

Используется для отслеживания предлагаемых вопросов Информация трассировки сообщений

• message_id — идентификатор сообщения
• message_data — данные сообщения
• inputs — входное содержимое
• outputs — выходное содержимое
• start_time — время начала
• end_time — время окончания
• total_tokens — количество токенов
• status — статус сообщения
• error — информация об ошибке
• from_account_id — идентификатор отправившей учетной записи
• agent_based — основано ли сообщение на агенте
• from_source — источник сообщения
• model_provider — поставщик модели
• model_id — идентификатор модели
• suggested_question — предлагаемый вопрос
• level — уровень статуса
• status_message — сообщение о статусе
• Metadata
  • message_id — идентификатор сообщения
  • ls_provider — поставщик модели
  • ls_model_name — идентификатор модели
  • status — статус сообщения
  • from_end_user_id — идентификатор отправившего пользователя
  • from_account_id — идентификатор отправившей учетной записи
  • workflow_run_id — идентификатор запуска рабочего процесса
  • from_source — источник сообщения

​

Информация трассировки поиска по набору данных

Используется для отслеживания поиска по базе знаний Информация трассировки поиска по набору данных

• message_id — идентификатор сообщения
• inputs — входное содержимое
• documents — данные документов
• start_time — время начала
• end_time — время окончания
• message_data — данные сообщения
• Metadata
  • message_id — идентификатор сообщения
  • ls_provider — поставщик модели
  • ls_model_name — идентификатор модели
  • status — статус сообщения
  • from_end_user_id — идентификатор отправившего пользователя
  • from_account_id — идентификатор отправившей учетной записи
  • agent_based — основано ли сообщение на агенте
  • workflow_run_id — идентификатор запуска рабочего процесса
  • from_source — источник сообщения

​

Информация трассировки инструментов

Используется для отслеживания вызовов инструментов

​

Информация трассировки инструментов

• message_id — идентификатор сообщения
• tool_name — имя инструмента
• start_time — время начала
• end_time — время окончания
• tool_inputs — входные данные инструмента
• tool_outputs — выходные данные инструмента
• message_data — данные сообщения
• error — информация об ошибке, если есть
• inputs — входные данные сообщения
• outputs — выходные данные сообщения
• tool_config — конфигурация инструмента
• time_cost — затраченное время
• tool_parameters — параметры инструмента
• file_url — URL связанного файла
• Metadata
  • message_id — идентификатор сообщения
  • tool_name — имя инструмента
  • tool_inputs — входные данные инструмента
  • tool_outputs — выходные данные инструмента
  • tool_config — конфигурация инструмента
  • time_cost — затраченное время
  • error — информация об ошибке, если есть
  • tool_parameters — параметры инструмента
  • message_file_id — идентификатор файла сообщения
  • created_by_role — роль создателя
  • created_user_id — идентификатор пользователя-создателя

Информация трассировки генерации имени Используется для отслеживания генерации заголовков разговоров Информация трассировки генерации имени

• conversation_id — идентификатор разговора
• inputs — входные данные
• outputs — сгенерированное имя разговора
• start_time — время начала
• end_time — время окончания
• tenant_id — идентификатор арендатора
• Metadata
  • conversation_id — идентификатор разговора
  • tenant_id — идентификатор арендатора