Интеграция с Arize

​

Что такое Arize

Наблюдаемость LLM корпоративного уровня, онлайн- и офлайн-оценка, мониторинг и проведение экспериментов — на базе OpenTelemetry. Решение создано специально для приложений на основе LLM и агентов.

​

Как настроить Arize

​

1. Зарегистрируйтесь или войдите в Arize

​

2. Получите свой API Key для Arize

Получите свой API Key для Arize в меню пользователя в правом верхнем углу. Нажмите API Key, затем нажмите на API Key, чтобы скопировать его:

​

3. Интегрируйте Arize с Интеллос

Настройте Arize в приложении Интеллос. Откройте приложение, которое нужно отслеживать, откройте Мониторинг в боковом меню и выберите на странице Отслеживание производительности приложения. После нажатия на настройку вставьте в конфигурацию API Key, Space ID и project name, созданные в Arize, и сохраните. После успешного сохранения вы сможете просматривать статус мониторинга на текущей странице.

​

Список данных мониторинга

​

Информация о трассировке Workflow/Chatflow

Используется для отслеживания рабочих процессов и chatflow

Workflow	Arize Trace
workflow_app_log_id/workflow_run_id	id
user_session_id	- помещается в metadata
name
start_time	start_time
end_time	end_time
inputs	inputs
outputs	outputs
Потребление токенов моделью	usage_metadata
metadata	metadata
error	error
[workflow]	tags
”conversation_id/none for workflow”	conversation_id в metadata

Информация о трассировке Workflow

• workflow_id - Уникальный идентификатор рабочего процесса
• conversation_id - ID разговора
• workflow_run_id - ID текущего запуска
• tenant_id - ID арендатора
• elapsed_time - Время, затраченное на текущий запуск
• status - Статус запуска
• version - Версия рабочего процесса
• total_tokens - Всего токенов, использованных в текущем запуске
• file_list - Список обработанных файлов
• triggered_from - Источник, запустивший текущий запуск
• workflow_run_inputs - Входные данные текущего запуска
• workflow_run_outputs - Выходные данные текущего запуска
• error - Ошибки, возникшие во время текущего запуска
• query - Запрос, использованный во время запуска
• workflow_app_log_id - ID журнала приложения рабочего процесса
• message_id - Связанный ID сообщения
• start_time - Время начала запуска
• end_time - Время окончания запуска
• workflow node executions - Информация о выполнении узлов рабочего процесса
• Metadata
  • workflow_id - Уникальный идентификатор рабочего процесса
  • conversation_id - ID разговора
  • workflow_run_id - ID текущего запуска
  • tenant_id - ID арендатора
  • elapsed_time - Время, затраченное на текущий запуск
  • status - Статус запуска
  • version - Версия рабочего процесса
  • total_tokens - Всего токенов, использованных в текущем запуске
  • file_list - Список обработанных файлов
  • triggered_from - Источник, запустивший текущий запуск

​

Информация о трассировке сообщений

Используется для отслеживания разговоров, связанных с LLM

Chat	Arize LLM
message_id	id
user_session_id	- помещается в metadata
”llm”	name
start_time	start_time
end_time	end_time
inputs	inputs
outputs	outputs
Потребление токенов моделью	usage_metadata
metadata	metadata
[“message”, conversation_mode]	tags
conversation_id	conversation_id в metadata

Информация о трассировке сообщений

• message_id - ID сообщения
• message_data - Данные сообщения
• user_session_id - ID пользовательской сессии
• conversation_model - Режим разговора
• message_tokens - Количество токенов в сообщении
• answer_tokens - Количество токенов в ответе
• total_tokens - Общее количество токенов в сообщении и ответе
• error - Информация об ошибке
• inputs - Входные данные
• outputs - Выходные данные
• file_list - Список обработанных файлов
• start_time - Время начала
• end_time - Время окончания
• message_file_data - Данные файла, связанного с сообщением
• conversation_mode - Режим разговора
• Metadata
  • conversation_id - ID разговора
  • ls_provider - Поставщик модели
  • ls_model_name - ID модели
  • status - Статус сообщения
  • from_end_user_id - ID отправившего пользователя
  • from_account_id - ID отправившей учётной записи
  • agent_based - Является ли сообщение основанным на агенте
  • workflow_run_id - ID запуска рабочего процесса
  • from_source - Источник сообщения

​

Информация о трассировке модерации

Используется для отслеживания модерации разговоров

Moderation	Arize Tool
user_id	- помещается в metadata
“moderation”	name
start_time	start_time
end_time	end_time
inputs	inputs
outputs	outputs
metadata	metadata
[“moderation”]	tags

Информация о трассировке модерации

• message_id - ID сообщения
• user_id: ID пользователя
• workflow_app_log_id - ID журнала приложения рабочего процесса
• inputs - Входные данные модерации
• message_data - Данные сообщения
• flagged - Помечено ли содержимое для внимания
• action - Конкретные предпринятые действия
• preset_response - Предустановленный ответ
• start_time - Время начала модерации
• end_time - Время окончания модерации
• Metadata
  • message_id - ID сообщения
  • action - Конкретные предпринятые действия
  • preset_response - Предустановленный ответ

​

Информация о трассировке предложенных вопросов

Используется для отслеживания предложенных вопросов

Suggested Question	Arize LLM
user_id	- помещается в metadata
”suggested_question”	name
start_time	start_time
end_time	end_time
inputs	inputs
outputs	outputs
metadata	metadata
[“suggested_question”]	tags

Информация о трассировке сообщений

• message_id - ID сообщения
• message_data - Данные сообщения
• inputs - Входное содержимое
• outputs - Выходное содержимое
• start_time - Время начала
• end_time - Время окончания
• total_tokens - Количество токенов
• status - Статус сообщения
• error - Информация об ошибке
• from_account_id - ID отправившей учётной записи
• agent_based - Является ли сообщение основанным на агенте
• from_source - Источник сообщения
• model_provider - Поставщик модели
• model_id - ID модели
• suggested_question - Предложенный вопрос
• level - Уровень статуса
• status_message - Сообщение о статусе
• Metadata
  • message_id - ID сообщения
  • ls_provider - Поставщик модели
  • ls_model_name - ID модели
  • status - Статус сообщения
  • from_end_user_id - ID отправившего пользователя
  • from_account_id - ID отправившей учётной записи
  • workflow_run_id - ID запуска рабочего процесса
  • from_source - Источник сообщения

​

Информация о трассировке поиска по набору данных

Используется для отслеживания поиска по базе знаний

Dataset Retrieval	Arize Retriever
user_id	- помещается в metadata
”dataset_retrieval”	name
start_time	start_time
end_time	end_time
inputs	inputs
outputs	outputs
metadata	metadata
[“dataset_retrieval”]	tags
message_id	parent_run_id

Информация о трассировке поиска по набору данных

• message_id - ID сообщения
• inputs - Входное содержимое
• documents - Данные документов
• start_time - Время начала
• end_time - Время окончания
• message_data - Данные сообщения
• Metadata
  • message_id - ID сообщения
  • ls_provider - Поставщик модели
  • ls_model_name - ID модели
  • status - Статус сообщения
  • from_end_user_id - ID отправившего пользователя
  • from_account_id - ID отправившей учётной записи
  • agent_based - Является ли сообщение основанным на агенте
  • workflow_run_id - ID запуска рабочего процесса
  • from_source - Источник сообщения

​

Информация о трассировке инструментов

Используется для отслеживания вызова инструментов

Tool	Arize Tool
user_id	- помещается в metadata
tool_name	name
start_time	start_time
end_time	end_time
inputs	inputs
outputs	outputs
metadata	metadata
[“tool”, tool_name]	tags

​

Информация о трассировке инструментов

• message_id - ID сообщения
• tool_name - Имя инструмента
• start_time - Время начала
• end_time - Время окончания
• tool_inputs - Входные данные инструмента
• tool_outputs - Выходные данные инструмента
• message_data - Данные сообщения
• error - Информация об ошибке, если есть
• inputs - Входные данные для сообщения
• outputs - Выходные данные сообщения
• tool_config - Конфигурация инструмента
• time_cost - Затраченное время
• tool_parameters - Параметры инструмента
• file_url - URL связанного файла
• Metadata
  • message_id - ID сообщения
  • tool_name - Имя инструмента
  • tool_inputs - Входные данные инструмента
  • tool_outputs - Выходные данные инструмента
  • tool_config - Конфигурация инструмента
  • time_cost - Затраченное время
  • error - Информация об ошибке, если есть
  • tool_parameters - Параметры инструмента
  • message_file_id - ID файла сообщения
  • created_by_role - Роль создателя
  • created_user_id - ID пользователя-создателя

Информация о трассировке генерации имени Используется для отслеживания генерации заголовка разговора

Generate Name	Arize Tool
user_id	- помещается в metadata
”generate_conversation_name”	name
start_time	start_time
end_time	end_time
inputs	inputs
outputs	outputs
metadata	metadata
[“generate_name”]	tags

Информация о трассировке генерации имени

• conversation_id - ID разговора
• inputs - Входные данные
• outputs - Сгенерированное имя разговора
• start_time - Время начала
• end_time - Время окончания
• tenant_id - ID арендатора
• Metadata
  • conversation_id - ID разговора
  • tenant_id - ID арендатора