Интеграция с LangSmith

​

Что такое LangSmith

LangSmith — это платформа для создания промышленных приложений на основе LLM. Она используется для разработки, совместной работы, тестирования, деплоя и мониторинга LLM-приложений.

​

Как настроить LangSmith

​

1. Зарегистрируйтесь или войдите в LangSmith

​

2. Создайте проект

Создайте проект в LangSmith. После входа нажмите New Project на главной странице, чтобы создать свой проект. Проект будет использоваться для связи с приложениями в Интеллос для мониторинга данных. После создания вы можете просмотреть все созданные проекты в разделе Projects.

​

3. Создайте учетные данные проекта

Найдите настройки проекта Settings в левой боковой панели. Нажмите Create API Key, чтобы создать учетные данные проекта. Выберите Personal Access Token для последующей аутентификации в API. Скопируйте и сохраните созданный API key.

​

4. Интегрируйте LangSmith с Интеллос

Настройте LangSmith в приложении Интеллос. Откройте приложение, которое нужно отслеживать, откройте Мониторинг в боковом меню и выберите Отслеживание производительности приложения на странице. После нажатия на настройку вставьте API Key и имя проекта, созданные в LangSmith, в конфигурацию и сохраните. После успешного сохранения вы можете просмотреть статус мониторинга на текущей странице.

​

Просмотр данных мониторинга в LangSmith

После настройки данные отладки или промышленной эксплуатации приложений в Интеллос можно отслеживать в LangSmith. Переключившись на LangSmith, вы можете просмотреть подробные журналы операций приложений Интеллос на дашборде. Подробные журналы операций LLM через LangSmith помогут вам оптимизировать производительность вашего приложения Интеллос.

​

Список данных мониторинга

​

Информация трассировки Workflow/Chatflow

Используется для отслеживания рабочих процессов и chatflow

Workflow	LangSmith Chain
workflow_app_log_id/workflow_run_id	id
user_session_id	- помещается в metadata
name
start_time	start_time
end_time	end_time
inputs	inputs
outputs	outputs
Потребление токенов моделью	usage_metadata
metadata	extra
error	error
[workflow]	tags
”conversation_id/none for workflow”	conversation_id в metadata
conversion_id	parent_run_id

Информация трассировки Workflow

• workflow_id - Уникальный идентификатор рабочего процесса
• conversation_id - ID разговора
• workflow_run_id - ID текущего запуска
• tenant_id - ID арендатора
• elapsed_time - Время, затраченное на текущий запуск
• status - Статус запуска
• version - Версия рабочего процесса
• total_tokens - Всего токенов, использованных в текущем запуске
• file_list - Список обработанных файлов
• triggered_from - Источник, запустивший текущий запуск
• workflow_run_inputs - Входные данные текущего запуска
• workflow_run_outputs - Выходные данные текущего запуска
• error - Ошибки, возникшие во время текущего запуска
• query - Запрос, использованный во время запуска
• workflow_app_log_id - ID журнала приложения рабочего процесса
• message_id - ID связанного сообщения
• start_time - Время начала запуска
• end_time - Время окончания запуска
• workflow node executions - Информация о выполнениях узлов рабочего процесса
• Metadata
  • workflow_id - Уникальный идентификатор рабочего процесса
  • conversation_id - ID разговора
  • workflow_run_id - ID текущего запуска
  • tenant_id - ID арендатора
  • elapsed_time - Время, затраченное на текущий запуск
  • status - Статус запуска
  • version - Версия рабочего процесса
  • total_tokens - Всего токенов, использованных в текущем запуске
  • file_list - Список обработанных файлов
  • triggered_from - Источник, запустивший текущий запуск

​

Информация трассировки сообщений

Используется для отслеживания разговоров, связанных с LLM

Chat	LangSmith LLM
message_id	id
user_session_id	- помещается в metadata
name
start_time	start_time
end_time	end_time
inputs	inputs
outputs	outputs
Потребление токенов моделью	usage_metadata
metadata	extra
error	error
[“message”, conversation_mode]	tags
conversation_id	conversation_id в metadata
conversion_id	parent_run_id

Информация трассировки сообщений

• message_id - ID сообщения
• message_data - Данные сообщения
• user_session_id - ID пользовательской сессии
• conversation_model - Режим разговора
• message_tokens - Количество токенов в сообщении
• answer_tokens - Количество токенов в ответе
• total_tokens - Общее количество токенов в сообщении и ответе
• error - Информация об ошибке
• inputs - Входные данные
• outputs - Выходные данные
• file_list - Список обработанных файлов
• start_time - Время начала
• end_time - Время окончания
• message_file_data - Данные файлов, связанных с сообщением
• conversation_mode - Режим разговора
• Metadata
  • conversation_id - ID разговора
  • ls_provider - Поставщик модели
  • ls_model_name - ID модели
  • status - Статус сообщения
  • from_end_user_id - ID отправляющего пользователя
  • from_account_id - ID отправляющей учетной записи
  • agent_based - Является ли сообщение основанным на агенте
  • workflow_run_id - ID запуска рабочего процесса
  • from_source - Источник сообщения

​

Информация трассировки модерации

Используется для отслеживания модерации разговоров

Moderation	LangSmith Tool
user_id	- помещается в metadata
“moderation”	name
start_time	start_time
end_time	end_time
inputs	inputs
outputs	outputs
metadata	extra
[moderation]	tags
message_id	parent_run_id

Информация трассировки модерации

• message_id - ID сообщения
• user_id: ID пользователя
• workflow_app_log_id - ID журнала приложения рабочего процесса
• inputs - Входные данные модерации
• message_data - Данные сообщения
• flagged - Помечен ли контент для внимания
• action - Конкретные предпринятые действия
• preset_response - Предустановленный ответ
• start_time - Время начала модерации
• end_time - Время окончания модерации
• Metadata
  • message_id - ID сообщения
  • action - Конкретные предпринятые действия
  • preset_response - Предустановленный ответ

​

Информация трассировки предлагаемых вопросов

Используется для отслеживания предлагаемых вопросов

Suggested Question	LangSmith LLM
user_id	- помещается в metadata
suggested_question	name
start_time	start_time
end_time	end_time
inputs	inputs
outputs	outputs
metadata	extra
[suggested_question]	tags
message_id	parent_run_id

Информация трассировки сообщений

• message_id - ID сообщения
• message_data - Данные сообщения
• inputs - Входной контент
• outputs - Выходной контент
• start_time - Время начала
• end_time - Время окончания
• total_tokens - Количество токенов
• status - Статус сообщения
• error - Информация об ошибке
• from_account_id - ID отправляющей учетной записи
• agent_based - Является ли сообщение основанным на агенте
• from_source - Источник сообщения
• model_provider - Поставщик модели
• model_id - ID модели
• suggested_question - Предлагаемый вопрос
• level - Уровень статуса
• status_message - Сообщение о статусе
• Metadata
  • message_id - ID сообщения
  • ls_provider - Поставщик модели
  • ls_model_name - ID модели
  • status - Статус сообщения
  • from_end_user_id - ID отправляющего пользователя
  • from_account_id - ID отправляющей учетной записи
  • workflow_run_id - ID запуска рабочего процесса
  • from_source - Источник сообщения

​

Информация трассировки поиска по набору данных

Используется для отслеживания поиска по базе знаний

Dataset Retrieval	LangSmith Retriever
user_id	- помещается в metadata
dataset_retrieval	name
start_time	start_time
end_time	end_time
inputs	inputs
outputs	outputs
metadata	extra
[dataset_retrieval]	tags
message_id	parent_run_id

Информация трассировки поиска по набору данных

• message_id - ID сообщения
• inputs - Входной контент
• documents - Данные документов
• start_time - Время начала
• end_time - Время окончания
• message_data - Данные сообщения
• Metadata
  • message_id - ID сообщения
  • ls_provider - Поставщик модели
  • ls_model_name - ID модели
  • status - Статус сообщения
  • from_end_user_id - ID отправляющего пользователя
  • from_account_id - ID отправляющей учетной записи
  • agent_based - Является ли сообщение основанным на агенте
  • workflow_run_id - ID запуска рабочего процесса
  • from_source - Источник сообщения

​

Информация трассировки инструментов

Используется для отслеживания вызовов инструментов

Tool	LangSmith Tool
user_id	- помещается в metadata
tool_name	name
start_time	start_time
end_time	end_time
inputs	inputs
outputs	outputs
metadata	extra
[“tool”, tool_name]	tags
message_id	parent_run_id

​

Информация трассировки инструментов

• message_id - ID сообщения
• tool_name - Имя инструмента
• start_time - Время начала
• end_time - Время окончания
• tool_inputs - Входные данные инструмента
• tool_outputs - Выходные данные инструмента
• message_data - Данные сообщения
• error - Информация об ошибке, если есть
• inputs - Входные данные сообщения
• outputs - Выходные данные сообщения
• tool_config - Конфигурация инструмента
• time_cost - Затраченное время
• tool_parameters - Параметры инструмента
• file_url - URL связанного файла
• Metadata
  • message_id - ID сообщения
  • tool_name - Имя инструмента
  • tool_inputs - Входные данные инструмента
  • tool_outputs - Выходные данные инструмента
  • tool_config - Конфигурация инструмента
  • time_cost - Затраченное время
  • error - Информация об ошибке, если есть
  • tool_parameters - Параметры инструмента
  • message_file_id - ID файла сообщения
  • created_by_role - Роль создателя
  • created_user_id - ID пользователя-создателя

Информация трассировки генерации имени Используется для отслеживания генерации заголовка разговора

Generate Name	LangSmith Tool
user_id	- помещается в metadata
generate_name	name
start_time	start_time
end_time	end_time
inputs	inputs
outputs	outputs
metadata	extra
[generate_name]	tags

Информация трассировки генерации имени

• conversation_id - ID разговора
• inputs - Входные данные
• outputs - Сгенерированное имя разговора
• start_time - Время начала
• end_time - Время окончания
• tenant_id - ID арендатора
• Metadata
  • conversation_id - ID разговора
  • tenant_id - ID арендатора