Что такое Alibaba Cloud Monitor
Alibaba Cloud предоставляет полностью управляемую и не требующую обслуживания платформу наблюдаемости, которая позволяет в один клик настроить мониторинг, трассировку и оценку приложений Интеллос.Alibaba Cloud Monitor нативно поддерживает приложения на Python/Golang/Java через агенты LoongSuite и агенты OpenTelemetry с открытым исходным кодом. Помимо мониторинга LLM-приложений Интеллос в один клик, платформа также поддерживает сквозную наблюдаемость компонентов Интеллос и их вышестоящих и нижестоящих зависимостей через неинвазивные агенты.Подробнее см. в документации Cloud Monitor.
Как настроить Alibaba Cloud Monitor
1. Получите Endpoint и License Key Alibaba Cloud
- Войдите в консоль ARMS и нажмите Integration Center в левой панели навигации.
- В области Server-side Applications нажмите карточку OpenTelemetry.
- В появившейся панели OpenTelemetry выберите gRPC в качестве протокола экспорта, а также выберите способ подключения и регион в соответствии с вашим фактическим развёртыванием.
- Сохраните Public Endpoint и Authentication Token (License Key).
Endpoint не включает номер порта, например
http://tracing-cn-heyuan.arms.aliyun.com.2. Настройте Cloud Monitor в Интеллос
Предварительные требования: self-hosted версия должна быть ≥ v1.6.0
- Войдите в консоль Интеллос и перейдите к приложению, которое хотите отслеживать.
- Откройте Мониторинг в левой панели навигации.
- Нажмите Tracing app performance, затем нажмите Настроить в области Cloud Monitor.
- В появившемся диалоговом окне введите License Key и Endpoint, полученные на шаге 1, задайте App Name (имя приложения, отображаемое в консоли ARMS), а затем нажмите Сохранить и включить.
Просмотр данных мониторинга в Alibaba Cloud Monitor
После настройки данные приложений Интеллос, как отладочные, так и продакшен, можно отслеживать в Cloud Monitor.Способ 1. Переход в консоль ARMS из приложения Интеллос
В консоли Интеллос выберите приложение с включённой трассировкой, перейдите в Tracing Configuration и нажмите Просмотр в области Cloud Monitor.Способ 2. Просмотр непосредственно в консоли ARMS
Перейдите к соответствующему приложению Интеллос на странице LLM Application Monitoring > Application List консоли ARMS.Доступ к дополнительным данным
Cloud Monitor предоставляет неинвазивные многоязычные агенты, которые поддерживают доступ к различным компонентам кластера Интеллос для реализации сквозной трассировки.Список данных мониторинга
Cloud Monitor поддерживает сбор данных приложений Интеллос типов Workflow/Chatflow/Chat/Агент, включая детали выполнения рабочих процессов и их узлов, охватывая вызовы моделей, вызовы инструментов, поиск по базе знаний, детали выполнения различных узлов процесса, а также метаданные, такие как разговоры и информация о пользователях.Информация трассировки Workflow/Chatflow
| Workflow | Трасса Alibaba Cloud Monitor |
|---|---|
| workflow_id | Уникальный идентификатор Workflow |
| conversation_id | ID разговора |
| workflow_run_id | ID данного запуска |
| tenant_id | ID арендатора |
| elapsed_time | Длительность данного запуска |
| status | Статус запуска |
| version | Версия Workflow |
| total_tokens | Всего токенов, использованных в данном запуске |
| file_list | Список обработанных файлов |
| triggered_from | Источник, инициировавший данный запуск |
| workflow_run_inputs | Входные данные данного запуска |
| workflow_run_outputs | Выходные данные данного запуска |
| error | Ошибки, возникшие во время данного запуска |
| query | Запрос, использованный во время выполнения |
| workflow_app_log_id | ID журнала приложения Workflow |
| message_id | ID связанного сообщения |
| start_time | Время начала запуска |
| end_time | Время окончания запуска |
- workflow_id — Уникальный идентификатор Workflow
- conversation_id — ID разговора
- workflow_run_id — ID данного запуска
- tenant_id — ID арендатора
- elapsed_time — Длительность данного запуска
- status — Статус запуска
- version — Версия Workflow
- total_tokens — Всего токенов, использованных в данном запуске
- file_list — Список обработанных файлов
- triggered_from — Источник триггера
Информация трассировки сообщений
| Message | Трасса Alibaba Cloud Monitor |
|---|---|
| message_id | ID сообщения |
| message_data | Данные сообщения |
| user_session_id | session_id пользователя |
| conversation_model | Модель разговора |
| message_tokens | Количество токенов в сообщении |
| answer_tokens | Количество токенов в ответе |
| total_tokens | Всего токенов в сообщении и ответе |
| error | Информация об ошибке |
| inputs | Входные данные |
| outputs | Выходные данные |
| file_list | Список обработанных файлов |
| start_time | Время начала |
| end_time | Время окончания |
| message_file_data | Данные файла, связанного с сообщением |
| conversation_mode | Режим разговора |
- conversation_id — ID разговора, к которому относится сообщение
- ls_provider — Поставщик модели
- ls_model_name — ID модели
- status — Статус сообщения
- from_end_user_id — ID отправившего пользователя
- from_account_id — ID отправившей учётной записи
- agent_based — Является ли агентным
- workflow_run_id — ID запуска Workflow
- from_source — Источник сообщения
- message_id — ID сообщения
Информация трассировки поиска по набору данных
| Dataset Retrieval | Трасса Alibaba Cloud Monitor |
|---|---|
| message_id | ID сообщения |
| inputs | Входной контент |
| documents | Данные документов |
| start_time | Время начала |
| end_time | Время окончания |
| message_data | Данные сообщения |
- message_id — ID сообщения
- ls_provider — Поставщик модели
- ls_model_name — ID модели
- status — Статус сообщения
- from_end_user_id — ID отправившего пользователя
- from_account_id — ID отправившей учётной записи
- agent_based — Является ли агентным
- workflow_run_id — ID запуска Workflow
- from_source — Источник сообщения
Информация трассировки инструментов
| Tool | Трасса Alibaba Cloud Monitor |
|---|---|
| message_id | ID сообщения |
| tool_name | Имя инструмента |
| start_time | Время начала |
| end_time | Время окончания |
| tool_inputs | Входные данные инструмента |
| tool_outputs | Выходные данные инструмента |
| message_data | Данные сообщения |
| error | Информация об ошибке (если есть) |
| inputs | Входной контент сообщения |
| outputs | Контент ответа сообщения |
| tool_config | Конфигурация инструмента |
| time_cost | Затраченное время |
| tool_parameters | Параметры инструмента |
| file_url | URL связанного файла |
- message_id — ID сообщения
- tool_name — Имя инструмента
- tool_inputs — Входные данные инструмента
- tool_outputs — Выходные данные инструмента
- tool_config — Конфигурация инструмента
- time_cost — Затраченное время
- error — Информация об ошибке
- tool_parameters — Параметры инструмента
- message_file_id — ID файла сообщения
- created_by_role — Роль создателя
- created_user_id — ID пользователя-создателя