Мультимодальный инструмент

В конвейерах знаний узел База знаний поддерживает ввод в двух мультимодальных форматах данных: multimodal-Parent-Child и multimodal-General. При разработке инструмента-плагина для обработки мультимодальных данных, чтобы мультимодальный вывод плагина (например, текст, изображения, аудио, видео и т. д.) корректно распознавался и встраивался узлом База знаний, выполните следующую настройку:

В файле кода инструмента вызовите интерфейс сессии инструмента для загрузки файлов и постройте объект files.
В YAML-файле поставщика инструмента объявите output_schema как multimodal-Parent-Child или multimodal-General.

Загрузка файлов и построение файловых объектов

При обработке мультимодальных данных (например, изображений) сначала загрузите файл с помощью инструмента сессии инструмента Интеллос, чтобы получить метаданные файла. В следующем примере используется официальный плагин Интеллос, Интеллос Extractor, чтобы показать, как загрузить файл и построить объект files.

# Upload the file using the tool session
file_res = self._tool.session.file.upload(
    file_name,   # filename
    file_blob,   # file binary data
    mime_type,   # MIME type, e.g., "image/png"
)

# Generate a Markdown image reference using the file preview URL
image_url = f"![image]({file_res.preview_url})"

Интерфейс загрузки возвращает объект UploadFileResponse, содержащий информацию о файле. Его структура выглядит так:

    from enum import Enum
    from pydantic import BaseModel

    class UploadFileResponse(BaseModel):
        class Type(str, Enum):
            DOCUMENT = "document"
            IMAGE = "image"
            VIDEO = "video"
            AUDIO = "audio"

            @classmethod
            def from_mime_type(cls, mime_type: str):
                if mime_type.startswith("image/"):
                    return cls.IMAGE
                if mime_type.startswith("video/"):
                    return cls.VIDEO
                if mime_type.startswith("audio/"):
                    return cls.AUDIO
                return cls.DOCUMENT
        id: str
        name: str
        size: int
        extension: str
        mime_type: str
        type: Type | None = None
        preview_url: str | None = None

Информацию о файле (например, name, size, extension, mime_type и т. д.) можно сопоставить с полем files в структуре мультимодального вывода.

{
    "$id": "https://app.intellos.ru/schemas/v1/multimodal_parent_child_structure.json",
    "$schema": "http://json-schema.org/draft-07/schema#",
    "version": "1.0.0",
    "type": "object",
    "title": "Multimodal Parent-Child Structure",
    "description": "Schema for multimodal parent-child structure (v1)",
    "properties": {
        "parent_mode": {
        "type": "string",
        "description": "The mode of parent-child relationship"
        },
        "parent_child_chunks": {
        "type": "array",
        "items": {
            "type": "object",
            "properties": {
            "parent_content": {
                "type": "string",
                "description": "The parent content"
            },
            "files": {
                "type": "array",
                "items": {
                "type": "object",
                "properties": {
                    "name": {
                    "type": "string",
                    "description": "file name"
                    },
                    "size": {
                    "type": "number",
                    "description": "file size"
                    },
                    "extension": {
                    "type": "string",
                    "description": "file extension"
                    },
                    "type": {
                    "type": "string",
                    "description": "file type"
                    },
                    "mime_type": {
                    "type": "string",
                    "description": "file mime type"
                    },
                    "transfer_method": {
                    "type": "string",
                    "description": "file transfer method"
                    },
                    "url": {
                    "type": "string",
                    "description": "file url"
                    },
                    "related_id": {
                    "type": "string",
                    "description": "file related id"
                    }
                },
                "required": ["name", "size", "extension", "type", "mime_type", "transfer_method", "url", "related_id"]
                },
                "description": "List of files"
            },
            "child_contents": {
                "type": "array",
                "items": {
                "type": "string"
                },
                "description": "List of child contents"
            }
            },
            "required": ["parent_content", "child_contents"]
        },
        "description": "List of parent-child chunk pairs"
        }
    },
    "required": ["parent_mode", "parent_child_chunks"]
}

{
    "$id": "https://app.intellos.ru/schemas/v1/multimodal_general_structure.json",
    "$schema": "http://json-schema.org/draft-07/schema#",
    "version": "1.0.0",
    "type": "array",
    "title": "Multimodal General Structure",
    "description": "Schema for multimodal general structure (v1) - array of objects",
    "properties": {
        "general_chunks": {
        "type": "array",
        "items": {
            "type": "object",
            "properties": {
            "content": {
                "type": "string",
                "description": "The content"
            },
            "files": {
                "type": "array",
                "items": {
                "type": "object",
                "properties": {
                    "name": {
                    "type": "string",
                    "description": "file name"
                    },
                    "size": {
                    "type": "number",
                    "description": "file size"
                    },
                    "extension": {
                    "type": "string",
                    "description": "file extension"
                    },
                    "type": {
                    "type": "string",
                    "description": "file type"
                    },
                    "mime_type": {
                    "type": "string",
                    "description": "file mime type"
                    },
                    "transfer_method": {
                    "type": "string",
                    "description": "file transfer method"
                    },
                    "url": {
                    "type": "string",
                    "description": "file url"
                    },
                    "related_id": {
                    "type": "string",
                    "description": "file related id"
                    }
                },
                "description": "List of files"
            }
            }
            },
            "required": ["content"]
        },
        "description": "List of content and files"
        }
    }
}

Объявление структуры мультимодального вывода

Структура мультимодальных данных задаётся официальной JSON-схемой Интеллос. Чтобы узел База знаний мог распознать тип мультимодального вывода плагина, укажите в поле result внутри output_schema в YAML-файле поставщика плагина соответствующий URL официальной схемы.

output_schema:
  type: object
  properties:
    result:
      # multimodal-Parent-Child
      $ref: "https://app.intellos.ru/schemas/v1/multimodal_parent_child_structure.json"
      
      # multimodal-General
      # $ref: "https://app.intellos.ru/schemas/v1/multimodal_general_structure.json"

На примере multimodal-Parent-Child полная конфигурация YAML выглядит так:

identity:
  name: multimodal_tool
  author: langgenius
  label:
    en_US: multimodal tool
    zh_Hans: 多模态提取器
    pt_BR: multimodal tool
description:
  human:
    en_US: Process documents into multimodal-Parent-Child chunk structures
    zh_Hans: 将文档处理为多模态父子分块结构
    pt_BR: Processar documentos em estruturas de divisão pai-filho
  llm: Processes documents into hierarchical multimodal-Parent-Child chunk structures

parameters:
  - name: input_text
    human_description:
      en_US: The text you want to chunk.
      zh_Hans: 输入文本
      pt_BR: Conteúdo de Entrada
    label:
      en_US: Input Content
      zh_Hans: 输入文本
      pt_BR: Conteúdo de Entrada
    llm_description: The text you want to chunk.
    required: true
    type: string
    form: llm

output_schema:
  type: object
  properties:
    result:
      $ref: "https://app.intellos.ru/schemas/v1/multimodal_parent_child_structure.json"
extra:
  python:
    source: tools/parent_child_chunk.py

Начало работы

Возможности и спецификации

Руководства и примеры разработки

Мультимодальный инструмент

Загрузка файлов и построение файловых объектов

Объявление структуры мультимодального вывода

​Загрузка файлов и построение файловых объектов

​Объявление структуры мультимодального вывода

Загрузка файлов и построение файловых объектов

Объявление структуры мультимодального вывода