Модель обратного вызова

Обратный вызов модели — это возможность плагина обращаться к внутренним возможностям LLM в Интеллос, включая все типы моделей и функции платформы, такие как TTS, Rerank и т. п. Если вы не знакомы с базовыми понятиями обратного вызова, сначала прочитайте Обратный вызов служб Интеллос. Однако обратите внимание, что для вызова модели необходимо передать параметр типа ModelConfig. Его структуру можно найти в разделе Определение общих спецификаций, и для разных типов моделей эта структура будет немного отличаться. Например, для моделей типа LLM она также должна включать параметры completion_params и mode. Эту структуру можно построить вручную либо использовать параметры или конфигурации типа model-selector.

Вызов LLM

Точка входа

    self.session.model.llm

Эндпоинт

    def invoke(
        self,
        model_config: LLMModelConfig,
        prompt_messages: list[PromptMessage],
        tools: list[PromptMessageTool] | None = None,
        stop: list[str] | None = None,
        stream: bool = True,
    ) -> Generator[LLMResultChunk, None, None] | LLMResult:
        pass

Обратите внимание: если вызываемая модель не поддерживает tool_call, переданные здесь tools не возымеют эффекта. Пример использования Если вы хотите вызвать модель gpt-4o-mini от OpenAI внутри Tool, обратитесь к следующему примеру кода:

from collections.abc import Generator
from typing import Any

from dify_plugin import Tool
from dify_plugin.entities.model.llm import LLMModelConfig
from dify_plugin.entities.tool import ToolInvokeMessage
from dify_plugin.entities.model.message import SystemPromptMessage, UserPromptMessage

class LLMTool(Tool):
    def _invoke(self, tool_parameters: dict[str, Any]) -> Generator[ToolInvokeMessage]:
        response = self.session.model.llm.invoke(
            model_config=LLMModelConfig(
                provider='openai',
                model='gpt-4o-mini',
                mode='chat',
                completion_params={}
            ),
            prompt_messages=[
                SystemPromptMessage(
                    content='you are a helpful assistant'
                ),
                UserPromptMessage(
                    content=tool_parameters.get('query')
                )
            ],
            stream=True
        )

        for chunk in response:
            if chunk.delta.message:
                assert isinstance(chunk.delta.message.content, str)
                yield self.create_text_message(text=chunk.delta.message.content)

Обратите внимание, что в коде передаётся параметр query из tool_parameters.

Передовая практика

Не рекомендуется строить LLMModelConfig вручную. Вместо этого позвольте пользователям выбирать нужную модель в интерфейсе. В этом случае можно изменить список параметров инструмента, добавив параметр model, как показано ниже:

identity:
  name: llm
  author: Интеллос
  label:
    en_US: LLM
    zh_Hans: LLM
    pt_BR: LLM
description:
  human:
    en_US: A tool for invoking a large language model
    zh_Hans: 用于调用大型语言模型的工具
    pt_BR: A tool for invoking a large language model
  llm: A tool for invoking a large language model
parameters:
  - name: prompt
    type: string
    required: true
    label:
      en_US: Prompt string
      zh_Hans: 提示字符串
      pt_BR: Prompt string
    human_description:
      en_US: used for searching
      zh_Hans: 用于搜索网页内容
      pt_BR: used for searching
    llm_description: key words for searching
    form: llm
  - name: model
    type: model-selector
    scope: llm
    required: true
    label:
      en_US: Model
      zh_Hans: 使用的模型
      pt_BR: Model
    human_description:
      en_US: Model
      zh_Hans: 使用的模型
      pt_BR: Model
    llm_description: which Model to invoke
    form: form
extra:
  python:
    source: tools/llm.py

Обратите внимание, что в этом примере у параметра model указан scope, равный llm. Это означает, что пользователь сможет выбирать только параметры типа llm. Таким образом, код из предыдущего примера можно изменить следующим образом:

from collections.abc import Generator
from typing import Any

from dify_plugin import Tool
from dify_plugin.entities.model.llm import LLMModelConfig
from dify_plugin.entities.tool import ToolInvokeMessage
from dify_plugin.entities.model.message import SystemPromptMessage, UserPromptMessage

class LLMTool(Tool):
    def _invoke(self, tool_parameters: dict[str, Any]) -> Generator[ToolInvokeMessage]:
        response = self.session.model.llm.invoke(
            model_config=tool_parameters.get('model'),
            prompt_messages=[
                SystemPromptMessage(
                    content='you are a helpful assistant'
                ),
                UserPromptMessage(
                    content=tool_parameters.get('prompt')
                )
            ],
            stream=True
        )

        for chunk in response:
            if chunk.delta.message:
                assert isinstance(chunk.delta.message.content, str)
                yield self.create_text_message(text=chunk.delta.message.content)

Вызов Summary

Вы можете обратиться к этому эндпоинту, чтобы получить краткое содержание фрагмента текста. Для подготовки краткого содержания будет использована системная модель вашего текущего рабочего пространства. Точка входа

    self.session.model.summary

Эндпоинт

text — текст, для которого нужно подготовить краткое содержание.
instruction — дополнительная инструкция, которую вы хотите добавить, позволяющая задать стиль краткого содержания.

    def invoke(
        self, text: str, instruction: str,
    ) -> str:

Вызов TextEmbedding

Точка входа

    self.session.model.text_embedding

Эндпоинт

    def invoke(
        self,
        model_config: TextEmbeddingModelConfig,
        texts: list[str],
        input_type: EmbeddingInputType = EmbeddingInputType.QUERY,
    ) -> TextEmbeddingResult:
        pass

Вызов Rerank

Точка входа

    self.session.model.rerank

Эндпоинт

    def invoke(
        self, model_config: RerankModelConfig, docs: list[str], query: str
    ) -> RerankResult:
        pass

Вызов TTS

Точка входа

    self.session.model.tts

Эндпоинт

    def invoke(
        self, model_config: TTSModelConfig, content_text: str
    ) -> Generator[bytes, None, None]:
        pass

Обратите внимание, что поток bytes, возвращаемый эндпоинтом tts, представляет собой поток байтов аудио в формате mp3. Каждая итерация возвращает законченный аудиосегмент. Если вам нужно выполнять более глубокую обработку, выберите подходящую библиотеку.

Вызов Speech2Text

Точка входа

    self.session.model.speech2text

Эндпоинт

    def invoke(
        self, model_config: Speech2TextModelConfig, file: IO[bytes]
    ) -> str:
        pass

Здесь file — аудиофайл, закодированный в формате mp3.

Вызов Moderation

Точка входа

    self.session.model.moderation

Эндпоинт

    def invoke(self, model_config: ModerationModelConfig, text: str) -> bool:
        pass

Если этот эндпоинт возвращает true, значит, text содержит чувствительный контент.

Связанные ресурсы

Обратный вызов служб Интеллос — изучите фундаментальные понятия обратного вызова
Обратный вызов приложения — узнайте, как вызывать приложения внутри платформы
Обратный вызов инструмента — узнайте, как вызывать другие плагины
Руководство по разработке плагинов моделей — узнайте, как разрабатывать собственные плагины моделей
Правила проектирования моделей — изучите принципы проектирования плагинов моделей

Редактировать эту страницу | Сообщить о проблеме

Начало работы

Возможности и спецификации

Руководства и примеры разработки

Модель обратного вызова

Вызов LLM

Передовая практика

Вызов Summary

Вызов TextEmbedding

Вызов Rerank

Вызов TTS

Вызов Speech2Text

Вызов Moderation

Связанные ресурсы

​Вызов LLM

​Передовая практика

​Вызов Summary

​Вызов TextEmbedding

​Вызов Rerank

​Вызов TTS

​Вызов Speech2Text

​Вызов Moderation

​Связанные ресурсы

Вызов LLM

Передовая практика

Вызов Summary

Вызов TextEmbedding

Вызов Rerank

Вызов TTS

Вызов Speech2Text

Вызов Moderation

Связанные ресурсы