Плагин поставщика модели

dify plugin init

models/my_provider/
├── models                # Каталог реализации и конфигурации моделей
│   ├── llm               # Тип LLM
│   │   ├── _position.yaml  (Опционально, управляет сортировкой)
│   │   ├── model1.yaml     # Конфигурация конкретной модели
│   │   └── llm.py          # Логика реализации LLM
│   └── text_embedding    # Тип Embedding
│       ├── _position.yaml
│       ├── embedding-model.yaml
│       └── text_embedding.py
├── provider              # Каталог кода уровня поставщика
│   └── my_provider.py    # Проверка учётных данных поставщика
└── manifest.yaml         # Файл манифеста плагина

# Базовая идентификация поставщика
provider: anthropic                # ID поставщика (должен быть уникальным)
label:
  en_US: Anthropic                 # Отображаемое имя в UI
description:
  en_US: Anthropic's powerful models, such as Opus 4.8.
  ru_RU: Антропик модели такие как Opus 4.8。
icon_small:
  en_US: icon_s_en.svg            # Маленькая иконка поставщика (отображается в UI выбора)
icon_large:
  en_US: icon_l_en.svg            # Большая иконка (отображается в детальных представлениях)
background: "#F0F0EB"             # Цвет фона поставщика в UI

# Справочная информация для пользователей
help:
  title:
    en_US: Get your API Key from Anthropic
    ru_RU: API ключ из личного кабинета Anthropic
  url:
    en_US: https://console.anthropic.com/account/keys
    ru_RU: https://console.anthropic.com/account/keys

# Поддерживаемые типы моделей и подход к конфигурации
supported_model_types:
  - llm                           # Этот поставщик предлагает модели LLM
configurate_methods:
  - predefined-model              # Использует подход с предопределёнными моделями

# Определение формы учётных данных уровня поставщика
provider_credential_schema:
  credential_form_schemas:
    - variable: anthropic_api_key  # Имя переменной для API-ключа
      label:
        en_US: API Key
        ru_RU: API Ключ
      type: secret-input           # Защищённый ввод для конфиденциальных данных
      required: true
      placeholder:
        ru_RU: Введите API ключ
        en_US: Enter your API Key
    - variable: anthropic_api_url
      label:
        en_US: API URL
        ru_RU: Ссылка api домена Anthropic
      type: text-input             # Обычное текстовое поле
      required: false
      placeholder:
        ru_RU: Введите api домена Anthropic
        en_US: Enter your API URL

# Конфигурация моделей
models:
  llm:                            # Конфигурация для моделей типа LLM
    predefined:
      - "models/llm/*.yaml"       # Шаблон для поиска файлов конфигурации моделей
    position: "models/llm/_position.yaml"  # Файл, определяющий порядок отображения

# Расположение файлов реализации
extra:
  python:
    provider_source: provider/anthropic.py  # Реализация класса поставщика
    model_sources:
      - "models/llm/llm.py"                 # Файл реализации модели

model_credential_schema:
  model: # Поле имени дообученной модели
    label:
      en_US: Model Name
      zh_Hans: 模型名称
    placeholder:
      en_US: Enter your model name
      zh_Hans: 输入模型名称
  credential_form_schemas:
  - variable: openai_api_key
    label:
      en_US: API Key
    type: secret-input
    required: true
    placeholder:
      zh_Hans: 在此输入你的 API Key
      en_US: Enter your API Key
  - variable: openai_organization
    label:
        zh_Hans: 组织 ID
        en_US: Organization
    type: text-input
    required: false
    placeholder:
      zh_Hans: 在此输入你的组织 ID
      en_US: Enter your Organization ID
  # Дополнительные поля по необходимости...

import logging
from dify_plugin.entities.model import ModelType
from dify_plugin.errors.model import CredentialsValidateFailedError
from dify_plugin import ModelProvider

logger = logging.getLogger(__name__)


class AnthropicProvider(ModelProvider):
    def validate_provider_credentials(self, credentials: dict) -> None:
        """
        Validate provider credentials by testing them against the API.
        
        This method should attempt to make a simple API call to verify
        that the credentials are valid.
        
        :param credentials: Provider credentials as defined in the YAML schema
        :raises CredentialsValidateFailedError: If validation fails
        """
        try:
            # Get an instance of the LLM model type and use it to validate credentials
            model_instance = self.get_model_instance(ModelType.LLM)
            model_instance.validate_credentials(
                model="claude-3-opus-20240229", 
                credentials=credentials
            )
        except CredentialsValidateFailedError as ex:
            # Pass through credential validation errors
            raise ex
        except Exception as ex:
            # Log and re-raise other exceptions
            logger.exception(f"{self.get_provider_schema().provider} credentials validate failed")
            raise ex

from dify_plugin import ModelProvider

class XinferenceProvider(ModelProvider):
    def validate_provider_credentials(self, credentials: dict) -> None:
        """
        For custom-only model providers, validation happens at the model level.
        This method exists to satisfy the abstract base class requirement.
        """
        pass

model: claude-3-5-sonnet-20240620   # Идентификатор модели в API
label:
  en_US: claude-3-5-sonnet-20240620 # Отображаемое имя в UI
model_type: llm                     # Должен совпадать с типом каталога
features:                           # Особые возможности
  - agent-thought
  - vision
  - tool-call
  - stream-tool-call
  - document
model_properties:                   # Неотъемлемые свойства модели
  mode: chat                        # "chat" или "completion"
  context_size: 200000              # Максимальное контекстное окно
parameter_rules:                    # Параметры, настраиваемые пользователем
  - name: temperature
    use_template: temperature       # Ссылка на предопределённый шаблон
  - name: top_p
    use_template: top_p
  - name: max_tokens
    use_template: max_tokens
    required: true
    default: 8192
    min: 1
    max: 8192
pricing:                           # Опциональная информация о ценах
  input: '3.00'
  output: '15.00'
  unit: '0.000001'                 # За миллион токенов
  currency: USD

import logging
from typing import Union, Generator, Optional, List
from dify_plugin.provider_kits.llm import LargeLanguageModel # Base class
from dify_plugin.provider_kits.llm import LLMResult, LLMResultChunk, LLMUsage # Result classes
from dify_plugin.provider_kits.llm import PromptMessage, PromptMessageTool # Message classes
from dify_plugin.errors.provider_error import InvokeError, InvokeAuthorizationError # Error classes

logger = logging.getLogger(__name__)

class MyProviderLargeLanguageModel(LargeLanguageModel):
    def _invoke(self, model: str, credentials: dict, prompt_messages: List[PromptMessage],
                model_parameters: dict, tools: Optional[List[PromptMessageTool]] = None,
                stop: Optional[List[str]] = None, stream: bool = True,
                user: Optional[str] = None) -> Union[LLMResult, Generator[LLMResultChunk, None, None]]:
        """
        Core method for invoking the model API.
        
        Parameters:
            model: The model identifier to call
            credentials: Authentication credentials
            prompt_messages: List of messages to send
            model_parameters: Parameters like temperature, max_tokens
            tools: Optional tool definitions for function calling
            stop: Optional list of stop sequences
            stream: Whether to stream responses (True) or return complete response (False)
            user: Optional user identifier for API tracking
            
        Returns:
            If stream=True: Generator yielding LLMResultChunk objects
            If stream=False: Complete LLMResult object
        """
        # Prepare API request parameters
        api_params = self._prepare_api_params(
            credentials, model_parameters, prompt_messages, tools, stop
        )
        
        try:
            # Call appropriate helper method based on streaming preference
            if stream:
                return self._invoke_stream(model, api_params, user)
            else:
                return self._invoke_sync(model, api_params, user)
        except Exception as e:
            # Handle and map errors
            self._handle_api_error(e)
    
    def _invoke_stream(self, model: str, api_params: dict, user: Optional[str]) -> Generator[LLMResultChunk, None, None]:
        """Helper method for streaming API calls"""
        # Implementation details for streaming calls
        pass
        
    def _invoke_sync(self, model: str, api_params: dict, user: Optional[str]) -> LLMResult:
        """Helper method for synchronous API calls"""
        # Implementation details for synchronous calls
        pass
        
    def validate_credentials(self, model: str, credentials: dict) -> None:
        """
        Validate that the credentials work for this specific model.
        Called when a user tries to add or modify credentials.
        """
        # Implementation for credential validation
        pass
        
    def get_num_tokens(self, model: str, credentials: dict, 
                       prompt_messages: List[PromptMessage],
                       tools: Optional[List[PromptMessageTool]] = None) -> int:
        """
        Estimate the number of tokens for given input.
        Optional but recommended for accurate cost estimation.
        """
        # Implementation for token counting
        pass
        
    @property
    def _invoke_error_mapping(self) -> dict[type[InvokeError], list[type[Exception]]]:
        """
        Define mapping from vendor-specific exceptions to Интеллос standard exceptions.
        This helps standardize error handling across different providers.
        """
        return {
            InvokeAuthorizationError: [
                # List vendor-specific auth errors here
            ],
            # Other error mappings
        }

INSTALL_METHOD=remote
REMOTE_INSTALL_URL=<your-dify-host>:5003
REMOTE_INSTALL_KEY=****-****-****-****-****