Поставщики моделей

Поставщики моделей дают вашему рабочему пространству доступ к моделям ИИ. Каждому приложению, которое вы создаёте, для работы нужны модели, а настройка поставщиков на уровне рабочего пространства означает, что все участники команды могут использовать их во всех проектах.

​

Используйте собственные ключи

Вы подключаете поставщиков моделей с помощью собственных API-ключей для прямого доступа к таким поставщикам, как OpenAI, Anthropic или Google. Вы получаете полный контроль над своими учётными данными и оплату напрямую через каждого поставщика. Кроме того, вы можете настроить несколько учётных данных для каждого поставщика и организовать балансировку нагрузки между ними.

​

Настройка поставщиков

Настраивать поставщиков моделей могут только администраторы и владельцы рабочего пространства. Процесс одинаков для всех поставщиков:

​

Поддерживаемые поставщики

Большие языковые модели:

• OpenAI (GPT-4, GPT-3.5-turbo)
• Anthropic (Claude)
• Google (Gemini)
• Cohere
• Локальные модели через Ollama

Эмбеддинг-модели:

• OpenAI Embeddings
• Cohere Embeddings
• Azure OpenAI
• Локальные эмбеддинг-модели

Специализированные модели:

• Генерация изображений (DALL-E, Stable Diffusion)
• Речь (Whisper, ElevenLabs)
• API модерации

​

Примеры настройки поставщиков

​

Управление учётными данными моделей

Добавляйте несколько учётных данных для предопределённых и пользовательских моделей поставщика, а также легко переключайтесь между ними, удаляйте или изменяйте их. Вот несколько сценариев, где добавление нескольких учётных данных особенно полезно:

• Изоляция окружений: настройте отдельные учётные данные моделей для разных окружений — например, для разработки, тестирования и эксплуатации. Так, в окружении разработки можно использовать учётные данные с ограничением по запросам для отладки, а в эксплуатации — платные учётные данные со стабильной производительностью и достаточной квотой, чтобы обеспечить качество сервиса.
• Оптимизация затрат: добавляйте и переключайте несколько учётных данных от разных аккаунтов или поставщиков моделей, чтобы максимально использовать бесплатные или недорогие квоты и тем самым снизить затраты на разработку и эксплуатацию приложений.
• Тестирование моделей: при тонкой настройке или итерациях моделей вы можете создавать несколько версий модели. Добавив учётные данные для этих версий, вы сможете быстро переключаться между ними, чтобы тестировать и оценивать их производительность.

​

Настройка балансировки нагрузки моделей

Поставщики моделей обычно устанавливают лимиты на доступ к API в определённый промежуток времени, чтобы обеспечить стабильность и честное использование. Для корпоративных приложений большой объём одновременных запросов от одних учётных данных может легко достичь этих лимитов и нарушить доступ пользователей. Эффективное решение — балансировка нагрузки, которая распределяет трафик запросов между несколькими учётными данными модели. Это предотвращает проблемы с лимитами запросов и единые точки отказа, обеспечивая непрерывность бизнеса и более быстрый отклик для всех пользователей. Интеллос применяет стратегию кругового обхода (round-robin) для балансировки нагрузки, последовательно направляя запросы к моделям на каждые учётные данные в пуле балансировки. Если учётные данные достигают лимита запросов, они временно исключаются из ротации на одну минуту, чтобы избежать бесполезных повторных попыток. Чтобы настроить балансировку нагрузки для модели, выполните следующие шаги:

1. В списке моделей найдите целевую модель, нажмите соответствующий Настройка и выберите Балансировка нагрузки.
2. В пуле балансировки нагрузки нажмите Добавить учетные данные, чтобы выбрать из существующих учётных данных или добавить новые.
   Настройка по умолчанию — это учётные данные по умолчанию, указанные для этой модели в данный момент.
   Если у учётных данных более высокая квота или лучшая производительность, вы можете добавить их несколько раз, чтобы увеличить их вес в ротации балансировки нагрузки, позволяя им обрабатывать большую долю запросов.
   
3. Включите как минимум две учётные данные в пуле балансировки нагрузки, затем нажмите Сохранить. Модели с включённой балансировкой нагрузки будут отмечены специальным значком.
   

​

Доступ и права

Поставщики выставляют вам счёт напрямую (OpenAI, Anthropic и т. д.). Доступ команды следует правам рабочего пространства:

• Владельцы/Администраторы могут настраивать, изменять и удалять поставщиков
• Редакторы/Участники могут просматривать доступных поставщиков и использовать их в приложениях

​

Устранение неполадок

Ошибка аутентификации: проверьте правильность API-ключа, срок его действия, наличие достаточного количества кредитов и права доступа ключа. Модель недоступна: убедитесь, что конфигурация поставщика включает эту модель, проверьте уровень доступа API-ключа, обновите настройки поставщика. Лимиты запросов: повысьте уровень аккаунта поставщика, реализуйте очередь запросов или настройте балансировку нагрузки между несколькими учётными данными.