Пользовательский провайдер

Cherry Studio не только интегрирует основные AI-модели и сервисы, но и предоставляет вам мощные возможности настройки. Через Пользовательский AI-поставщик функцию вы можете легко подключить любую необходимую вам AI-модель.

Зачем нужен пользовательский AI-поставщик?

• Гибкость: Больше не ограничиваясь предустановленным списком поставщиков, вы свободно выбираете AI-модель, которая наилучшим образом отвечает вашим требованиям.

• Разнообразие: Пробуйте AI-модели с разных платформ, чтобы обнаружить их уникальные преимущества.

• Контролируемость: Напрямую управляйте своими API-ключами и адресами доступа, обеспечивая безопасность и конфиденциальность.

• Кастомизация: Подключайте модели с приватным развёртыванием, чтобы удовлетворить требования конкретных бизнес-сценариев.

Как добавить пользовательского AI-поставщика?

Всего в несколько простых шагов вы можете добавить своего пользовательского AI-поставщика в Cherry Studio:

1. Откройте настройки: В левой навигационной панели интерфейса Cherry Studio нажмите «Настройки» (значок шестерёнки).

2. Перейдите в раздел сервисов моделей: На странице настроек выберите вкладку «Сервисы моделей».

3. Добавление поставщика: На странице «Сервис моделей» вы увидите список существующих поставщиков. Нажмите кнопку «+ Добавить» внизу списка, чтобы открыть окно «Добавить поставщика».

4. Заполнение информации: В окне вам нужно заполнить следующую информацию:

   • Название поставщика: Дайте своему пользовательскому поставщику легко узнаваемое имя (например: MyCustomOpenAI).

   • Тип поставщика: Выберите тип вашего поставщика в выпадающем списке. В настоящее время поддерживаются:

     • OpenAI

     • Gemini

     • Anthropic

     • Azure OpenAI

5. Сохранение конфигурации: После заполнения нажмите кнопку «Добавить», чтобы сохранить вашу конфигурацию.

Настройка пользовательского AI-поставщика

После добавления найдите только что добавленного поставщика в списке и выполните подробную настройку:

1. Состояние включения Справа от каждого поставщика в списке есть переключатель включения — в положение вкл. означает активацию этого пользовательского сервиса.

2. API-ключ:

   • Введите API-ключ, предоставленный вашим AI-поставщиком (API Key).

   • Нажав кнопку «Проверить» справа, вы можете подтвердить действительность ключа.

3. API-адрес:

   • Заполните адрес доступа к API сервиса AI (Base URL).

   • Обязательно ознакомьтесь с официальной документацией вашего AI-поставщика, чтобы получить корректный адрес API.

4. Управление моделями:

   • Нажмите кнопку «+ Добавить», чтобы вручную добавить ID модели, которую вы хотите использовать под этим поставщиком. Например gpt-3.5-turboиgemini-pro и т.д.

   

   • Если вы не уверены в точном названии модели, обратитесь к официальной документации вашего AI-поставщика.

   • Нажав кнопку «Управление», вы можете редактировать или удалять уже добавленные модели.

Начало работы

После завершения вышеуказанной настройки вы сможете в интерфейсе чата Cherry Studio выбрать своего пользовательского AI-поставщика и модель и начать диалог с AI!

Использование vLLM как пользовательского AI-поставщика

vLLM — это быстрый и удобный библиотечный движок вывода LLM, похожий на Ollama. Ниже приведены шаги по интеграции vLLM в Cherry Studio:

1. Установка vLLM: Установите vLLM в соответствии с официальной документацией vLLM (https://docs.vllm.ai/en/latest/getting_started/quickstart.html)

   pip install vllm # если вы используете pip
   uv pip install vllm # если вы используете uv

2. Запуск сервиса vLLM: Запустите сервис, используя OpenAI-совместимый интерфейс, предоставляемый vLLM. Существуют два основных способа, как указано ниже:

   • Использоватьvllm.entrypoints.openai.api_serverЗапустить

   python -m vllm.entrypoints.openai.api_server --model gpt2

   • ИспользоватьuvicornЗапустить

   vllm --model gpt2 --served-model-name gpt2

Убедитесь, что сервис успешно запущен и слушает по умолчанию на порту 8000 . Конечно, вы также можете через параметр--portуказать номер порта сервиса vLLM.

1. Добавление vLLM в Cherry Studio как поставщика:

   • Следуя описанным выше шагам, добавьте нового пользовательского AI-поставщика в Cherry Studio.

   • Название поставщика: vLLM

   • Тип поставщика: Выбрать OpenAI.

2. Настройка поставщика vLLM:

   • API-ключ: Поскольку vLLM не требует API-ключа, это поле можно оставить пустым или ввести произвольное значение.

   • API-адрес: Укажите адрес API сервиса vLLM. По умолчанию адрес: http://localhost:8000/(если используется другой порт, измените его соответственно).

   • Управление моделями: Добавьте название модели, загруженной в vLLM. В приведённом выше примереpython -m vllm.entrypoints.openai.api_server --model gpt2следует ввести здесьgpt2

3. Начало диалога: Теперь вы можете в Cherry Studio выбрать поставщика vLLM и gpt2 модель, чтобы начать общение с LLM на базе vLLM!

Советы и рекомендации

• Внимательно изучите документацию: Перед добавлением пользовательского поставщика обязательно внимательно ознакомьтесь с официальной документацией используемого AI-поставщика, чтобы узнать ключевую информацию о API-ключах, адресах доступа, названиях моделей и т.д.

• Проверка API-ключа: Кнопка «Проверить» позволяет быстро подтвердить действительность API-ключа, чтобы избежать проблем с использованием из‑за неверного ключа.

• Обратите внимание на адрес API: Для разных AI-поставщиков и моделей адрес API может отличаться — обязательно укажите правильный адрес.

• Добавляйте модели по мере необходимости: Добавляйте только те модели, которые вы действительно собираетесь использовать, чтобы не создавать избыточный список ненужных моделей.