Пользовательский поставщик услуг

Cherry Studio не только интегрирует основные сервисы AI-моделей, но и предоставляет вам мощные возможности настройки. Через пользовательский AI-провайдер функцию вы можете легко подключить любую необходимую вам AI-модель.

Зачем нужен пользовательский AI-провайдер?

• Гибкость: Больше нет ограничений заранее заданным списком провайдеров — свободно выбирайте AI-модель, которая лучше всего соответствует вашим потребностям.

• Разнообразие: Пробуйте AI-модели с различных платформ и раскрывайте их уникальные преимущества.

• Управляемость: Непосредственно управляйте своими API-ключами и адресами доступа, обеспечивая безопасность и конфиденциальность.

• Настраиваемость: Подключайте модели, развернутые в приватной среде, чтобы удовлетворять потребности конкретных бизнес-сценариев.

Как добавить пользовательского AI-провайдера?

Всего за несколько простых шагов вы можете добавить в Cherry Studio своего пользовательского AI-провайдера:

1. Откройте настройки: В левой панели навигации интерфейса Cherry Studio нажмите «Настройки» (значок шестерёнки).

2. Перейдите в сервисы моделей: На странице настроек выберите вкладку «Сервисы моделей».

3. Добавить провайдера: На странице «Сервисы моделей» вы увидите список уже имеющихся провайдеров. Нажмите кнопку «+ Добавить» под списком, чтобы открыть всплывающее окно «Добавить провайдера».

4. Заполните информацию: Во всплывающем окне вам нужно заполнить следующую информацию:

   • Название провайдера: Дайте вашему пользовательскому провайдеру легко узнаваемое название (например: MyCustomOpenAI).

   • Тип провайдера: Выберите тип вашего провайдера из выпадающего списка. На данный момент поддерживаются:

     • OpenAI

     • Gemini

     • Anthropic

     • Azure OpenAI

5. Сохранить конфигурацию: После заполнения нажмите кнопку «Добавить», чтобы сохранить вашу конфигурацию.

Настройка пользовательского AI-провайдера

После добавления вам нужно найти только что добавленного провайдера в списке и выполнить подробную настройку:

1. Состояние включения В правой части списка пользовательских провайдеров есть переключатель включения; во включенном состоянии этот пользовательский сервис активен.

2. API-ключ:

   • Введите API-ключ, предоставленный вашим AI-провайдером (API Key).

   • Нажав кнопку «Проверить» справа, можно проверить действительность ключа.

3. Адрес API:

   • Введите адрес API-доступа к AI-сервису (Base URL).

   • Обязательно обращайтесь к официальной документации вашего AI-провайдера, чтобы получить правильный адрес API.

4. Управление моделями:

   • Нажмите кнопку «+ Добавить», чтобы вручную добавить ID модели, которую вы хотите использовать у этого провайдера. Например gpt-3.5-turbo、gemini-pro и т. д.

   

   • Если вы не уверены в точном названии модели, пожалуйста, обратитесь к официальной документации вашего AI-провайдера.

   • Нажав кнопку «Управление», можно редактировать или удалять уже добавленные модели.

Начать использование

После завершения всех настроек вы сможете в интерфейсе чата Cherry Studio выбрать своего пользовательского AI-провайдера и модель и начать общение с AI!

Использование vLLM в качестве пользовательского AI-провайдера

vLLM — это быстрая и удобная библиотека инференса LLM, похожая на Ollama. Ниже описаны шаги интеграции vLLM в Cherry Studio:

1. Установите vLLM: Следуя официальной документации vLLM (https://docs.vllm.ai/en/latest/getting_started/quickstart.html), установите vLLM.

   pip install vllm # если вы используете pip
   uv pip install vllm # если вы используете uv

2. Запустите сервис vLLM: Запустите сервис, используя OpenAI-совместимый интерфейс, предоставляемый vLLM. Есть два основных способа, как указано ниже:

   • используяvllm.entrypoints.openai.api_serverЗапустить

   python -m vllm.entrypoints.openai.api_server --model gpt2

   • используяuvicornЗапустить

   vllm --model gpt2 --served-model-name gpt2

Убедитесь, что сервис успешно запущен и слушает на порту по умолчанию 8000 . Конечно, вы также можете указать через параметр--portномер порта сервиса vLLM.

1. Добавьте провайдера vLLM в Cherry Studio:

   • Следуя описанным выше шагам, добавьте в Cherry Studio нового пользовательского AI-провайдера.

   • Название провайдера: vLLM

   • Тип провайдера: выберите OpenAI。

2. Настройте провайдера vLLM:

   • API-ключ: Поскольку vLLM не требует API-ключ, это поле можно оставить пустым или заполнить любым содержимым.

   • Адрес API: Введите API-адрес сервиса vLLM. По умолчанию адрес: http://localhost:8000/(если используется другой порт, измените его соответствующим образом).

   • Управление моделями: Добавьте имя модели, загруженной в vLLM. В приведенном выше примере запуска следует ввести здесьpython -m vllm.entrypoints.openai.api_server --model gpt2вgpt2

3. Начать разговор: Теперь вы можете в Cherry Studio выбрать провайдера vLLM и gpt2 модель, чтобы начать общение с LLM, работающей на vLLM!

Советы и рекомендации

• Внимательно изучите документацию: Перед добавлением пользовательского провайдера обязательно внимательно прочитайте официальную документацию используемого AI-провайдера, чтобы узнать ключевую информацию, такую как API-ключ, адрес доступа, название модели и т. д.

• Проверьте API-ключ: С помощью кнопки «Проверить» можно быстро проверить действительность API-ключа и избежать проблем из-за неверного ключа.

• Обратите внимание на API-адрес: У разных AI-провайдеров и моделей адрес API может отличаться, поэтому обязательно указывайте правильный адрес.

• Добавляйте модели по необходимости: Добавляйте только те модели, которыми вы действительно будете пользоваться, чтобы избежать лишних ненужных моделей.