Пользовательские провайдеры

Этот документ переведен с китайского языка с помощью ИИ и еще не был проверен.

Пользовательские поставщики услуг

Cherry Studio не только интегрирует ведущие сервисы ИИ-моделей, но и предоставляет мощные возможности настройки. С помощью функции Пользовательские поставщики ИИ-услуг вы можете легко подключить любую необходимую ИИ-модель.

Зачем нужны пользовательские поставщики ИИ?

• Гибкость: Больше не ограничивайтесь предустановленным списком поставщиков, свободно выбирайте наиболее подходящие ИИ-модели.

• Разнообразие: Пробуйте ИИ-модели с разных платформ, открывая их уникальные преимущества.

• Контроль: Управляйте своими API-ключами и адресами доступа напрямую, обеспечивая безопасность и конфиденциальность.

• Кастомизация: Интегрируйте приватно развернутые модели для специфических бизнес-задач.

Как добавить пользовательского поставщика ИИ?

Всего несколько шагов, чтобы добавить своего поставщика в Cherry Studio:

1. Откройте настройки: В левой панели Cherry Studio нажмите «Настройки» (значок шестерёнки).

2. Перейдите к моделям: На странице настроек выберите вкладку «Модели».

3. Добавьте поставщика: В разделе «Модели» нажмите кнопку «+ Добавить» под списком поставщиков.

4. Заполните данные: В открывшемся окне укажите:

   • Название поставщика: Присвойте узнаваемое имя (например: MyCustomOpenAI).

   • Тип поставщика: Выберите из выпадающего списка поддерживаемые типы:

     • OpenAI

     • Gemini

     • Anthropic

     • Azure OpenAI

5. Сохраните: Нажмите «Добавить» для сохранения конфигурации.

Настройка пользовательского поставщика ИИ

После добавления найдите поставщика в списке и настройте детали:

1. Статус активации: Переключатель справа в списке включает/выключает службу.

2. API-ключ:

   • Введите ключ API, полученный от поставщика.

   • Кнопка «Проверить» справа тестирует валидность ключа.

3. API-адрес:

   • Укажите базовый URL для доступа к API.

   • Сверьтесь с документацией поставщика для корректного адреса.

4. Управление моделями:

   • Нажмите «+ Добавить», чтобы вручную добавить ID модели (например gpt-3.5-turbo, gemini-pro).

   

   * Для названий моделей обратитесь к документации поставщика. * Кнопка «Управление» позволяет редактировать или удалять добавленные модели.

Начало использования

После настройки выберите своего поставщика и модель в чат-интерфейсе Cherry Studio для начала работы!

Использование vLLM как пользовательского поставщика

vLLM — быстрая и удобная библиотека вывода LLM, аналогичная Ollama. Этапы интеграции с Cherry Studio:

1. Установите vLLM: Следуйте официальной инструкции (https://docs.vllm.ai/en/latest/getting_started/quickstart.html).

   pip install vllm # если используете pip
   uv pip install vllm # если используете uv

2. Запустите vLLM: Активируйте сервис через OpenAI-совместимый интерфейс двумя способами:

   • Через vllm.entrypoints.openai.api_server

   python -m vllm.entrypoints.openai.api_server --model gpt2

   • Через uvicorn

   vllm --model gpt2 --served-model-name gpt2

Сервис запустится на порту 8000 (или указанном через --port).

1. Добавьте vLLM в Cherry Studio:

   • Создайте нового поставщика по инструкции выше.

   • Название: vLLM

   • Тип: OpenAI

2. Настройте vLLM:

   • API-ключ: Оставьте пустым или введите любое значение.

   • API-адрес: Укажите http://localhost:8000/ (или ваш порт).

   • Управление моделями: Введите название запущенной модели (например gpt2).

3. Начните диалог: Выберите vLLM и модель в чат-интерфейсе для общения!

Рекомендации

• Изучите документацию: Перед добавлением проверьте у поставщика параметры API-ключей, адресов и моделей.

• Проверяйте ключи: Используйте кнопку проверки для валидации API-ключей.

• Следите за адресами: У разных поставщиков и моделей могут отличаться API-адреса.

• Добавляйте нужные модели: Включайте только используемые модели, чтобы избежать перегрузки.