# Настраиваемый поставщик услуг

Cherry Studio не только интегрирует основные сервисы AI-моделей, но и предоставляет вам мощные возможности настройки. Через **пользовательский AI-провайдер** функцию вы можете легко подключить любую необходимую вам AI-модель.

## Зачем нужен пользовательский AI-провайдер?

* **Гибкость:** Больше нет ограничений заранее заданным списком провайдеров — свободно выбирайте AI-модель, которая лучше всего соответствует вашим потребностям.
* **Разнообразие:** Пробуйте AI-модели с различных платформ и раскрывайте их уникальные преимущества.
* **Управляемость:** Непосредственно управляйте своими API-ключами и адресами доступа, обеспечивая безопасность и конфиденциальность.
* **Настраиваемость:** Подключайте модели, развернутые в приватной среде, чтобы удовлетворять потребности конкретных бизнес-сценариев.

## Как добавить пользовательского AI-провайдера?

Всего за несколько простых шагов вы можете добавить в Cherry Studio своего пользовательского AI-провайдера:

<figure><img src="/files/08054a439101dd051b19df94e2f914100f11c5c7" alt=""><figcaption></figcaption></figure>

1. **Откройте настройки:** В левой панели навигации интерфейса Cherry Studio нажмите «Настройки» (значок шестерёнки).
2. **Перейдите в сервисы моделей:** На странице настроек выберите вкладку «Сервисы моделей».
3. **Добавить провайдера:** На странице «Сервисы моделей» вы увидите список уже имеющихся провайдеров. Нажмите кнопку «+ Добавить» под списком, чтобы открыть всплывающее окно «Добавить провайдера».
4. **Заполните информацию:** Во всплывающем окне вам нужно заполнить следующую информацию:
   * **Название провайдера:** Дайте вашему пользовательскому провайдеру легко узнаваемое название (например: MyCustomOpenAI).
   * **Тип провайдера:** Выберите тип вашего провайдера из выпадающего списка. На данный момент поддерживаются:
     * OpenAI
     * Gemini
     * Anthropic
     * Azure OpenAI
5. **Сохранить конфигурацию:** После заполнения нажмите кнопку «Добавить», чтобы сохранить вашу конфигурацию.

## Настройка пользовательского AI-провайдера

<figure><img src="/files/043206aa4c0b12d4fe830727e4ec835344c0becc" alt=""><figcaption></figcaption></figure>

После добавления вам нужно найти только что добавленного провайдера в списке и выполнить подробную настройку:

1. **Состояние включения** В правой части списка пользовательских провайдеров есть переключатель включения; во включенном состоянии этот пользовательский сервис активен.
2. **API-ключ:**
   * Введите API-ключ, предоставленный вашим AI-провайдером (API Key).
   * Нажав кнопку «Проверить» справа, можно проверить действительность ключа.
3. **Адрес API:**
   * Введите адрес API-доступа к AI-сервису (Base URL).
   * Обязательно обращайтесь к официальной документации вашего AI-провайдера, чтобы получить правильный адрес API.
4. **Управление моделями:**

   * Нажмите кнопку «+ Добавить», чтобы вручную добавить ID модели, которую вы хотите использовать у этого провайдера. Например `gpt-3.5-turbo`、`gemini-pro` и т. д.

   <figure><img src="/files/09140876601c8ecaa4798abdaa320d63957331b1" alt=""><figcaption></figcaption></figure>

   * Если вы не уверены в точном названии модели, пожалуйста, обратитесь к официальной документации вашего AI-провайдера.
   * Нажав кнопку «Управление», можно редактировать или удалять уже добавленные модели.

## Начать использование

После завершения всех настроек вы сможете в интерфейсе чата Cherry Studio выбрать своего пользовательского AI-провайдера и модель и начать общение с AI!

## Использование vLLM в качестве пользовательского AI-провайдера

vLLM — это быстрая и удобная библиотека инференса LLM, похожая на Ollama. Ниже описаны шаги интеграции vLLM в Cherry Studio:

1. **Установите vLLM:** Следуя официальной документации vLLM (<https://docs.vllm.ai/en/latest/getting_started/quickstart.html>), установите vLLM.

   ```sh
   pip install vllm # если вы используете pip
   uv pip install vllm # если вы используете uv
   ```
2. **Запустите сервис vLLM:** Запустите сервис, используя OpenAI-совместимый интерфейс, предоставляемый vLLM. Есть два основных способа, как указано ниже:

   * используя`vllm.entrypoints.openai.api_server`Запустить

   ```sh
   python -m vllm.entrypoints.openai.api_server --model gpt2
   ```

   * используя`uvicorn`Запустить

   ```sh
   vllm --model gpt2 --served-model-name gpt2
   ```

Убедитесь, что сервис успешно запущен и слушает на порту по умолчанию `8000` . Конечно, вы также можете указать через параметр`--port`номер порта сервиса vLLM.

3. **Добавьте провайдера vLLM в Cherry Studio:**
   * Следуя описанным выше шагам, добавьте в Cherry Studio нового пользовательского AI-провайдера.
   * **Название провайдера:** `vLLM`
   * **Тип провайдера:** выберите `OpenAI`。
4. **Настройте провайдера vLLM:**
   * **API-ключ:** Поскольку vLLM не требует API-ключ, это поле можно оставить пустым или заполнить любым содержимым.
   * **Адрес API:** Введите API-адрес сервиса vLLM. По умолчанию адрес: `http://localhost:8000/`(если используется другой порт, измените его соответствующим образом).
   * **Управление моделями:** Добавьте имя модели, загруженной в vLLM. В приведенном выше примере запуска следует ввести здесь`python -m vllm.entrypoints.openai.api_server --model gpt2`в`gpt2`
5. **Начать разговор:** Теперь вы можете в Cherry Studio выбрать провайдера vLLM и `gpt2` модель, чтобы начать общение с LLM, работающей на vLLM!

## Советы и рекомендации

* **Внимательно изучите документацию:** Перед добавлением пользовательского провайдера обязательно внимательно прочитайте официальную документацию используемого AI-провайдера, чтобы узнать ключевую информацию, такую как API-ключ, адрес доступа, название модели и т. д.
* **Проверьте API-ключ:** С помощью кнопки «Проверить» можно быстро проверить действительность API-ключа и избежать проблем из-за неверного ключа.
* **Обратите внимание на API-адрес:** У разных AI-провайдеров и моделей адрес API может отличаться, поэтому обязательно указывайте правильный адрес.
* **Добавляйте модели по необходимости:** Добавляйте только те модели, которыми вы действительно будете пользоваться, чтобы избежать лишних ненужных моделей.


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://docs.cherry-ai.com/docs/russian/pre-basic/providers/zi-ding-yi-fu-wu-shang.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.