# Ollama

Ollama — это отличный инструмент с открытым исходным кодом, который позволяет легко запускать и управлять различными большими языковыми моделями (LLM) локально. Cherry Studio теперь поддерживает интеграцию с Ollama, позволяя вам напрямую взаимодействовать с локально развернутой LLM в привычном интерфейсе, без зависимости от облачных сервисов!

## Что такое Ollama?

Ollama — это инструмент, упрощающий развертывание и использование больших языковых моделей (LLM). Он обладает следующими особенностями:

* **Локальный запуск:** Модель полностью работает на вашем локальном компьютере, без подключения к сети, что защищает вашу конфиденциальность и безопасность данных.
* **Простота использования:** С помощью простых команд в командной строке можно скачивать, запускать и управлять различными LLM.
* **Богатый выбор моделей:** Поддерживает множество популярных открытых моделей, таких как Llama 2, Deepseek, Mistral, Gemma и другие.
* **Кроссплатформенность:** Поддерживает macOS, Windows и Linux.
* **Открытый API**: поддерживает интерфейсы, совместимые с OpenAI, и может интегрироваться с другими инструментами.

## Зачем использовать Ollama в Cherry Studio?

* **Без облачных сервисов:** Больше не нужно зависеть от квот и стоимости облачных API — наслаждайтесь мощью локальных LLM.
* **Конфиденциальность данных:** Все ваши данные переписки остаются локально, без риска утечки конфиденциальной информации.
* **Доступность офлайн:** Даже без подключения к интернету вы можете продолжать взаимодействовать с LLM.
* **Настраиваемость:** Можно выбрать и настроить LLM, который лучше всего подходит под ваши потребности.

## Настройка Ollama в Cherry Studio

### **1. Установка и запуск Ollama**

Сначала вам нужно установить и запустить Ollama на вашем компьютере. Выполните следующие шаги:

* **Скачать Ollama:** Перейдите на официальный сайт Ollama (<https://ollama.com/>), и скачайте соответствующий установочный пакет для вашей операционной системы.\
  В Linux можно напрямую выполнить команду установки ollama:

  ```sh
  curl -fsSL https://ollama.com/install.sh | sh
  ```
* **Установка Ollama:** Следуйте инструкциям установщика, чтобы завершить установку.
* **Скачать модель:** Откройте терминал (или командную строку) и используйте `ollama run` команду, чтобы скачать нужную вам модель. Например, чтобы скачать модель Llama 2, можно выполнить:

  ```sh
  ollama run llama3.2
  ```

  Ollama автоматически загрузит и запустит эту модель.
* **Оставьте Ollama запущенным:** Во время использования Cherry Studio для взаимодействия с моделями Ollama убедитесь, что Ollama остается запущенным.

### **2. Добавление провайдера Ollama в Cherry Studio**

Далее добавьте Ollama в Cherry Studio как пользовательского AI-провайдера:

* **Откройте настройки:** В левой панели навигации интерфейса Cherry Studio нажмите «Настройки» (значок шестерёнки).
* **Перейдите в сервисы моделей:** На странице настроек выберите вкладку «Сервисы моделей».
* **Добавить провайдера:** Нажмите Ollama в списке.

<figure><img src="https://3765361039-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F0Ut5BptC3t8CtSU1UWpM%2Fuploads%2Fgit-blob-2649f1f08ffc8257ebf381425a595ac5e04e4848%2Fimage%20(5)%20(3).png?alt=media" alt=""><figcaption></figcaption></figure>

### **3. Настройка провайдера Ollama**

Найдите только что добавленный Ollama в списке провайдеров и выполните подробную настройку:

1. **Статус включения:**
   * Убедитесь, что переключатель справа от провайдера Ollama включён, что означает активацию.
2. **API-ключ:**
   * По умолчанию для Ollama**не требуется** API-ключ. Вы можете оставить это поле пустым или ввести любое значение.
3. **Адрес API:**
   * Укажите локальный адрес API, предоставляемый Ollama. Обычно адрес такой:

     ```
     http://localhost:11434/
     ```

     Если вы изменили порт, скорректируйте адрес самостоятельно.
4. **Время сохранения активности:** Этот параметр задаёт время сохранения сеанса, в минутах. Если в течение заданного времени не будет новых сообщений, Cherry Studio автоматически отключится от Ollama, освобождая ресурсы.
5. **Управление моделями:**
   * Нажмите кнопку «+ Добавить», чтобы вручную добавить названия моделей, уже загруженных в Ollama.
   * Например, если вы уже через`ollama run llama3.2`скачали`llama3.2`модель, то здесь можно ввести`llama3.2`
   * Нажав кнопку «Управление», можно редактировать или удалять уже добавленные модели.

## Начать использование

После завершения вышеуказанной настройки вы сможете в чате Cherry Studio выбрать провайдера Ollama и скачанную вами модель, чтобы начать общение с локальной LLM!

## Советы и подсказки

* **Первый запуск модели:** При первом запуске модели Ollama необходимо скачать файлы модели, что может занять длительное время — пожалуйста, наберитесь терпения.
* **Просмотр доступных моделей:** Выполнив в терминале `ollama list` можно посмотреть список скачанных вами моделей Ollama.
* **Требования к оборудованию:** Для запуска больших языковых моделей требуются определённые вычислительные ресурсы (CPU, память, GPU), убедитесь, что конфигурация вашего компьютера соответствует требованиям модели.
* **Документация Ollama**: вы можете нажать в странице настроек на`Посмотреть документацию Ollama и модели`ссылку, чтобы быстро перейти к документации на официальном сайте Ollama.