Ollama

Ollama — это отличный инструмент с открытым исходным кодом, позволяющий легко запускать и управлять различными большими языковыми моделями (LLM) локально. Cherry Studio теперь поддерживает интеграцию с Ollama, позволяя вам напрямую взаимодействовать с локально развернутыми LLM в знакомом интерфейсе без зависимости от облачных сервисов!

Что такое Ollama?

Ollama — это инструмент, упрощающий развертывание и использование больших языковых моделей (LLM). Он обладает следующими характеристиками:

• Локальный запуск: Модели полностью работают на вашем локальном компьютере, без необходимости подключения к сети, что защищает вашу конфиденциальность и данные.

• Простота использования: С помощью простых команд в командной строке можно загружать, запускать и управлять различными LLM.

• Богатый выбор моделей: Поддерживает Llama 2, Deepseek, Mistral, Gemma и другие популярные открытые модели.

• Кроссплатформенность: Поддерживает операционные системы macOS, Windows и Linux.

• Открытый API: поддерживает интерфейс, совместимый с OpenAI, и может интегрироваться с другими инструментами.

Зачем использовать Ollama в Cherry Studio?

• Без облачных сервисов: Больше не связаны квотами и оплатой облачных API — наслаждайтесь мощью локальных LLM.

• Конфиденциальность данных: Все ваши данные переписки хранятся локально, не беспокойтесь о утечке приватной информации.

• Доступ офлайн: Даже без подключения к сети вы можете продолжать взаимодействовать с LLM.

• Кастомизация: Вы можете выбирать и настраивать LLM в соответствии с вашими потребностями.

Настройка Ollama в Cherry Studio

1. Установка и запуск Ollama

Сначала вам нужно установить и запустить Ollama на вашем компьютере. Выполните следующие шаги:

• Скачать Ollama: Перейдите на официальный сайт Ollama (https://ollama.com/), загрузите установочный пакет для вашей операционной системы. В Linux можно установить ollama напрямую с помощью команды:

  curl -fsSL https://ollama.com/install.sh | sh

• Установка Ollama: Следуйте указаниям установщика для завершения установки.

• Загрузка модели: Откройте терминал (или командную строку) и используйте ollama run команду для загрузки желаемой модели. Например, чтобы скачать модель Llama 2, можно выполнить:

  ollama run llama3.2

  Ollama автоматически загрузит и запустит эту модель.

• Поддерживайте Ollama запущенным: Во время взаимодействия Cherry Studio с моделью Ollama убедитесь, что Ollama запущен.

2. Добавление поставщика Ollama в Cherry Studio

Далее добавьте Ollama в Cherry Studio как пользовательского AI-поставщика:

• Откройте настройки: В левой навигационной панели интерфейса Cherry Studio нажмите «Настройки» (значок шестерёнки).

• Перейдите в раздел сервисов моделей: На странице настроек выберите вкладку «Сервисы моделей».

• Добавление поставщика: Нажмите на Ollama в списке.

3. Конфигурация поставщика Ollama

Найдите только что добавленный Ollama в списке поставщиков и выполните подробную настройку:

1. Статус включения:

   • Убедитесь, что переключатель справа от поставщика Ollama включен, это означает, что он активирован.

2. API-ключ:

   • Ollama по умолчаниюне требует API-ключа. Вы можете оставить это поле пустым или ввести любое значение.

3. API-адрес:

   • Укажите локальный API-адрес, предоставляемый Ollama. Как правило, адрес:

     http://localhost:11434/

     Если вы изменили порт, измените его здесь соответственно.

4. Время поддержания активности: Этот параметр задаёт время поддержания сессии в минутах. Если в течение заданного времени не будет новых сообщений, Cherry Studio автоматически отключится от Ollama и освободит ресурсы.

5. Управление моделями:

   • Нажмите кнопку «+ Добавить», чтобы вручную добавить имена моделей, которые вы уже загрузили в Ollama.

   • Например, если вы черезollama run llama3.2загрузилимодель llama3.2,то здесь можно указать её имя.модель llama3.2,

   • Нажав кнопку «Управлять», вы можете редактировать или удалять добавленные модели.

Начало работы

После завершения вышеописанных настроек вы сможете в интерфейсе чата Cherry Studio выбрать поставщика Ollama и загруженную модель, чтобы начать диалог с локальным LLM!

Советы и рекомендации

• Первый запуск модели: При первом запуске модели Ollama потребуется загрузить файлы модели, это может занять продолжительное время — пожалуйста, будьте терпеливы.

• Просмотр доступных моделей: В терминале выполните ollama list команду, чтобы посмотреть список моделей Ollama, которые вы загрузили.

• Требования к оборудованию: Запуск больших языковых моделей требует определённых вычислительных ресурсов (CPU, память, GPU), убедитесь, что конфигурация вашего компьютера соответствует требованиям модели.

• Документация Ollama: вы можете нажать в настройкахПросмотреть документацию Ollama и моделиссылка для быстрого перехода на официальную документацию Ollama.