Ollama

Ollama — это отличный инструмент с открытым исходным кодом, который позволяет легко запускать и управлять различными большими языковыми моделями (LLM) локально. Cherry Studio теперь поддерживает интеграцию с Ollama, позволяя вам напрямую взаимодействовать с локально развернутой LLM в привычном интерфейсе, без зависимости от облачных сервисов!

Что такое Ollama?

Ollama — это инструмент, упрощающий развертывание и использование больших языковых моделей (LLM). Он обладает следующими особенностями:

• Локальный запуск: Модель полностью работает на вашем локальном компьютере, без подключения к сети, что защищает вашу конфиденциальность и безопасность данных.

• Простота использования: С помощью простых команд в командной строке можно скачивать, запускать и управлять различными LLM.

• Богатый выбор моделей: Поддерживает множество популярных открытых моделей, таких как Llama 2, Deepseek, Mistral, Gemma и другие.

• Кроссплатформенность: Поддерживает macOS, Windows и Linux.

• Открытый API: поддерживает интерфейсы, совместимые с OpenAI, и может интегрироваться с другими инструментами.

Зачем использовать Ollama в Cherry Studio?

• Без облачных сервисов: Больше не нужно зависеть от квот и стоимости облачных API — наслаждайтесь мощью локальных LLM.

• Конфиденциальность данных: Все ваши данные переписки остаются локально, без риска утечки конфиденциальной информации.

• Доступность офлайн: Даже без подключения к интернету вы можете продолжать взаимодействовать с LLM.

• Настраиваемость: Можно выбрать и настроить LLM, который лучше всего подходит под ваши потребности.

Настройка Ollama в Cherry Studio

1. Установка и запуск Ollama

Сначала вам нужно установить и запустить Ollama на вашем компьютере. Выполните следующие шаги:

• Скачать Ollama: Перейдите на официальный сайт Ollama (https://ollama.com/), и скачайте соответствующий установочный пакет для вашей операционной системы. В Linux можно напрямую выполнить команду установки ollama:

  curl -fsSL https://ollama.com/install.sh | sh

• Установка Ollama: Следуйте инструкциям установщика, чтобы завершить установку.

• Скачать модель: Откройте терминал (или командную строку) и используйте ollama run команду, чтобы скачать нужную вам модель. Например, чтобы скачать модель Llama 2, можно выполнить:

  ollama run llama3.2

  Ollama автоматически загрузит и запустит эту модель.

• Оставьте Ollama запущенным: Во время использования Cherry Studio для взаимодействия с моделями Ollama убедитесь, что Ollama остается запущенным.

2. Добавление провайдера Ollama в Cherry Studio

Далее добавьте Ollama в Cherry Studio как пользовательского AI-провайдера:

• Откройте настройки: В левой панели навигации интерфейса Cherry Studio нажмите «Настройки» (значок шестерёнки).

• Перейдите в сервисы моделей: На странице настроек выберите вкладку «Сервисы моделей».

• Добавить провайдера: Нажмите Ollama в списке.

3. Настройка провайдера Ollama

Найдите только что добавленный Ollama в списке провайдеров и выполните подробную настройку:

1. Статус включения:

   • Убедитесь, что переключатель справа от провайдера Ollama включён, что означает активацию.

2. API-ключ:

   • По умолчанию для Ollamaне требуется API-ключ. Вы можете оставить это поле пустым или ввести любое значение.

3. Адрес API:

   • Укажите локальный адрес API, предоставляемый Ollama. Обычно адрес такой:

     http://localhost:11434/

     Если вы изменили порт, скорректируйте адрес самостоятельно.

4. Время сохранения активности: Этот параметр задаёт время сохранения сеанса, в минутах. Если в течение заданного времени не будет новых сообщений, Cherry Studio автоматически отключится от Ollama, освобождая ресурсы.

5. Управление моделями:

   • Нажмите кнопку «+ Добавить», чтобы вручную добавить названия моделей, уже загруженных в Ollama.

   • Например, если вы уже черезollama run llama3.2скачалиllama3.2модель, то здесь можно ввестиllama3.2

   • Нажав кнопку «Управление», можно редактировать или удалять уже добавленные модели.

Начать использование

После завершения вышеуказанной настройки вы сможете в чате Cherry Studio выбрать провайдера Ollama и скачанную вами модель, чтобы начать общение с локальной LLM!

Советы и подсказки

• Первый запуск модели: При первом запуске модели Ollama необходимо скачать файлы модели, что может занять длительное время — пожалуйста, наберитесь терпения.

• Просмотр доступных моделей: Выполнив в терминале ollama list можно посмотреть список скачанных вами моделей Ollama.

• Требования к оборудованию: Для запуска больших языковых моделей требуются определённые вычислительные ресурсы (CPU, память, GPU), убедитесь, что конфигурация вашего компьютера соответствует требованиям модели.

• Документация Ollama: вы можете нажать в странице настроек наПосмотреть документацию Ollama и моделиссылку, чтобы быстро перейти к документации на официальном сайте Ollama.