Ollama

Ollama 係一款出色嘅開源工具，令你可以喺本地輕鬆運行同管理各種大型語言模型（LLMs）。Cherry Studio 而家已經支援 Ollama 集成，令你可以喺熟悉嘅介面入面，直接同本地部署嘅 LLM 互動，唔使用雲端服務！

乜嘢係 Ollama？

Ollama 係一個簡化大型語言模型（LLM）部署同使用嘅工具。佢有以下特點：

• 本地運行： 模型完全喺你嘅本地電腦上運行，唔需要上網，保護你嘅私隱同數據安全。

• 簡單易用： 透過簡單嘅命令列指令，就可以下載、運行同管理各種 LLM。

• 模型豐富： 支援 Llama 2、Deepseek、Mistral、Gemma 等多種流行嘅開源模型。

• 跨平台： 支援 macOS、Windows 同 Linux 系統。

• 開放API：支援同 OpenAI 相容嘅介面，可以同其他工具整合。

點解要喺 Cherry Studio 入面用 Ollama？

• 無需雲服務： 唔再受限於雲端 API 嘅配額同費用，盡情體驗本地 LLM 嘅強大功能。

• 數據私隱： 你所有嘅對話數據都保留喺本地，唔使擔心私隱洩漏。

• 離線可用： 就算冇網絡連接，都可以繼續同 LLM 互動。

• 定制化： 可以按照你嘅需求，揀同配置最啱你嘅 LLM。

喺 Cherry Studio 中配置 Ollama

1. 安裝同運行 Ollama

首先，你需要喺你嘅電腦上安裝並運行 Ollama。請按照以下步驟操作：

• 下載 Ollama： 訪問 Ollama 官方網站（https://ollama.com/），根據你嘅操作系統下載對應嘅安裝包。 喺 Linux 下，可以直接運行命令安裝 ollama：

  curl -fsSL https://ollama.com/install.sh | sh

• 安裝 Ollama： 按照安裝程式嘅指引完成安裝。

• 下載模型： 打開終端（或命令提示符），使用 ollama run 命令下載你想用嘅模型。例如，要下載 Llama 2 模型，可以運行：

  ollama run llama3.2

  Ollama 會自動下載並運行該模型。

• 保持 Ollama 運行： 喺你使用 Cherry Studio 同 Ollama 模型互動期間，請確保 Ollama 保持運行狀態。

2. 喺 Cherry Studio 中添加 Ollama 服務提供商

接住嚟，喺 Cherry Studio 中添加 Ollama 做自定義 AI 服務提供商：

• 打開設定： 喺 Cherry Studio 介面左側導航欄，撳「設定」（齒輪圖示）。

• 進入模型服務： 喺設定頁面入面，揀「模型服務」分頁。

• 添加提供商： 撳列表入面嘅 Ollama。

3. 配置 Ollama 服務提供商

喺服務提供商列表入面搵到啱啱添加嘅 Ollama，並進行詳細配置：

1. 啟用狀態：

   • 確保 Ollama 提供商最右邊嘅開關已經開啟，表示已啟用。

2. API 密鑰：

   • Ollama 默認唔需要 API 密鑰。你可以將此欄位留空，或者填任何內容。

3. API 地址：

   • 填寫 Ollama 提供嘅本地 API 地址。通常情況下，地址係：

     http://localhost:11434/

     如果修改咗端口，請自行更改。

4. 保持活躍時間： 呢個選項係設置會話嘅保持時間，單位係分鐘。如果喺設定時間內冇新嘅對話，Cherry Studio 會自動斷開同 Ollama 嘅連接，釋放資源。

5. 模型管理：

   • 撳「+ 添加」按鈕，手動添加你喺 Ollama 中已經下載嘅模型名稱。

   • 例如你已經透過ollama run llama3.2下載咗llama3.2模型，咁呢度可以填入llama3.2

   • 撳「管理」按鈕，可以對已添加嘅模型進行編輯或刪除。

開始使用

完成以上配置之後，你就可以喺 Cherry Studio 嘅聊天介面入面，揀 Ollama 提供商同你已下載嘅模型，開始同本地 LLM 對話啦！

技巧與提示

• 首次運行模型： 第一次運行某個模型時，Ollama 需要下載模型文件，可能會花比較耐時間，請耐心等候。

• 查看可用模型： 喺終端運行 ollama list 命令，可以查看你已下載嘅 Ollama 模型列表。

• 硬件要求： 運行大型語言模型需要一定嘅計算資源（CPU、記憶體、GPU），請確保你嘅電腦配置符合模型要求。

• Ollama 文件： 可以撳配置頁面入面嘅查看 Ollama 文檔和模型連結快速跳轉至 Ollama 官方文件。