Ollama

Ollama 係一款優秀嘅開源工具，等您可以喺本地輕鬆運行同管理各種大型語言模型（LLMs）。Cherry Studio 而家已經支援 Ollama 集成，等您可以喺熟悉嘅介面入面，直接同本地部署嘅 LLM 互動，唔使依賴雲端服務！

咩係 Ollama？

Ollama 係一個簡化大型語言模型（LLM）部署同使用嘅工具。佢有以下特點：

• 本地運行： 模型完全喺您嘅本地電腦上運行，唔使上網，保護您嘅私隱同數據安全。

• 簡單易用： 透過簡單嘅命令列指令，即可下載、運行同管理各種 LLM。

• 模型豐富： 支援 Llama 2、Deepseek、Mistral、Gemma 等多種熱門開源模型。

• 跨平台： 支援 macOS、Windows 同 Linux 系統。

• 開放API：支援同 OpenAI 相容嘅介面，可以同其他工具整合。

點解要喺 Cherry Studio 入面使用 Ollama？

• 唔使雲端服務： 唔再受限於雲端 API 嘅配額同費用，盡情體驗本地 LLM 嘅強大功能。

• 數據私隱： 您所有對話數據都會保留喺本地，唔使擔心私隱洩露。

• 離線可用： 就算冇網絡連線，都可以繼續同 LLM 互動。

• 定制化： 可以根據您嘅需求，選擇同配置最適合您嘅 LLM。

喺 Cherry Studio 入面配置 Ollama

1. 安裝同運行 Ollama

首先，您需要喺您嘅電腦上安裝並運行 Ollama。請跟住以下步驟做：

• 下載 Ollama： 訪問 Ollama 官網（https://ollama.com/），根據您嘅操作系統下載對應嘅安裝包。 喺 Linux 下，可以直接運行命令安裝 ollama：

  curl -fsSL https://ollama.com/install.sh | sh

• 安裝 Ollama： 按照安裝程式嘅指引完成安裝。

• 下載模型： 打開終端機（或者命令提示符），使用 ollama run 命令下載您想用嘅模型。例如，要下載 Llama 2 模型，可以運行：

  ollama run llama3.2

  Ollama 會自動下載並運行呢個模型。

• 保持 Ollama 運行： 喺您使用 Cherry Studio 同 Ollama 模型互動期間，請確保 Ollama 保持運行狀態。

2. 喺 Cherry Studio 入面新增 Ollama 服務商

跟住，喺 Cherry Studio 入面新增 Ollama 做自定義 AI 服務商：

• 打開設定： 喺 Cherry Studio 介面左側導覽欄中，點擊「設定」（齒輪圖示）。

• 進入模型服務： 喺設定頁面中，選擇「模型服務」分頁。

• 新增提供商： 點擊列表中嘅 Ollama。

3. 配置 Ollama 服務商

喺服務商列表中搵到啱啱新增嘅 Ollama，並進行詳細配置：

1. 啟用狀態：

   • 確保 Ollama 服務商最右邊嘅開關已經打開，表示已啟用。

2. API 密鑰：

   • Ollama 預設唔需要 API 密鑰。您可以將呢個欄位留空，或者填入任何內容。

3. API 地址：

   • 填寫 Ollama 提供嘅本地 API 地址。通常情況下，地址係：

     http://localhost:11434/

     如果改咗端口，請自行更改。

4. 保持活躍時間： 呢個選項係設定會話保持時間，單位係分鐘。如果喺設定時間內冇新對話，Cherry Studio 會自動斷開同 Ollama 嘅連線，釋放資源。

5. 模型管理：

   • 點擊「+ 添加」按鈕，手動添加您喺 Ollama 入面已經下載嘅模型名稱。

   • 比如您已經透過ollama run llama3.2下載咗llama3.2模型, 咁呢度可以填入llama3.2

   • 點擊「管理」按鈕，可以對已添加嘅模型進行編輯或者刪除。

開始使用

完成以上配置後，您就可以喺 Cherry Studio 嘅聊天介面中，選擇 Ollama 服務商同您已下載嘅模型，開始同本地 LLM 對話喇！

技巧同提示

• 首次運行模型： 第一次運行某個模型時，Ollama 需要下載模型檔案，可能需要比較長時間，請耐心等候。

• 查看可用模型： 喺終端機中運行 ollama list 命令，可以查看您已下載嘅 Ollama 模型列表。

• 硬件要求： 運行大型語言模型需要一定嘅運算資源（CPU、內存、GPU），請確保您嘅電腦配置滿足模型嘅要求。

• Ollama 文檔：可以點擊配置頁面中嘅查看Ollama文檔和模型連結快速跳轉去 Ollama 官網文檔。