# Ollama

Ollama 係一款優秀嘅開源工具，等您可以喺本地輕鬆運行同管理各種大型語言模型（LLMs）。Cherry Studio 而家已經支援 Ollama 集成，等您可以喺熟悉嘅介面入面，直接同本地部署嘅 LLM 互動，唔使依賴雲端服務！

## 咩係 Ollama？

Ollama 係一個簡化大型語言模型（LLM）部署同使用嘅工具。佢有以下特點：

* **本地運行：** 模型完全喺您嘅本地電腦上運行，唔使上網，保護您嘅私隱同數據安全。
* **簡單易用：** 透過簡單嘅命令列指令，即可下載、運行同管理各種 LLM。
* **模型豐富：** 支援 Llama 2、Deepseek、Mistral、Gemma 等多種熱門開源模型。
* **跨平台：** 支援 macOS、Windows 同 Linux 系統。
* **開放API**：支援同 OpenAI 相容嘅介面，可以同其他工具整合。

## 點解要喺 Cherry Studio 入面使用 Ollama？

* **唔使雲端服務：** 唔再受限於雲端 API 嘅配額同費用，盡情體驗本地 LLM 嘅強大功能。
* **數據私隱：** 您所有對話數據都會保留喺本地，唔使擔心私隱洩露。
* **離線可用：** 就算冇網絡連線，都可以繼續同 LLM 互動。
* **定制化：** 可以根據您嘅需求，選擇同配置最適合您嘅 LLM。

## 喺 Cherry Studio 入面配置 Ollama

### **1. 安裝同運行 Ollama**

首先，您需要喺您嘅電腦上安裝並運行 Ollama。請跟住以下步驟做：

* **下載 Ollama：** 訪問 Ollama 官網（<https://ollama.com/>），根據您嘅操作系統下載對應嘅安裝包。\
  喺 Linux 下，可以直接運行命令安裝 ollama：

  ```sh
  curl -fsSL https://ollama.com/install.sh | sh
  ```
* **安裝 Ollama：** 按照安裝程式嘅指引完成安裝。
* **下載模型：** 打開終端機（或者命令提示符），使用 `ollama run` 命令下載您想用嘅模型。例如，要下載 Llama 2 模型，可以運行：

  ```sh
  ollama run llama3.2
  ```

  Ollama 會自動下載並運行呢個模型。
* **保持 Ollama 運行：** 喺您使用 Cherry Studio 同 Ollama 模型互動期間，請確保 Ollama 保持運行狀態。

### **2. 喺 Cherry Studio 入面新增 Ollama 服務商**

跟住，喺 Cherry Studio 入面新增 Ollama 做自定義 AI 服務商：

* **打開設定：** 喺 Cherry Studio 介面左側導覽欄中，點擊「設定」（齒輪圖示）。
* **進入模型服務：** 喺設定頁面中，選擇「模型服務」分頁。
* **新增提供商：** 點擊列表中嘅 Ollama。

<figure><img src="/files/ee47770ba6a16f2cd41d1180b647e4015ee1b296" alt=""><figcaption></figcaption></figure>

### **3. 配置 Ollama 服務商**

喺服務商列表中搵到啱啱新增嘅 Ollama，並進行詳細配置：

1. **啟用狀態：**
   * 確保 Ollama 服務商最右邊嘅開關已經打開，表示已啟用。
2. **API 密鑰：**
   * Ollama 預設**唔需要** API 密鑰。您可以將呢個欄位留空，或者填入任何內容。
3. **API 地址：**
   * 填寫 Ollama 提供嘅本地 API 地址。通常情況下，地址係：

     ```
     http://localhost:11434/
     ```

     如果改咗端口，請自行更改。
4. **保持活躍時間：** 呢個選項係設定會話保持時間，單位係分鐘。如果喺設定時間內冇新對話，Cherry Studio 會自動斷開同 Ollama 嘅連線，釋放資源。
5. **模型管理：**
   * 點擊「+ 添加」按鈕，手動添加您喺 Ollama 入面已經下載嘅模型名稱。
   * 比如您已經透過`ollama run llama3.2`下載咗`llama3.2`模型, 咁呢度可以填入`llama3.2`
   * 點擊「管理」按鈕，可以對已添加嘅模型進行編輯或者刪除。

## 開始使用

完成以上配置後，您就可以喺 Cherry Studio 嘅聊天介面中，選擇 Ollama 服務商同您已下載嘅模型，開始同本地 LLM 對話喇！

## 技巧同提示

* **首次運行模型：** 第一次運行某個模型時，Ollama 需要下載模型檔案，可能需要比較長時間，請耐心等候。
* **查看可用模型：** 喺終端機中運行 `ollama list` 命令，可以查看您已下載嘅 Ollama 模型列表。
* **硬件要求：** 運行大型語言模型需要一定嘅運算資源（CPU、內存、GPU），請確保您嘅電腦配置滿足模型嘅要求。
* **Ollama 文檔**：可以點擊配置頁面中嘅`查看Ollama文檔和模型`連結快速跳轉去 Ollama 官網文檔。


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://docs.cherry-ai.com/docs/zhong-wen-fan-ti/pre-basic/providers/ollama.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.