自定義服務商

Cherry Studio 唔單止整合咗主流嘅 AI 模型服務，仲畀你強大嘅自定義能力。通過 自訂 AI 供應商 功能，你可以輕鬆接入任何你需要嘅 AI 模型。

點解要自訂 AI 供應商？

只需簡單幾步，就可以喺 Cherry Studio 入面新增你嘅自訂 AI 供應商：

打開設定： 喺 Cherry Studio 介面左側導航欄，撳「設定」（齒輪圖示）。
進入模型服務： 喺設定頁面入面，揀「模型服務」分頁。
添加提供商： 喺「模型服務」頁面，你會見到已有嘅供應商列表。撳列表下方嘅「+ 添加」掣，打開「添加提供商」彈窗。
填寫資訊： 喺彈窗入面，你需要填以下資訊：
- 提供商名稱： 畀你嘅自訂供應商一個易識別嘅名稱（例如：MyCustomOpenAI）。
- 提供商類型： 喺下拉列表揀你嘅供應商類型。目前支援：
  - OpenAI
  - Gemini
  - Anthropic
  - Azure OpenAI
保存配置： 填好之後，撳「添加」掣保存你嘅配置。

添加完成後，你需要喺列表中搵返你啱啱添加嘅供應商，並進行詳細配置：

啟用狀態 自訂供應商列表最右側有個啟用開關，打開代表啟用該自訂服務。
API 密鑰：
- 填寫你嘅 AI 供應商提供嘅 API 密鑰（API Key）。
- 撳右側嘅「檢查」掣，可以驗證密鑰嘅有效性。
API 地址：
- 填寫 AI 服務嘅 API 訪問地址（Base URL）。
- 請務必參考你嘅 AI 供應商提供嘅官方文件，攞到正確嘅 API 地址。
模型管理：
- 撳「+ 添加」掣，手動新增喺呢個供應商下面你想用嘅模型 ID。例如 gpt-3.5-turbo、gemini-pro 等等。
- 如果你唔肯定具體嘅模型名稱，請參考你嘅 AI 供應商提供嘅官方文件。
- 撳「管理」掣，可以對已經添加嘅模型進行編輯或者刪除。

完成以上配置後，你就可以喺 Cherry Studio 嘅聊天介面中，揀你自訂嘅 AI 供應商同模型，開始同 AI 對話啦！

vLLM 係一個類似 Ollama、快速又易用嘅 LLM 推理庫。以下係點樣將 vLLM 集成到 Cherry Studio 嘅步驟：

安裝 vLLM： 跟住 vLLM 官方文件（https://docs.vllm.ai/en/latest/getting_started/quickstart.html）安裝 vLLM。
```
pip install vllm # 如果你用緊 pip
uv pip install vllm # 如果你用緊 uv
```
啟動 vLLM 服務： 使用 vLLM 提供嘅 OpenAI 相容介面啟動服務。主要有兩種方式，如下：
- 使用vllm.entrypoints.openai.api_server啟動
```
python -m vllm.entrypoints.openai.api_server --model gpt2
```
- 使用uvicorn啟動
```
vllm --model gpt2 --served-model-name gpt2
```

確保服務成功啟動，並監聽喺預設端口 8000 上。當然，你亦可以透過參數--port指定 vLLM 服務嘅端口號。

喺 Cherry Studio 添加 vLLM 供應商：
- 跟前面描述嘅步驟，喺 Cherry Studio 添加一個新嘅自訂 AI 供應商。
- 提供商名稱： vLLM
- 提供商類型： 選擇 OpenAI。
配置 vLLM 供應商：
- API 密鑰： 因為 vLLM 唔需要 API 密鑰，可以將呢個欄位留空，或者填任意內容。
- API 地址： 填寫 vLLM 服務嘅 API 地址。預設情況下，地址係： http://localhost:8000/（如果用咗唔同嘅端口，請相應修改）。
- 模型管理： 添加你喺 vLLM 入面載入嘅模型名稱。喺上面運行python -m vllm.entrypoints.openai.api_server --model gpt2嘅例子中，應該喺呢處填入gpt2
開始對話： 而家，你可以喺 Cherry Studio 選擇 vLLM 供應商同 gpt2 模型，開始同由 vLLM 驅動嘅 LLM 對話啦！

Last updated 6 months ago

Was this helpful?