カスタムサービスプロバイダー

Cherry Studio は主要な AI モデルサービスを統合しているだけでなく、強力なカスタマイズ機能も提供します。以下の カスタム AI プロバイダー 機能を使えば、必要な任意の AI モデルを簡単に接続できます。

なぜカスタム AI プロバイダーが必要なのですか？

• 柔軟性： あらかじめ用意されたプロバイダ一覧に縛られず、ニーズに最適な AI モデルを自由に選べます。

• 多様性： さまざまなプラットフォームの AI モデルを試し、それぞれの独自の強みを見つけられます。

• 制御性： API キーやアクセス先を直接管理して、安全性とプライバシーを確保できます。

• カスタマイズ可能： プライベートにデプロイされたモデルを接続して、特定の業務用途に対応できます。

カスタム AI プロバイダーはどのように追加しますか？

わずかな手順で、Cherry Studio にカスタム AI プロバイダーを追加できます：

1. 設定を開く： Cherry Studio の画面左側のナビゲーションバーで「設定」（歯車アイコン）をクリックします。

2. モデルサービスに進む： 設定ページで「モデルサービス」タブを選択します。

3. プロバイダーを追加： 「モデルサービス」ページで既存のプロバイダ一覧が表示されます。リスト下の「+ 追加」ボタンをクリックして「プロバイダを追加」ダイアログを開きます。

4. 情報を入力： ダイアログ内で、以下の情報を入力する必要があります：

   • プロバイダ名： カスタムプロバイダに識別しやすい名前を付けてください（例：MyCustomOpenAI）。

   • プロバイダ種別： ドロップダウンリストからプロバイダの種類を選択します。現在サポートされているのは：

     • OpenAI

     • Gemini

     • Anthropic

     • Azure OpenAI

5. 設定を保存： 入力が完了したら「追加」ボタンをクリックして設定を保存します。

カスタム AI プロバイダの設定

追加後、リストから先ほど追加したプロバイダを見つけて詳細を設定する必要があります：

1. 有効状態 カスタムプロバイダ一覧の最右端に有効化スイッチがあり、オンにするとそのカスタムプロバイダが有効になります。

2. API キー：

   • AI プロバイダが提供する API キー（API Key）を入力します。

   • 右側の「チェック」ボタンをクリックすると、キーの有効性を検証できます。

3. API アドレス：

   • AI サービスの API アクセス先（Base URL）を入力します。

   • 必ずプロバイダが提供する公式ドキュメントを参照して、正しい API アドレスを取得してください。

4. モデル管理：

   • 「+ 追加」ボタンをクリックして、このプロバイダ配下で使用したいモデルIDを手動で追加します。例えば gpt-3.5-turbo、gemini-pro など。

   

   • 具体的なモデル名が不明な場合は、プロバイダの公式ドキュメントを参照してください。

   • 「管理」ボタンをクリックすると、追加済みのモデルを編集または削除できます。

使用開始

以上の設定が完了すれば、Cherry Studio のチャット画面でカスタムの AI プロバイダとモデルを選択して、AI との対話を開始できます！

vLLM をカスタム AI プロバイダとして利用する

vLLM は Ollama に似た、高速で使いやすい LLM 推論ライブラリです。以下は vLLM を Cherry Studio に統合する手順です：

1. vLLM をインストール： vLLM の公式ドキュメント（https://docs.vllm.ai/en/latest/getting_started/quickstart.html）に従って vLLM をインストールしてください。

   pip install vllm # pip を使う場合
   uv pip install vllm # uv を使う場合

2. vLLM サービスを起動： vLLM が提供する OpenAI 互換インターフェースを使ってサービスを起動します。主に次の2つの方法があります：

   • 使用vllm.entrypoints.openai.api_server起動

   python -m vllm.entrypoints.openai.api_server --model gpt2

   • 使用uvicorn起動

   vllm --model gpt2 --served-model-name gpt2

サービスが正しく起動し、デフォルトポートで待ち受けていることを確認してください。 8000 もちろん、パラメータ--portを使って vLLM サービスのポート番号を指定することもできます。

1. Cherry Studio に vLLM プロバイダを追加：

   • 前述の手順に従い、Cherry Studio に新しいカスタム AI プロバイダを追加します。

   • プロバイダ名： vLLM

   • プロバイダ種別： を選択 OpenAI。

2. vLLM プロバイダを設定：

   • API キー： vLLM は API キーを必要としないため、このフィールドは空のままにするか、任意の値を入力できます。

   • API アドレス： vLLM サービスの API アドレスを入力します。デフォルトではアドレスは： http://localhost:8000/（異なるポートを使用している場合は、適宜変更してください）。

   • モデル管理： vLLM にロードしたモデル名を追加します。上記のpython -m vllm.entrypoints.openai.api_server --model gpt2例では、ここに入力すべきはgpt2

3. 対話を開始： これで、Cherry Studio で vLLM プロバイダと gpt2 モデルを選択して、vLLM 駆動の LLM と対話を開始できます！

ヒントとコツ

• ドキュメントをよく読む： カスタムプロバイダを追加する前に、使用する AI プロバイダの公式ドキュメントを必ずよく読み、API キー、アクセス先、モデル名などの重要情報を確認してください。

• API キーをチェック： 「チェック」ボタンで API キーの有効性を迅速に検証し、キーの誤りで利用できなくなることを避けてください。

• API アドレスに注意： プロバイダやモデルによって API アドレスが異なることがあるため、必ず正しいアドレスを入力してください。

• 必要に応じてモデルを追加： 実際に使用するモデルのみを追加し、不要なモデルを大量に追加することは避けてください。