カスタムプロバイダー

Cherry Studio は主流の AI モデルサービスを統合しているだけでなく、強力なカスタマイズ機能も備えています。 カスタム AI プロバイダー 機能を通じて、必要な AI モデルを簡単に接続できます。

なぜカスタム AI プロバイダーが必要なのか？

• 柔軟性： あらかじめ用意されたプロバイダー一覧に縛られず、要件に最も適した AI モデルを自由に選べます。

• 多様性： さまざまなプラットフォームの AI モデルを試し、それぞれの独自の強みを見つけられます。

• 制御性： API キーとアクセス先を直接管理し、安全性とプライバシーを確保できます。

• カスタマイズ性： プライベート展開されたモデルに接続し、特定の業務シナリオの要件を満たします。

カスタム AI プロバイダーを追加するには？

わずか数ステップで、Cherry Studio にカスタム AI プロバイダーを追加できます：

1. 設定を開く： Cherry Studio の左側ナビゲーションバーで、「設定」（歯車アイコン）をクリックします。

2. モデルサービスに入る： 設定ページで「モデルサービス」タブを選択します。

3. プロバイダーを追加： 「モデルサービス」ページでは、既存のプロバイダー一覧が表示されます。リスト下部の「+ 追加」ボタンをクリックし、「プロバイダーを追加」ダイアログを開きます。

4. 情報を入力： ダイアログ内で、以下の情報を入力する必要があります：

   • プロバイダー名： カスタムプロバイダーに、識別しやすい名前を付けます（例：MyCustomOpenAI）。

   • プロバイダータイプ： ドロップダウンリストからプロバイダーの種類を選択します。現在サポートされているのは：

     • OpenAI

     • Gemini

     • を必ず

     • Azure OpenAI

5. 設定を保存： 入力が完了したら、「追加」ボタンをクリックして設定を保存します。

カスタム AI プロバイダーの設定

追加が完了したら、一覧の中から今追加したプロバイダーを見つけ、詳細設定を行います：

1. 有効状態 カスタムプロバイダー一覧の右端にある有効化スイッチをオンにすると、そのカスタムサービスが有効になります。

2. API キー：

   • AI プロバイダーから提供された API キー（API Key）を入力します。

   • 右側の「チェック」ボタンをクリックすると、キーの有効性を確認できます。

3. API アドレス：

   • AI サービスの API アクセス先（Base URL）を入力します。

   • 正しい API アドレスを取得するには、必ず AI プロバイダーの公式ドキュメントを参照してください。

4. モデル管理：

   • 「+ 追加」ボタンをクリックし、このプロバイダーで使用したいモデル ID を手動で追加します。例： gpt-3.5-turbo、gemini-pro など。

   

   • 具体的なモデル名が分からない場合は、AI プロバイダーの公式ドキュメントを参照してください。

   • 「管理」ボタンをクリックすると、すでに追加したモデルを編集または削除できます。

使い始める

以上の設定が完了したら、Cherry Studio のチャット画面でカスタム AI プロバイダーとモデルを選択し、AI との対話を始められます！

vLLM をカスタム AI プロバイダーとして使用する

vLLM は、Ollama に似た高速で使いやすい LLM 推論ライブラリです。以下は、vLLM を Cherry Studio に統合する手順です：

1. vLLM をインストール： vLLM の公式ドキュメント（https://docs.vllm.ai/en/latest/getting_started/quickstart.html）に従って vLLM をインストールします。

   pip install vllm # pip を使用する場合
   uv pip install vllm # uv を使用する場合

2. vLLM サービスを起動： vLLM が提供する OpenAI 互換インターフェースを使ってサービスを起動します。主に以下の 2 つの方法があります：

   • 使用するvllm.entrypoints.openai.api_server起動

   python -m vllm.entrypoints.openai.api_server --model gpt2

   • 使用するuvicorn起動

   vllm --model gpt2 --served-model-name gpt2

サービスが正常に起動し、デフォルトのポートで待ち受けていることを確認してください 8000 。 もちろん、パラメータ--portで vLLM サービスのポート番号を指定することもできます。

1. Cherry Studio に vLLM サービスプロバイダーを追加する：

   • 前述の手順に従って、Cherry Studio に新しいカスタム AI プロバイダーを追加します。

   • プロバイダー名： vLLM

   • プロバイダータイプ： を選択 OpenAIを提供する。

2. vLLM プロバイダーを設定：

   • API キー： vLLM は API キーを必要としないため、この欄は空欄のままにするか、任意の内容を入力してもかまいません。

   • API アドレス： vLLM サービスの API アドレスを入力します。既定では、アドレスは次のとおりです： http://localhost:8000/（別のポートを使用している場合は、それに応じて変更してください）。

   • モデル管理： vLLM で読み込んだモデル名を追加します。上記の実行例では、ここにpython -m vllm.entrypoints.openai.api_server --model gpt2を入力します。gpt2

3. 会話を開始： これで、Cherry Studio で vLLM プロバイダーと gpt2 モデルを選択し、vLLM 駆動の LLM との会話を始められます！

ヒントとコツ

• ドキュメントをよく読む： カスタムプロバイダーを追加する前に、使用する AI プロバイダーの公式ドキュメントを必ずよく読み、API キー、アクセス先、モデル名などの重要な情報を確認してください。

• API キーを確認： 「チェック」ボタンを使うと API キーの有効性をすばやく確認でき、キーの誤りによって使用できない事態を防げます。

• API アドレスに注意： AI プロバイダーやモデルによって API アドレスが異なる場合があります。必ず正しいアドレスを入力してください。

• モデルは必要に応じて追加： 実際に使用するモデルだけを追加し、不要なモデルを増やしすぎないようにしてください。