知識の豆知識

トークンとは何ですか？

トークンは、AIモデルがテキストを処理するための基本単位で、モデルが「考える」最小単位と理解できます。これは私たちが理解する文字や単語と完全に一致するものではなく、モデル独自の特別なテキスト分割方法です。

1. 中国語の分かち書き

• 漢字1文字は通常、1〜2個のトークンとしてエンコードされます

• 例えば：「你好」 ≈ 2〜4トークン

2. 英語の分かち書き

• 一般的な単語は通常1トークンです

• 長い単語やあまり一般的でない単語は、複数のトークンに分解されます

• 例えば：

  • 「hello」 = 1トークン

  • 「indescribable」 = 4トークン

3. 特殊文字

• 空白、句読点などもトークンを消費します

• 改行文字は通常1トークンです

各サービス提供者のTokenizerはそれぞれ異なり、同じ提供者でもモデルごとにTokenizerが異なることがあります。この知識は、トークンの概念を明確にするためだけに用いてください。

---

Tokenizerとは何ですか？

Tokenizer（トークナイザー）は、AIモデルがテキストをトークンに変換するためのツールです。入力テキストを、モデルが理解できる最小単位にどのように分割するかを決定します。

なぜ異なるモデルでTokenizerが違うのですか？

1. 学習データが異なる

• 異なるコーパスにより、最適化の方向が異なります

• 多言語対応の度合いの違い

• 特定分野（医療、法律など）向けの専用最適化

2. 分かち書きアルゴリズムが異なる

• BPE (Byte Pair Encoding) - OpenAI GPTシリーズ

• WordPiece - Google BERT

• SentencePiece - 多言語シーンに適する

3. 最適化目標が異なる

• 圧縮効率を重視するものもあれば

• 意味保持を重視するものもあれば

• 処理速度を重視するものもあります

実際の影響

同じテキストでも、異なるモデルではトークン数が異なる場合があります：

入力："Hello, world!"
GPT-3: 4トークン
BERT: 3トークン
Claude: 3トークン

---

埋め込みモデル (Embedding Model) とは何ですか？

基本概念： 埋め込みモデルは、高次元の離散データ（テキスト、画像など）を低次元の連続ベクトルに変換する技術です。この変換により、機械は複雑なデータをよりよく理解し、処理できるようになります。たとえば、複雑なパズルを単純な座標点に簡略化するようなものですが、その点にはパズルの重要な特徴がなお保持されています。大規模モデルのエコシステムでは、これは「翻訳者」として機能し、人間が理解できる情報をAIが計算可能な数値形式に変換します。

動作原理： 自然言語処理を例にすると、埋め込みモデルは単語をベクトル空間内の特定の位置にマッピングできます。この空間では、意味の近い単語が自動的に集まります。例えば：

• 「王」と「女王」のベクトルは非常に近くなります

• 「猫」や「犬」のようなペット関連の単語も近い距離になります

• 一方で、「車」と「パン」のような意味的に無関係な単語は、より離れた距離になります

主な応用シーン：

• テキスト分析：文書分類、感情分析

• 推薦システム：パーソナライズされたコンテンツ推薦

• 画像処理：類似画像検索

• 検索エンジン：意味検索の最適化

主な利点：

1. 次元削減効果：複雑なデータを扱いやすいベクトル形式に簡略化

2. 意味保持：元データの重要な意味情報を保持

3. 計算効率：機械学習モデルの学習および推論効率を大幅に向上

技術的価値： 埋め込みモデルは現代のAIシステムの基盤コンポーネントであり、機械学習タスクに高品質なデータ表現を提供し、自然言語処理やコンピュータビジョンなどの分野の発展を支える重要な技術です。

---

Embeddingモデルが知識検索でどのように動作するか

基本的なワークフロー：

1. 知識ベースの前処理段階

• 文書を適切なサイズのchunk（テキストブロック）に分割する

• embeddingモデルを使って各chunkをベクトルに変換する

• ベクトルと元テキストをベクトルデータベースに保存する

1. クエリ処理段階

• ユーザーの質問をベクトルに変換する

• ベクトルライブラリで類似内容を検索する

• 検索された関連内容をコンテキストとしてLLMに提供する

---

MCP（Model Context Protocol）とは何ですか？

MCPは、標準化された方法で大規模言語モデル（LLM）にコンテキスト情報を提供することを目的としたオープンソースのプロトコルです。

• アナロジーで理解する： MCPはAI分野の「USBメモリ」のようなものだと考えられます。USBメモリがさまざまなファイルを保存でき、パソコンに挿せばすぐ使えるのと同じです。同様に、MCP Serverにはコンテキストを提供するさまざまな「プラグイン」を「差し込む」ことができ、LLMは必要に応じてMCP Serverにこれらのプラグインを要求し、より豊富なコンテキスト情報を取得して、自身の能力を強化できます。

• Function Toolとの比較： 従来のFunction Tool（関数ツール）もLLMに外部機能を提供できますが、MCPはより高次元の抽象化に近いものです。Function Toolは具体的なタスク向けのツールであることが多いのに対し、MCPはより汎用的でモジュール化されたコンテキスト取得メカニズムを提供します。

MCPの主な利点

1. 標準化： MCPは統一されたインターフェースとデータ形式を提供し、異なるLLMとコンテキスト提供者がシームレスに連携できるようにします。

2. モジュール化： MCPは、開発者がコンテキスト情報を独立したモジュール（プラグイン）に分解することを可能にし、管理と再利用を容易にします。

3. 柔軟性： LLMは自身のニーズに応じて必要なコンテキストプラグインを動的に選択し、より賢く、より個別化された対話を実現できます。

4. 拡張性： MCPの設計は、将来的にさらに多様なコンテキストプラグインを追加することを支援し、LLMの能力拡張に無限の可能性を提供します。

---