トークン化とコンテキストウィンドウ

セクション1: トークン化とは何か

テキストの分割

トークン化（Tokenization）は、テキストを小さな単位（トークン）に分割する処理です。AIはテキストを直接理解するのではなく、トークン単位で処理します。

医療用語のトークン化

医療用語は一般的な単語よりも長く、複雑になりがちです。「急性心筋梗塞」は複数のトークンに分割され、「2型糖尿病」は「2」「型」「糖尿病」などに分かれることがあります。この分割のされ方によってAIの理解のしやすさが変わるため、医療用語を扱う場面ではトークン化の癖を意識しておくと、想定外の解釈のずれに気づきやすくなります。

セクション2: コンテキストウィンドウ

一度に処理できる情報量

コンテキストウィンドウは、AIが一度に処理できるトークン数の上限です。数年前は数千トークンが一般的でしたが、世代が進むごとに拡大し、本稿執筆時点（2026年）では主要モデルで20万〜100万トークン級が珍しくありません。具体的な数値は更新が速いので、使うモデルの最新仕様を確認してください。

医療文書での影響

症例報告書や診療記録は数千から数万トークンになることがあります。コンテキストウィンドウを超える場合は分割が必要で、重要な情報を最初に配置することが有効です。長い文書をあらかじめ要約してから渡す方法も併用できます。

セクション3: トークン数の見積もり

日本語と英語の違い

英語では1単語が約1.3トークン、日本語では1文字が約0.5〜1トークン（文字の種類による）に相当します。

トークン数の確認方法

ChatGPTでは入力の文字数から概算できます。Claudeはトークン数を表示してくれるため、より正確に把握できます。APIを使う場合は正確な数を計算できるため、業務で繰り返し使う文書テンプレートがあれば一度計算しておくと見積もりが速くなります。

セクション4: コンテキストウィンドウの最適化

効率的な情報の配置

診断名や主訴など重要な情報を最初に配置し、冗長な情報を削り、構造化すると処理効率が上がります。

長い文書の処理

コンテキストウィンドウを超える長い文書を一度に投げると、AIは途中で情報を落としたり、後半の一貫性を保てなくなったりします。そうならないために、次の3つの方法があります。