セクション1: LLMとは何か
大規模言語モデル（Large Language Model, LLM）は、大量のテキストデータから学習した、テキストを理解し生成するAIモデルだ。
LLMの3つの特徴
大規模性
数十億〜数兆という膨大なパラメータを持つ
意味理解
パターン認識に基づいて、テキストの意味を捉える
生成能力
学習したパターンをもとに、新しいテキストを作る
パラメータとは
パラメータは、AIモデルが学習する「重み」だ。数が多いほど、より複雑なパターンを学習できる。
主要なLLMは数百億から数千億、最新世代ではさらにそれ以上のパラメータを持つとされる。ただし各社とも正確な数値は公開しておらず、出回る数字の多くは推定値だ。押さえておきたいのは正確な数値ではなく、人間が直感しにくいほど桁違いの規模だという感覚。
パラメータ数が多いほど性能が高いとは限らない。効いてくるのは、パラメータの質と学習データの質だ。
セクション2: 事前学習とファインチューニング
事前学習とファインチューニングの違い
書籍・論文・ウェブページなど、数十億〜数兆トークンの一般的なテキストで学習する。
文法・構文・意味のパターン、一般知識、推論のパターンを、この段階で獲得する。
事前学習済みモデルを、特定タスクのデータでさらに学習する。
医学文献で学習すれば医療専門のAIに、診断書データで学習すれば診断書作成に特化したAIになる。
事前学習が一般的な言語能力を、ファインチューニングが特定タスクへの特化を担う。この違いを理解すると、AIをどこでどう使うかの判断がしやすくなる。
セクション3: パラメータ数と能力の関係
パラメータ数が増えると、AIの能力も向上する。これを「スケーリング則」と呼ぶ。
パラメータが増えると伸びる3つの力
言語理解
より複雑な文脈を理解できるようになる
推論能力
より複雑な推論が可能になる
専門知識
保持できる専門知識の量が増える
ただし、パラメータ数を増やし続けても無限に能力が向上するわけではなく、ある時点で頭打ちになる。パラメータ数だけでなく、学習データの質、アーキテクチャの設計、学習方法も性能に影響する。
重要な洞察：LLMの能力と限界
LLMが得意なこと・苦手なこと
一般的な知識の提供
テキストの生成と要約
パターンに基づいた推論
学習データに含まれていない最新情報
正確な事実確認
専門的な判断、特に医療現場での判断
セルフチェック
1. 大規模言語モデル（LLM）の「パラメータ」とは何ですか？
2. 事前学習とファインチューニングの違いとして正しいものはどれですか？
3. LLMが苦手とすることとして最も適切なものはどれですか？
明日のアクション
明日、自分が普段使っている生成AIツール（ChatGPT、Claudeなど）に、自分の専門分野に関する質問をしてみましょう。回答の正確性を確認し、「事前学習で獲得した一般知識」と「専門分野で求められる精度」のギャップを体感してください。