このレッスンで終わる頃には
- 生成AIの間違いが「バグ」ではなく、仕組みそのものから来ることが分かる
- AIの「自信のある口調」を、正しさの証拠として扱ってはいけない理由を説明できる
前のレッスン（5分でAIの嘘を見破る）で、AIの答えを一次情報で確かめる1往復を体験しました。ここでは一段深く、なぜ確かめる必要があるのかを仕組みから理解します。
AIは「正しさ」ではなく「それっぽさ」を計算している
私たちはつい、AIが巨大な医学事典を引いて答えていると思ってしまいます。実際は違います。
生成AIがやっているのは、突きつめると「次に来る単語を予測する」だけです。「溶連菌の第一選択は」と入力されたら、学習データの中で統計的に続きやすい単語を並べていく。並べ終わった文章が、たまたま正しいこともあれば、もっともらしいだけで間違っていることもあります。
ここが決定的に重要です。AIは「これは正しい」と判定してから答えているのではありません。「これはそれっぽい」を計算して並べているだけです。正しさの判定は、最初から仕事に入っていません。
だから間違えるときも、正しいときとまったく同じ、なめらかで自信のある文体になります。文体は、正しさとは無関係な場所で作られているからです。
間違いには、はっきりした「型」がある
でたらめにランダムに間違えるなら、まだ気づきやすい。厄介なのは、間違い方に医師が引っかかりやすい型があることです。
生成AIの間違いには、代表的なものが3つあります。
- ハルシネーション（もっともらしい捏造）: 存在しない論文、実在しない用量、架空のガイドライン名を、堂々と作り出す
- 古い情報: 学習した時点の知識で止まっている。最新のガイドライン改訂を知らないまま、古い推奨を自信満々に答える
- 文脈の取り違え: 成人の話を小児にそのまま当てはめる、別の疾患の数字を混ぜる
このうち、医師にとって一番危ないのが捏造された引用です。「〜という研究があります」と、著者名も雑誌名も付いた、完全に本物に見える文献を作り出すことがあります。
数字で見る: 引用の捏造は、実際どのくらい起きるのか
これは印象論ではなく、測定されています。
脊椎外科の診療テーマで5つの主要LLM（ChatGPT・Gemini・Claude・Copilot・OpenEvidence）に文献付きで回答させ、すべての引用を人手で1件ずつ検証した2026年の研究があります。結果、汎用モデルの引用は正確なものばかりではありませんでした。Geminiは26.2%が捏造、Claudeが最も正確でしたがそれでも正確な引用は78%にとどまりました（According to PubMed, McLaughlin ND, et al. Neurosurg Pract. 2026;7(3):e000244. DOI）。
さらに重要な発見があります。患者向けの口調で聞くと、精度が落ちるのです。同じ研究で、ChatGPTは患者レベルの質問だと捏造率が2.1%から20.0%に跳ね上がりました（同, DOI）。
一方、PubMedを直接参照する専用ツール（OpenEvidence）は満点でした。汎用チャットに文献を丸投げすると危ない、という具体的な数字です。この危険性は、産婦人科研究の総説でも「引用の捏造」として明確に警告されています（According to PubMed, Kawakita T, et al. Am J Perinatol. 2025;42(16):2094-2103. DOI）。
だから、疑う場所が決まる
仕組みが分かると、どこを信じ、どこを疑うべきかがはっきりします。
AIが得意なのは、文章を整える、要点を並べる、下書きを作る、たたき台を出す。「形を作る」仕事です。ここは大いに任せていい。
AIが構造的に苦手なのは、事実そのものの正しさです。用量、投与期間、引用文献、最新の推奨。この4つは、口調がどれだけ自信に満ちていても、必ず一次情報に戻って確かめる。これがこのコース全体を貫く原則です。
疑うのは、AIを信用していないからではありません。AIが「正しさを判定していない」という仕組みを理解しているからです。
今日のまとめ
3行で振り返ります。
- 生成AIは「次の単語を予測している」だけで、正しさを判定してから答えているのではない
- だから間違えるときも自信のある文体になる。口調は正しさの証拠にならない（Geminiの引用捏造26.2%という実測もある）
- AIには「形を作る」仕事を任せ、用量・期間・引用・最新推奨の4つは必ず一次情報で確かめる
次のレッスンでは、この「一次情報に戻る1往復」を、臨床疑問1件で最後まで通す具体的な手順を練習します。
参考文献
- McLaughlin ND, Srinivas AN, Lowe ZF, et al. Large Language Model Hallucinations in Spine Surgery: A Comparative Analysis of Clinician vs Patient-Level Prompts. Neurosurg Pract. 2026;7(3):e000244. DOI（According to PubMed, PMID 42232526）
- Kawakita T, Wong MS, Gibson KS, et al. Application of Generative AI to Enhance Obstetrics and Gynecology Research. Am J Perinatol. 2025;42(16):2094-2103. DOI（According to PubMed, PMID 40393680）