前の回で頼んだ、補助金の要点の一覧が返ってきました。「対象は従業員50人以下」「上限は200万円」「締め切りは12月末」。どれも、それらしく見えます。
1つずつ、根拠のページを開いてみました。「上限は200万円」は、去年の制度の数字でした。今年は150万円です。「締め切りは12月末」は、根拠のページのどこにも書いてありません。
AIは、うそをつくつもりで書いたのではありません。でも、間違っていました。
Step 1:もっともらしい間違い
AIは、文章を作るのがとても上手です。そのぶん、もっともらしい間違いも書けてしまいます。古い情報を今のことのように書く。書いていないことを、書いてあるように書く。
このように、AIがもっともらしく書いた間違いを、ハルシネーション(幻覚)と呼びます。調べものを任せていれば、いつかは必ず起きるものだと考えておきます。
Step 2:出典を残させる
ハルシネーションを見抜く方法は、出典を確かめることです。出典とは、その文の根拠が書いてある場所のことです。この本では、このあとずっと「出典」と呼びます。
前の回の頼み方には、要点ごとに出典を付けさせる、次の2行を入れておきました。
要点ごとに、根拠のページの URL と、そのページのどの部分に書いてあるかを付けて。
根拠が見つからない要点は「根拠なし」と書いて、一覧から消さないで。
2行目が大事です。根拠のないものを黙って消されると、AIが何を見つけられなかったのかが分かりません。「根拠なし」と書いてあれば、自分で調べ直す所が分かります。
調べものを任せるとき、Claude Code には、いくつもの角度から調べて、出典どうしを突き合わせてからまとめる仕組みもあります(/deep-research と打って、続けて調べたいことを書きます。プランによっては、設定でオンにしてから使います。ふつうに頼むより、プランの使える量を多く使います)。それでも、最後に出典を開くのは自分です。
Step 3:開いて、確かめた文だけを使う
出典が付いていても、それで終わりではありません。出典のページを開き、その文が本当に書いてあるかを確かめます。
出典の付いた要点の、2つの扱い
URL があるので安心して資料に入れる。古い年度の数字や、書いていない内容が混ざっても気づかない
ページを開き、その文が書いてあるか、何年度の情報かを見る。確かめた要点にだけ印を付けて、資料に入れる
全部を開く時間がないときは、数字、日付、固有名詞(人や組織の名前)を優先します。間違えると困るのは、たいていこの3つです。
確かめたら、その結果をAIに伝えて、要点のファイルを直してもらいます。冒頭の3つなら、こうです。自分の結果に合わせて書き換えて使います。
要点.md を直して。
「対象は従業員50人以下」は、出典を開いて確かめた。
「上限は200万円」は、今年は150万円だったので直して。
「締め切りは12月末」は、出典に書いていなかったので「根拠なし」のまま残して。あとで窓口に聞く。
確かめた要点の頭には「確認済み」と付けて。
ここが核心
AIが言ったことを信じるのではなく、出典を開いて確かめた文だけを使う。
注意
ただし、出典そのものが古いこともある
出典のページが本物でも、そのページ自体が古い、ということがあります。制度や料金のように変わるものは、公式のページの更新日を見ます。更新日が分からなければ、担当の窓口に確かめるのが確実です。
セルフチェック
1. AIが調べた補助金の要点の1つに、出典の URL が付いていました。この本がすすめる扱いはどれですか?
今日のまとめ
- ハルシネーション:AIのもっともらしい間違い。いつかは必ず起きる
- 要点ごとに出典を付けさせ、根拠がないものは「根拠なし」と書かせる
- 出典は開いて確かめる。数字・日付・固有名詞を優先
次の問い:資料の形にするところまで、任せられる?