確かめ方のメニュー

前のレッスンでは、改定案とAIの要約を見比べて、抜けている変更点を見つけました。この「見比べる」は、確かめ方のひとつに過ぎません。ここでは、使える確かめ方を一通り並べます。

どれか1つの方法だけに頼っていると、その方法の苦手な間違いを見逃します。元の資料と照らすだけでは、資料自体が古かった場合の誤りには気づけません。根拠を引用させるだけでは、引用そのものが実在しない可能性が残ります。1つの方法の死角を、別の方法で埋め合わせる発想で選んでください。

確かめ方は4つある

Anthropicが129名のClaude Academy参加者に、成果物をどう確かめているかを尋ねた調査では、回答者の51%が、AIの出力を情報源・公式文書・自分のデータ・他の人・別のAIといった、会話の外にある何かと照らし合わせて確かめていました。さらにそのうちの10%は、複数の確かめ方を組み合わせていました。

たとえば、見積書の下書きをAIに作らせたとします。単価と数量をもとの見積依頼書と照らし(元の資料と照らす)、割引率の根拠を聞き返し(根拠を引用させる)、合計金額だけは自分で電卓を叩いて出し直し(別の方法で出し直す)、送る前に経理担当に一度目を通してもらう(人に見せる)。4つを全部使う必要はありませんが、金額が絡む書類ほど、複数を重ねて使う価値があります。

どれを選ぶか

同じ調査は、作業内容によって選ばれる確かめ方が違うことも示しています。コードが絡む作業ではテストを実行して確かめ、リサーチや分析では情報源との照合やセカンドオピニオンに頼り、文章を書く作業では同僚に読んでもらう傾向がありました。1つの正解があるわけではなく、作業の性質に合わせて選ぶものです。

社内向けの議事録の要約であれば、間違えても実害が小さいので、元の資料とざっと照らすだけで十分なことが多いでしょう。一方で、社外に送る見積や、顧客への説明資料のように、間違いがそのまま相手に届くものは、根拠の引用と人の目という、2つ以上の方法を重ねておくほうが安全です。作業を始める前に、間違えたときの影響の大きさを一度考えておくと、どこまで確かめるかを決めやすくなります。

医師など、間違いがそのまま患者に届く仕事では、根拠を引用させたうえで、その根拠が実在するかまで確かめる必要があります。この一歩踏み込んだ手順は、医師のためのAI検証入門で扱っています。

4つとも同時に使う必要はありません。確かめ方を増やすほど時間もかかります。まだ習慣になっていないうちは、「根拠を引用させる」から始めるのがおすすめです。頼んだ文章にひとこと足すだけで済み、他の3つよりも手間が少なく、今日から始められます。慣れてきたら、重い仕事から順に、もう1つ方法を足していきます。

やってみよう

演習1：最近AIに頼んだ仕事を1つ選ぶ

直近でAIに頼んだ仕事を1つ選び、上の4つのうちどれで確かめられるか考えてください。すでに確かめていた場合は、実際にどれを使ったかを振り返ってください。複数の方法を無意識に組み合わせていた、ということもよくあります。逆に、まったく確かめていなかったことに気づく場合もあります。

演習2：確かめていない仕事に、方法を1つ足す

まだ確かめていない仕事があれば、4つのうちどれを今日から足すかを決めてください。根拠を引用させるは、ひとこと付け加えるだけで始められる、いちばん手軽な方法です。決めたら、次にAIに頼むときの依頼文に、その一言を実際に書き加えてみてください。

このメニューは、この先のレッスンでも土台になります。答えを知っている材料で試す、AIの指摘を仕分ける、といった今後の技術も、突き詰めればこの4つの組み合わせです。

今日のまとめ

• 確かめ方には、元の資料と照らす・根拠を引用させる・別の方法で出し直す・人に見せる、という4つがある
• 51%の人が、AIの出力を会話の外にある何かと照らし合わせて確かめていた
• どれを選ぶかは作業の性質で決まり、1つの正解があるわけではない

次のレッスンでは、AIに任せる範囲を広げる前に、先にやっておくべき手順を扱います。