Claudeに資料を作ってもらうと、たいてい形はきれいに整っています。箇条書きはそろっているし、文章もなめらかです。ここで、多くの人がひとつの行動をやめてしまいます。中身を確かめることです。
これは怠慢ではありません。人がそう判断してしまう理由が、データで裏付けられています。
出来上がった答えほど、疑わなくなる
Anthropicが2026年1月20日から26日までの7日間に交わされたClaude.aiの会話9,830件を調べた調査があります。会話に11の行動(目標を明確にする、事実を確認する、根拠を求めるなど)が現れているかどうかを、機械的に判定したものです。
そのうち12.3%の会話には、コード・文書・対話式のツールなど、完成した形の成果物(アーティファクト)が含まれていました。この12.3%を、アーティファクトを含まない会話と比べると、はっきりした違いが出ます。
成果物ができる会話とできない会話、確かめる行動の違い
事実を確認する行動は5.5%。できない会話より3.7ポイント低い
推論に疑問を挟む行動は13%。3.1ポイント低い
欠けている文脈を指摘する行動は15.8%。5.2ポイント低い
事実を確認する行動は9.2%
推論に疑問を挟む行動は16.2%
欠けている文脈を指摘する行動は21%
同じ調査は、成果物ができる会話のほうが「目標を明確にする」「形式を指定する」といった、頼み方を具体的にする行動は逆に増えていたことも示しています。人は、AIへの指示は丁寧になる一方で、出てきたものを確かめる手は緩めています。
Anthropic自身の考察は率直です。作業が完成しているように見えると、人はそれをそのまま受け入れてしまう可能性がある、というものです。
この逆転は、悪気のない自然な反応です。文章が整い、数字が並び、見た目のミスがなければ、中身まで正しいと感じてしまいます。しかし見た目の完成度と、中身の正しさは、別の軸にあります。AIは「それらしく整った形」を作るのが得意で、そこに事実の正しさが自動的についてくるわけではありません。だからこそ、見た目が整っているときほど、確かめる一手間を意識して残す必要があります。
たとえば、四半期の振り返りをAIにまとめてもらうと、グラフは整い、数字の並びもきれいで、文章も破綻なく仕上がってきます。それを見た担当者は、細かい数字の出どころまで確かめないまま、そのまま会議の資料として配ってしまうことがあります。資料としての体裁が整っているかどうかと、中の数字が正しいかどうかは、まったく別の話です。体裁のきれいさが、正しさの証拠であるかのように見えてしまうところに、このレッスンの本題があります。
評価力という言葉
AIの出力を見極めるこの力には、名前が付いています。Rick DakanとJoseph FellerがAnthropicと共同で開発した「AI活用力(4D)フレームワーク」では、これを評価力(Discernment)と呼びます。このコースは、この評価力を鍛えるためのコースです。
補足
出典について
評価力という言葉と、このレッスンの数字は、Rick DakanとJoseph FellerがAnthropicと開発したAI活用力フレームワークと、そのフレームワークに基づく調査から取っています。このコースの例や演習は、AMPLが独自に作ったものです。
やってみよう
演習1:最近AIに作ってもらったものを思い出す
直近1週間でAIに作ってもらった資料・文章・コード・計算結果を1つ思い浮かべてください。それを受け取ったとき、中身をどこまで確かめましたか。見た目が整っていたから、それだけで安心してしまった部分はありませんか。
演習2:確かめなかった理由を言葉にする
演習1で確かめなかった部分があれば、その理由を書き出してください。忙しかったからか、見た目が完成していて疑う余地がないように感じたからか、それとも確かめ方が分からなかったからか。同じ理由は、他の仕事でも繰り返し出てきていないか、あわせて振り返ってみてください。理由が分かれば、次のレッスンから対策を選べます。
今日のまとめ
- Claude.aiの会話9,830件の分析では、成果物ができる会話ほど、事実確認や推論への疑問といった確かめる行動が減っていた
- AIへの指示は丁寧になる一方で、出てきたものへの疑いは緩むという逆の動きが同時に起きていた
- この力には評価力という名前があり、このコースはそれを鍛えるためにある
次のレッスンでは、一見正しそうな要約の中に、本当は抜けている情報がないかを見つける練習をします。
セルフチェック
1. Anthropicの調査でClaude.aiの会話9,830件のうち、成果物(アーティファクト)を含んでいた会話の割合はどれですか。
2. 成果物ができる会話で、できない会話と比べて減っていた行動はどれですか。
3. 評価力(Discernment)という言葉は、何を指しますか。