メインコンテンツへスキップ

出来上がって見えるほど、確かめなくなる

  • レッスン 1
  • 11分

このレッスンで

終わる頃には、次ができるようになります

  • 会話9,830件の調査データから、成果物が完成して見えるほど人は確かめなくなるという傾向を説明できる
  • 自分がAIの答えを確かめなかった場面を振り返り、その理由を言葉にできる
  • 評価力という言葉が指す、AIの出力を見極める力の位置づけを説明できる

Claudeに資料を作ってもらうと、たいてい形はきれいに整っています。箇条書きはそろっているし、文章もなめらかです。ここで、多くの人がひとつの行動をやめてしまいます。中身を確かめることです。

これは怠慢ではありません。人がそう判断してしまう理由が、データで裏付けられています。

出来上がった答えほど、疑わなくなる

Anthropicが2026年1月20日から26日までの7日間に交わされたClaude.aiの会話9,830件を調べた調査があります。会話に11の行動(目標を明確にする、事実を確認する、根拠を求めるなど)が現れているかどうかを、機械的に判定したものです。

そのうち12.3%の会話には、コード・文書・対話式のツールなど、完成した形の成果物(アーティファクト)が含まれていました。この12.3%を、アーティファクトを含まない会話と比べると、はっきりした違いが出ます。

成果物ができる会話とできない会話、確かめる行動の違い

成果物ができる会話

事実を確認する行動は5.5%。できない会話より3.7ポイント低い

推論に疑問を挟む行動は13%。3.1ポイント低い

欠けている文脈を指摘する行動は15.8%。5.2ポイント低い

成果物ができない会話

事実を確認する行動は9.2%

推論に疑問を挟む行動は16.2%

欠けている文脈を指摘する行動は21%

9,830件のClaude.ai会話のうち、成果物(アーティファクト)を含む会話は12.3%

同じ調査は、成果物ができる会話のほうが「目標を明確にする」「形式を指定する」といった、頼み方を具体的にする行動は逆に増えていたことも示しています。人は、AIへの指示は丁寧になる一方で、出てきたものを確かめる手は緩めています。

Anthropic自身の考察は率直です。作業が完成しているように見えると、人はそれをそのまま受け入れてしまう可能性がある、というものです。

この逆転は、悪気のない自然な反応です。文章が整い、数字が並び、見た目のミスがなければ、中身まで正しいと感じてしまいます。しかし見た目の完成度と、中身の正しさは、別の軸にあります。AIは「それらしく整った形」を作るのが得意で、そこに事実の正しさが自動的についてくるわけではありません。だからこそ、見た目が整っているときほど、確かめる一手間を意識して残す必要があります。

たとえば、四半期の振り返りをAIにまとめてもらうと、グラフは整い、数字の並びもきれいで、文章も破綻なく仕上がってきます。それを見た担当者は、細かい数字の出どころまで確かめないまま、そのまま会議の資料として配ってしまうことがあります。資料としての体裁が整っているかどうかと、中の数字が正しいかどうかは、まったく別の話です。体裁のきれいさが、正しさの証拠であるかのように見えてしまうところに、このレッスンの本題があります。

評価力という言葉

AIの出力を見極めるこの力には、名前が付いています。Rick DakanとJoseph FellerがAnthropicと共同で開発した「AI活用力(4D)フレームワーク」では、これを評価力(Discernment)と呼びます。このコースは、この評価力を鍛えるためのコースです。

補足

出典について

評価力という言葉と、このレッスンの数字は、Rick DakanとJoseph FellerがAnthropicと開発したAI活用力フレームワークと、そのフレームワークに基づく調査から取っています。このコースの例や演習は、AMPLが独自に作ったものです。

やってみよう

演習1:最近AIに作ってもらったものを思い出す

直近1週間でAIに作ってもらった資料・文章・コード・計算結果を1つ思い浮かべてください。それを受け取ったとき、中身をどこまで確かめましたか。見た目が整っていたから、それだけで安心してしまった部分はありませんか。

演習2:確かめなかった理由を言葉にする

演習1で確かめなかった部分があれば、その理由を書き出してください。忙しかったからか、見た目が完成していて疑う余地がないように感じたからか、それとも確かめ方が分からなかったからか。同じ理由は、他の仕事でも繰り返し出てきていないか、あわせて振り返ってみてください。理由が分かれば、次のレッスンから対策を選べます。

今日のまとめ

  • Claude.aiの会話9,830件の分析では、成果物ができる会話ほど、事実確認や推論への疑問といった確かめる行動が減っていた
  • AIへの指示は丁寧になる一方で、出てきたものへの疑いは緩むという逆の動きが同時に起きていた
  • この力には評価力という名前があり、このコースはそれを鍛えるためにある

次のレッスンでは、一見正しそうな要約の中に、本当は抜けている情報がないかを見つける練習をします。

セルフチェック

1. Anthropicの調査でClaude.aiの会話9,830件のうち、成果物(アーティファクト)を含んでいた会話の割合はどれですか。

2. 成果物ができる会話で、できない会話と比べて減っていた行動はどれですか。

3. 評価力(Discernment)という言葉は、何を指しますか。

SourceARTICLE
Anthropic教育レポート: AI Fluency Index

Claude.aiの会話9,830件を分析し、AI活用力に関わる11の行動の出現率と、成果物がある会話で確かめる行動が減る「アーティファクト効果」を報告しています

WebAnthropic
academy.claude.com/ja/tutorials/the-ai-fluency-index

このレッスンは役に立ちましたか?