このコースの最後に、確かめる力そのものを難しくしている壁の話をします。
壁は時間より専門知識
Claude Academy参加者129名へのインタビューで、評価力の壁について62名が具体的な障壁を挙げました。最も多かったのは、専門分野・技術的知識の不足で、23%(14名)でした。調査した側は、時間的プレッシャーが最上位に来ると予想していましたが、実際は10%(6名)にとどまりました。
予想と結果
時間的プレッシャー
忙しくて確かめる時間が取れない、という壁
専門分野・技術的知識の不足(23%・14名)
良い答えがどんなものか分からなければ、判断のしようがない
良い答えの形を知らない分野では、AIの答えが正しいかどうかを見極めようがありません。時間があっても、判断材料がなければ確かめられないのです。
たとえば、経理担当者が税務の判断が絡む処理をAIに相談すると、答えはもっともらしい形で返ってきます。しかし、税制の細かい例外や、自社特有の過去の扱いまでは、経理担当者自身が知っていないと、AIの答えが妥当かどうかを判断できません。逆に、日々扱っている仕訳の入力作業であれば、経験が判断材料になるので、多少答えが崩れていてもすぐに気づけます。同じ人でも、分野によって確かめやすさはまったく違います。
自分の得意分野から任せ、苦手な分野では確かめ方を増やす
この結果からの実践的な結論はシンプルです。得意分野では、これまでの経験がそのまま判断材料になるので、AIに任せる範囲を広げやすくなります。苦手な分野では、判断材料を自分で持っていない分、確かめ方のメニューを多めに使う必要があります。根拠を引用させ、元の資料と照らし、詳しい人に見てもらう、という手数を増やします。
同じ調査では、Claudeのエラーを見逃した体験談が18件集まり、そのうち半数が、その経験をきっかけに働き方を変えたと答えています。新しい実践の例には、答えを出す前に根拠となる情報源を先に引用させる、複数の手順が絡む作業では各段階で一度立ち止まって確認する、といったものがありました。エラーを見逃すこと自体は避けられなくても、そこから確かめ方を1つ増やすことはできます。
専門知識は、一朝一夕には増えません。それでも、自分の専門知識が薄い場所を把握しているだけで、確かめ方は変えられます。「ここは自分の土地勘がない」と自覚できれば、そこだけ人に見せる、そこだけ根拠を引用させる、という手が打てます。土地勘のなさに気づかないまま鵜呑みにすることが、一番避けたい失敗です。
新しい仕事を任されたときや、部署を異動したばかりのときは、この土地勘が薄い時期にあたります。そうした時期こそ、確かめ方のメニューを多めに使い、慣れるにつれて少しずつ減らしていく、という考え方が現実的です。
やってみよう
演習1:AIの答えを一番鵜呑みにしやすい分野を挙げる
自分の仕事の中で、専門知識が薄く、AIの答えが正しいかどうかを判断しにくい分野を1つ挙げてください。そこでこれまで、AIの答えをどのくらい確かめずに使ってきたかも振り返ってみてください。
演習2:そこで増やす確かめ方を1つ決める
その分野で、確かめ方のメニューの4つのうちどれを増やすかを決めてください。詳しい同僚がいるなら、その人の名前まで思い浮かべておくと、次に頼みやすくなります。
今日のまとめ
- 評価力を難しくしている一番の壁は、時間ではなく専門知識の不足だった
- 得意分野は任せる範囲を広げやすく、苦手分野では確かめ方を意識して増やす必要がある
- エラーを見逃した経験は、次の確かめ方を1つ増やすきっかけになる
このコースでは、確かめなくなる理由から始めて、要約の突き合わせ、確かめ方のメニュー、任せる前の試し方、指摘の仕分け、そして専門知識という壁までを見てきました。次にAIの答えを受け取ったときは、この6つのどれかを思い出してください。
セルフチェック
1. Discernment Toolkit調査で、評価力の壁として最も多く挙げられたのはどれですか。
2. 本文が勧めている、得意分野と苦手分野への向き合い方はどれですか。
3. エラーを見逃した18件の体験談について、本文が伝えていることはどれですか。