答えを知っているデータで確かめてから任せる

AIに集計や分析を任せたいと思っても、出てきた数字をどこまで信じてよいかは別の問題です。とくに初めて任せる種類の分析では、「それらしいが実は違う」結果に気づけないまま報告に使ってしまうことがあります。公益の組織では、この数字がそのまま理事会への報告や助成金の申請、行政への提出資料に使われることも珍しくありません。間違いに気づく機会が一度きりしかない場面が多いという事情も、慎重さが要る理由です。

これを避ける確実な方法は、答えをすでに知っている過去のデータで、まず練習させることです。第2回で扱った下処理を済ませたデータであれば、そのまま検証にも使えます。

検証の手順

たとえば、病院の外来事務が「曜日別の予約キャンセル率」を初めてAIに集計させるとします。先月分は自分ですでに手計算していて、答えを知っています。同じデータをAIに渡し、同じ数字が出るかを先に確かめてから、今月分の集計を任せる、という順番です。

一致しなかったときに起きること

検証で一致しないことは珍しくありません。むしろ、そこで違いに気づけること自体が検証の目的です。

架空の例で考えます。あるNPOが寄付者の継続率をAIに分析させたところ、全体の傾向は正しく出たものの、「一度きりの寄付」と「毎月の定額寄付」を同じ扱いで平均していたため、継続率が実態より低く出ていました。この違いに気づけたのは、答えをすでに知っているデータで検証していたからです。

一致しなかった場合の一番の収穫は、指示に何を書き足せばよいかが具体的に分かることです。 漠然と「もっと正確に」と頼み直すより、ずれた点を名指しするほうが早く改善します。

検証を1回で終わらせる必要もありません。少しずつ条件を足しながら、同じ過去データで何度か試し、毎回同じ数字にたどり着くようになってから、初めて新しいデータに使う。手間はかかりますが、あとから報告を訂正する手間に比べれば小さなものです。

検証は責任を免除しない

長い資料や込み入ったデータを渡したときに、根拠となる箇所を引用させて確かめる方法は、AIの答えを確かめるのコースで詳しく扱っています。今回の「答えを知っている問題で先に試す」手順と組み合わせると、初めて任せる仕事でも確認の質を落とさずに進められます。

やってみよう

演習1：自組織の分析で考える

自組織で「そろそろAIに任せてみたい」と思っている集計や分析を1つ思い浮かべてください。答えをすでに知っている過去のデータ（先月分・去年の同じ時期など）が手元にあるかを確認し、次の4つに自分の言葉で答えましょう。

• 委任力：この分析は、検証さえ通れば任せてよい種類の仕事か
• 記述力：AIに渡すとき、どのデータと、どんな条件をどこまで具体的に伝えるか
• 評価力：出てきた数字を、過去の答えとどうやって照らし合わせるか
• 倫理的責任：一致しなかったとき、それを報告・記録として残す仕組みがあるか

演習2：一致しなかった場合を想像する

演習1で選んだ分析について、「検証したら数字が少しずれていた」という状況を想像してください。ありそうな原因を1つ考え、それを踏まえてAIへの指示をどう書き直すかを、実際の文章で1つ作ってみましょう。

今日のまとめ

3行で振り返ります。

• 初めて任せる分析は、答えを知っている過去データで再現させ、一致するかを先に確かめる
• 一致しなかったときは、ずれた原因を言葉にして指示に書き足し、一致するまで本番に使わない
• 検証は自信の材料になるが、結果を確認する責任を人から取り除くものではない

次のレッスンでは、こうした個別の判断を積み重ねたうえで、組織全体のAI方針に何を書いておくべきかを見ていきます。