「できました」は、証拠ではない

売上の表の集計を任せました。支店ごと、月ごとの合計です。数秒で「集計しました。合計は 1,284 万円です」と返ってきました。

会議の直前、念のため、新宿店だけ電卓で足してみました。合いません。表の中に「新宿店」と「新宿支店」の2つの書き方が混ざっていて、AIはそれを別の支店として数えていました。もし確かめずに会議に出していたら、と思うと、ひやりとしました。

AIの「できました」と、本当にできていることは、別のものです。

Step 1：「できました」は、報告

エージェントは、作業が終わると報告します。「集計しました」「直しました」「作りました」。この報告は、AIが自分で書いた文章です。

報告にうそがあるとは限りません。でも、AIは自分のやり方の間違いに気づかないまま、「できました」と書くことがあります。冒頭の集計も、AIは本当に足し算を終えていました。支店の名前の揺れに気づかなかっただけです。

だから、報告は、完了を決める材料にはなりません。

完了を決めるのは、自分の目で見られる証拠です。AIが作った物を、実際に開く、数える、手で足してみる。そうして得た証拠を、この本では動かした証拠と呼びます。

AIの報告と、動かした証拠

AIの報告

「集計しました。合計は1,284万円です」。正しいかどうかは、この文章からは分からない

動かした証拠

元の表の行数と、集計に使った行数。1つの支店の、手で足した合計との照合。どちらも自分の目で見られる

証拠は、大げさなものでなくて構いません。件数が合っているか。1つだけ手で検算して合うか。変える前と後を並べて見たか。第2章で頼み方に書いた「確かめ方」が、そのまま証拠になります。

確かめた結果は、2つではなく、3つに分けます。

いちばん間違えやすいのは、未確認を合格に数えてしまうことです。「1つの支店は合っていた」は、その支店が合格というだけで、ほかの支店は未確認です。全部を確かめられないときは、確かめた所と、確かめていない所を分けて書いておきます。

このように、任せる、確かめる、直す、を繰り返す輪を、検証ループと呼びます。この本の全体を通して、何度も出てくる言葉です。

AIの「できました」を信じるのではなく、自分の目で見られる証拠で完了を決める。

注意

ただし、全部を確かめることはできない

何百行もの表を、全部手で検算することはできません。見るのは、大事な所と、間違いが起きやすい端です。空欄、0、名前の書き方の揺れ、最初と最後の行、桁の大きい数字。そこで合っていれば、ほかも合っている見込みが高くなります。見込みであって、保証ではありません。どこまで確かめたかも、報告に書いておきます。

1. 20支店の売上の集計を任せ、3支店だけ手で検算したら合っていました。残りの17支店は、どう扱いますか？