前の回で選んだ5つの項目を、AIに点検させました。返ってきたのは、きれいな一覧でした。全部の項目の横に、「問題なし」と書いてあります。
でも、3つ目の「見える範囲が、表のとおりか」は、本物の別の人としてログインして、その人の画面を見ないと分かりません。AIには、それができません。AIは、本当に確かめたのでしょうか。それとも、画面の中身を読んだだけなのでしょうか。一覧からは、分かりません。
Step 1:答えの形を、2つに決めておく
点検を頼むときに、答えの形を決めておきます。第3章で見て、第10章でも使った「未確認」と同じ考え方です。
さっきの5つの項目を、1つずつ点検して、結果を報告して。
各項目は、必ず「確かめた」か「確かめられなかった」のどちらかで答えて。
「確かめた」なら、何をどうやって確かめたかを1行。
「確かめられなかった」なら、なぜ確かめられなかったかと、私が代わりにできることを1行。
「たぶん大丈夫」は使わないで
返ってくるのは、たとえばこんな報告です。
- 鍵:確かめた。画面の中身の全部の文字を読んで、鍵に見えるものがないことを見た
- 個人の情報:確かめた。ただし、画面の中身の文字を読んだだけで、本物の人の名前かどうかは判断できない
- 見える範囲:確かめられなかった。本物の別の人としてログインして、その人に何が見えるかを見ることは、私にはできない。あなたが、別の人として開いて見てほしい
- 空っぽの時や失敗した時の画面:確かめた。Browser pane に開いて、空っぽの画面と、失敗した画面を見た
- 変な入力:確かめた。入力欄に変な文字を入れて、画面が壊れないことを見た。ただし、試せたのは私が思いついた入れ方だけ
Step 2:「確かめられなかった」を、人が埋める
「確かめられなかった」は、失敗ではありません。大事な報告です。人がやることが、はっきりしたからです。
「見える範囲」を、自分で別の人として開いて確かめました。結果を、AIに報告します。
見える範囲は、私が自分で別の人として開いて試した。結果は、問題なかった。
点検の一覧を、その結果を反映した形に直して
最後の一覧には、「AIが確かめたこと」と「人が確かめたこと」が並びます。これが、公開の前の、本当の記録です。
点検の返事
どの項目を、どうやって見たのかが分からない。見ていない項目が混ざっていても、気づけない
項目ごとに、見たことと見られなかったことが分かれている。見られなかった所に、人の仕事が書いてある
ここが核心
「問題ありません」をもらうのではなく、確かめたことと、確かめられなかったことを、分けてもらう。
注意
「確かめた」も、一部は自分の目で見る
AIが「確かめた」と書いても、見落としはあり得ます。見える範囲と、個人の情報の2つは、あなたが自分の目で1つは開いて確かめてください。AIの「確かめた」は、あなたが確かめる手間を減らすもので、なくすものではありません。
セルフチェック
1. 点検の報告で、「見える範囲:確かめられなかった。本物の別の人としてログインして見ることは、私にはできない」と返ってきました。どう受け取りますか?
今日のまとめ
- 頼む:各項目を「確かめた」か「確かめられなかった」のどちらかで答えさせる
- 見る:「確かめた」は何をどうやってか、「確かめられなかった」は人が代わりにできることまで読む
- 埋める:確かめられなかった項目は人が確かめ、結果をAIに伝えて、一覧を直させる
次は、AIに任せてはいけないことは何か、人が決める線を引いてみよう。個人の情報と規約は、人が決める
参考
- Claude Code Docs「Security guidance」(点検は手元の画面の中身を読むもので、動いているサイトは見ない)