目次から開かせるようにして、答えはだいぶ正確になりました。それでも、同僚から言われました。「その日当の金額、どこに書いてあった?」。答えられませんでした。AIの答えをそのまま伝えていたからです。
Step 1:答えに、出典を付けさせる
答えだけでは、それが資料のどこから来たのかが分かりません。だから、答えの文ごとに、出典を付けさせます。第4章で見た出典(根拠が書いてある場所)を、手元の資料でも付けさせるのです。
質問:出張の日当はいくら?
まず renshu/規程/目次.md を見て、最新版のファイルだけを開いて。
答えの文ごとに、出典として、ファイル名と、見出し(または条の番号)を付けて。
資料に書いていないことは、推測で埋めずに「資料に無い」と書いて。
前の回と同じく、新しいセッションで頼みます。返ってくる答えは、たとえばこうです。ファイル名や条の番号は、あなたの結果と違っていて構いません。
・日帰りの出張の日当は2,000円です(旅費規程.md / 第5条)
・宿泊を伴う出張の日当は3,000円です(旅費規程.md / 第5条)
・海外出張の日当は:資料に無い
このように、どの資料のどこから言ったかが付いている答えを、この本では出典つきの答えと呼びます。
Step 2:「資料に無い」は、大事な答え
最後の1行、「資料に無い」は、失敗ではありません。大事な答えです。
AIは、資料に無いことを聞かれると、それらしい答えを作ってしまうことがあります(第4章のハルシネーション)。「推測で埋めずに『資料に無い』と書いて」と頼んでおくと、作り話の代わりに、分からないことがはっきりします。
同じ質問への、2つの答え方
「海外出張の日当は5,000円です」。資料に無いのに、それらしい金額が書かれても気づけない
国内の日当は条の番号付き。海外は「資料に無い」。担当の部署に聞けばよいことが分かる
Step 3:出典は、ときどき開いて確かめる
出典が付いていると、答えを確かめるのが簡単になります。ファイルを開いて、その条を読むだけです。
全部を毎回確かめる必要はありません。お金、日付、人や組織の名前が出てくる答えと、人に伝える答えは、出典を開いて確かめます。
ここが核心
答えだけをもらうのではなく、出典と、分からないことを一緒にもらう。
注意
ただし、出典を付けても、読み違えることはある
出典が正しくても、AIがその条の中身を読み違えることがあります(例外の条件を見落とす、など)。出典つきの答えは、確かめやすい答えであって、確かめなくてよい答えではありません。
セルフチェック
1. AIに規程の質問をしたら「海外出張の日当は:資料に無い」と返ってきました。どう受け取りますか?
今日のまとめ
- 答えの文ごとに、出典(ファイル名と条)を付けさせる
- 資料に無いことは、推測で埋めずに「資料に無い」と書かせる
- お金・日付・名前と、人に伝える答えは、出典を開いて確かめる