前回、3種の記述を使ってオンボーディングガイドの下書きを頼みました。下書きが返ってきたところから、今回は評価力です。記述力が「何を伝えるか」だとすれば、評価力は「出てきたものをどう見るか」で、対になって働く力です。
評価力の3つの種類
評価力の3要素
プロダクト評価
出来上がったものそのものの正確さ・妥当さ・一貫性・要件を満たしているかを判断する
プロセス評価
AIがどう考えてその結論に至ったかを見る。論理の飛躍、注意の抜け、1つの解釈への固執などを見抜く
パフォーマンス評価
対話そのものの質を見る。指摘に応答しているか、コミュニケーションが噛み合っているか
多くの人が見るのはプロダクト評価、つまり出来上がったものだけです。ですが、間違いの原因はプロダクトではなくプロセスにあることが多いという点が見落とされがちです。
プロダクト評価:出来上がったものを見る
オンボーディングガイドの下書きであれば、手順の記載が実際の業務と一致しているか、抜けている項目はないか、読み手(新人)にとって必要な情報が過不足なく入っているかを確かめます。ここで見つかる問題は「この記述は正しいか」という単純な形を取ることが多く、いちばん気づきやすい評価です。
プロセス評価:どう考えてその結論に至ったか
プロセス評価は、出来上がったものだけでなく、AIがどう考えてそこに至ったかを見ます。「手順の順番がおかしい」という問題は、AIが渡した業務フロー表のどこかを読み飛ばした、というプロセス側の理由から起きていることがあります。同じ間違いでも、原因がプロダクト側かプロセス側かによって、直し方が変わります。
パフォーマンス評価:対話そのものの質を見る
パフォーマンス評価は、下書きの中身ではなく、やり取りそのものの質を見ます。指摘した内容にAIがきちんと応答しているか、こちらの言い方が悪くて話がかみ合っていないだけではないか、といった観点です。オンボーディングガイドの相談で言えば、何度指摘しても同じ間違いが繰り返されるなら、下書きの問題である以前に、指示の伝え方そのものを見直したほうが早いことがあります。
フィードバックの型
評価して終わりでは、次の下書きは良くなりません。フィードバックには型があります。
問題を指摘する
どこが、どう問題かを具体的に示す
理由を説明する
なぜそれが問題なのかを言葉にする
改善案を示す
どう直せば良いかの方向性を渡す
自分の指示を直す
同じ問題を繰り返さないよう、次に渡す指示や見本を修正する
4段階目が抜けやすい部分です。「この段落を直して」だけで終えると、次に似た下書きを頼んだときに同じ問題が再発します。フィードバックした内容を、自分が最初に渡した指示や見本にも反映させておくと、同じやり取りを繰り返さずに済みます。
1往復の実例
オンボーディングガイドの下書きで、「経費精算の手順」の項目が実際の運用と順番が逆になっていたとします。フィードバックの4段階に沿うと、次のような1往復になります。
問題:経費精算の項目で、承認申請より先に領収書提出と書かれています。なぜか:添付した業務フロー表では、承認申請が先、領収書提出はそのあとです。どう直すか:フロー表の3番目と4番目の順番を入れ替えてください。指示の修正:次回からは、手順の順番は必ずフロー表の番号順に合わせる、と最初の依頼文に明記します。
この1往復のうち、最初の2つ(問題とその理由)は下書きそのものへの指摘ですが、最後の2つ(改善案と指示の修正)が、次の下書きの質を左右します。指示の修正まで書き残しておけば、似た仕事を次に頼むときに、同じ説明を一からやり直さずに済みます。
評価の結果、委任そのものを見直すこともある
評価力を使った結果、下書きの一部を直すだけでは済まないと分かることがあります。たとえば、業務フロー表そのものが古く、AIに渡した材料自体が間違っていた、という場合です。
注意
評価は下書きだけを見る作業ではない
評価の結果、問題が下書きの言い回しではなく、そもそも何を任せるかという委任の判断にあったと分かることがあります。その場合は、委任力に戻って、任せる範囲や渡す材料そのものを見直してください。評価力は、記述力だけでなく委任力とも行き来する力です。
やってみよう
演習1:フィードバックの4段階で1つ書く
自分の題材で作った下書き(まだ作っていなければ、想像で構いません)に対して、4段階のフィードバックを1つ書いてみてください。4段階目の「自分の指示を直す」まで必ず書きます。
演習2:4つの力の問いに1文ずつ答える
- 委任力:この下書きの問題は、記述の問題か、そもそも任せる範囲の問題か
- 記述力:フィードバックを踏まえて、次に渡す指示はどう変わるか
- 評価力:プロダクト・プロセス・パフォーマンスのうち、今回いちばん気になったのはどれか
- 倫理的責任:この評価を、自分1人の判断だけで済ませてよい内容か
今日のまとめ
3行で振り返ります。
- 評価力はプロダクト評価・プロセス評価・パフォーマンス評価の3種でできている
- 間違いの原因は、出来上がったものではなくプロセス側にあることが多い
- フィードバックは指摘→理由→改善案→自分の指示の修正、の4段階まで行う
次のレッスンでは、記述力と評価力を1回で終わらせず、伝えると見るの往復としてどう回すかを扱います。
セルフチェック
1. 評価力の3種の組み合わせとして正しいものはどれですか。
2. 本文で説明したフィードバックの4段階のうち、最も抜けやすいと指摘されているのはどれですか。
3. 評価の結果、下書きの言い回しを直すだけでは済まないと分かったとき、本文が勧めていることはどれですか。