プロンプトの評価と改善

セクション1: プロンプトの効果測定

評価基準

正確性、有用性、完全性、効率性の4項目で見る。

医療現場での例：

• 診断書作成：診断書の形式が正確か、内容が適切か
• 症例報告書：必要な情報がすべて含まれているか、専門用語が適切か

評価方法

専門家による評価、複数案の比較、定量的な指標を組み合わせる。

セクション2: A/Bテスト

A/Bテストの実施

A/Bテストは条件を揃える。

1. 2つのプロンプトを作成：異なるアプローチのプロンプト
2. 同じタスクでテスト：同じタスクで両方のプロンプトをテスト
3. 結果を比較：結果を比較して、より良いプロンプトを選択

医療現場での例：

• プロンプトA：「診断書を作成してください」
• プロンプトB：「以下の患者情報に基づいて、診断書のドラフトを作成してください：[患者情報]。医療用語を適切に使用し、簡潔に記述してください。」

回答の質、効率性、一貫性を同じ基準で比べる。

セクション3: 反復的な改善

改善のプロセス

基本案を試し、不足を一つ直して再テストする。

医療現場での例：

• 最初のプロンプト：「診断書を作成してください」
• 改善1：「診断書のドラフトを作成してください」
• 改善2：「以下の患者情報に基づいて、診断書のドラフトを作成してください：[患者情報]」
• 改善3：「以下の患者情報に基づいて、診断書のドラフトを作成してください：[患者情報]。医療用語を適切に使用し、簡潔に記述してください。」

セクション4: ベストプラクティスの確立

ベストプラクティスの記録

プロンプト全文、使用状況、結果、改善点を一緒に残す。

使えた型は同僚と共有し、フィードバックも同じ記録に戻す。