メインコンテンツへスキップ

性質がぶつかるとき

  • レッスン 6
  • 14分

このレッスンで

終わる頃には、次ができるようになります

  • おかしな答えの多くが、単独の性質ではなく2つの性質の重なりで起きることを説明できる
  • 実際の失敗例を、どの2つの性質がぶつかったかで診断できる
  • 診断にもとづいて、やり直しではなく的を絞った直し方を選べる

ここまで、次の言葉を当てる・知っていること・一度に扱える量・指示の効き方という4つの性質を、1つずつ見てきました。実際に困った経験を振り返ると、たいていはこの4つのうち、どれか1つだけが原因ではありません。

おかしな答えは、たいてい2つの性質が重なって起きる

「なんでこんな答えになったんだろう」と首をかしげる場面の多くは、2つの性質が同時に関わっています。片方だけを疑って直そうとすると、見当違いの対策になりがちです。

たとえば、長い会議の議事録を渡して「重要な決定事項を教えて」と頼んだのに、途中に出てきた社内独自の用語について、実在しない説明が添えられて返ってきたとします。原因を「AIの知識が足りないから」とだけ考えると、次はもっと詳しく説明してから聞き直す、という対策になりがちです。ですが実際には、長い資料の中盤に埋もれた固有名詞が見落とされたこと(一度に扱える量)と、聞いたことのない用語をそれらしく埋め合わせたこと(次の言葉を当てる)の、2つが重なって起きていることがあります。この場合、詳しく説明し直すだけでは、同じ組み合わせの問題がまた起きかねません。

大事なのは、「何が壊れたか」をいきなり探すのではなく、「どの2つの性質がぶつかったか」を先に特定することです。原因の組み合わせが分かれば、直し方はおのずと絞られます。


診断の型:組み合わせで見る

よくある組み合わせを4つ挙げます。自分の経験に近いものがないか、照らし合わせてみてください。

知っていること × 次の言葉を当てる

細い道の話題について、それらしい引用やデータを作ってしまう。直し方: 「その出典を実際に示してください」と求め、答えられなければ疑う

一度に扱える量 × 指示の効き方

長いやり取りの中で最初に伝えた条件が薄れ、途中の発言に流されてしまう。直し方: 重要な条件を要所で再提示するか、要点だけを引き継いで新しい会話を始める

知っていること × 指示の効き方

こちらの前提が間違っているのに、そのまま同調して話を進めてしまう。直し方: 「私の前提が違っていたら指摘してください」と先に頼んでおく

一度に扱える量 × 知っていること

会話の中で渡した古い情報と、もともと学習していた知識のどちらを優先すべきか混同する。直し方: 「今回はこの会話で渡した情報を優先してください」と明示する

性質の組み合わせと、よくある症状

どの組み合わせも、単独の性質としてレッスン2〜5で見た内容の延長線上にあります。症状ではなく、原因の組み合わせを先に特定するという順序が、診断の型です。表に載っていない組み合わせに出会うこともありますが、そのときも「どの2つの性質が関わっていそうか」という問いの立て方自体は変わりません。


やり直しでなく、的を絞って直す

おかしな答えが返ってきたとき、つい「もう一度お願いします」とやり直しを頼みたくなります。ですが、原因を特定しないままのやり直しは、同じ組み合わせでまた同じ症状が出るだけのことがあります。生成のたびに答えの細部は変わるので、やり直すと一見違う答えが返ってきて改善したように見えることもありますが、原因そのものは残ったままです。

01

症状を書き出す

具体的に何がおかしかったかを、感覚ではなく言葉にする

02

組み合わせを当てはめる

上の表の4つのうち、どれに近いかを考える

03

対応する直し方だけを試す

全体をやり直すのではなく、その組み合わせに効く一手だけを足す

やり直す前にすること

一度診断してみて、思っていた組み合わせと違うこともあります。そのときは反論もしてみてください。「本当にその組み合わせで合っているか」を疑う姿勢自体が、診断の精度を上げます。何度か診断を繰り返すうちに、自分がよく出会う組み合わせのパターンが見えてくることもあります。

この診断の型は、同僚の仕事ぶりを振り返るときの姿勢に近いものがあります。誰かのミスを見つけたとき、「不注意だった」の一言で片づけるより、「何を確認する手順が抜けていたか」まで分解した方が、次に活きる直し方にたどり着けます。AIの答えについても同じで、症状を一言で片づけず、原因の組み合わせまで分解する一手間が、その後の付き合い方を変えます。答えを確かめる具体的な手順をさらに知りたい方は、AIの答えを確かめるで扱っています。

やってみよう

演習1:自分の経験を診断する

AIの答えに驚いた、あるいはがっかりした経験を1つ思い出してください。その症状を言葉にしたうえで、上の表の4つの組み合わせのうち、どれに近いかを当てはめてみてください。当てはまらない場合は、どの2つの性質が関わっていそうか、自分の言葉で仮説を立ててみてください。

演習2:的を絞った直し方を考える

演習1で診断した組み合わせにもとづいて、次に同じような場面に出会ったとき、最初に試す一手を1つ決めてください。「とりあえずやり直す」ではなく、原因に対応した具体的な一手であることを確認してください。

今日のまとめ

3行で振り返ります。

  • おかしな答えの多くは、1つの性質ではなく2つの性質が重なって起きている
  • 「何が壊れたか」ではなく「どの2つがぶつかったか」を先に特定するのが診断の型
  • 原因の組み合わせが分かれば、やり直しではなく的を絞った一手で直せる

次のレッスンでは、性質の重なりから特によく起きる3つの現象、迎合・作り話・偏りを掘り下げます。

セルフチェック

1. AIのおかしな答えの多くについて、本文の説明として正しいものはどれですか。

2. 本文で紹介した診断の型として、正しい順序はどれですか。

3. 「一度に扱える量 × 指示の効き方」の組み合わせで起きやすい症状として、本文の説明に合うものはどれですか。

SourceAMPL LEARN
AIの答えを確かめる

出来上がって見えるほど確かめなくなる理由と、具体的な確かめ方の手順を扱っています

次のレッスン
amplinc.com/learn/checking-ai-output/01-why-we-stop-checking

このレッスンは役に立ちましたか?