
「このモデルはAGIに近い」という発表を見ても、何が近づいたのか分からないことがあります。試験の点数でしょうか。人の指示なしに動く力でしょうか。それとも、人間のような意識でしょうか。
混乱する理由は、AGIが一つの合格試験の名前ではないからです。研究機関や企業は、それぞれの目的に合わせてAGIを定義しています。同じ言葉を使っていても、測っている対象が違う場合があります。
このレッスンでは、AGIの能力を「幅」と「深さ」に分けます。さらに、システムをどこまで人の介入なしで動かすかという「自律性」を、運用上の別軸として扱います。信頼性、配備準備、意識も、それぞれ能力とは別の問いです。
一つの合否判定ではない
Google DeepMindの研究チームは、AGIの進歩を段階的に比べる枠組みを提案しました。この枠組みは能力の幅を「どれだけ多様な課題を扱えるか」、深さを「それぞれの課題でどの水準に達するか」として分けます。自律性と配備時のリスクも、能力そのものとは分けて検討します。
一方、OpenAI CharterはAGIを「経済的に価値のある仕事の大半で人間を上回る、高度に自律的なシステム」と定義しています。これはOpenAIが自らの使命を説明するための定義です。すべての研究者が合意した判定基準ではありません。
“highly autonomous systems that outperform humans at most economically valuable work”
経済的に価値のある仕事の大半で人間を上回る、高度に自律的なシステム
- 能力を比較する
- Google DeepMindの提案は、幅と深さを分けて進歩を段階的に比べる枠組み。
- 使命の対象を示す
- OpenAI Charterは、自律性と経済的に価値のある仕事を組織の定義に含める。
どちらが唯一の正解かを決める前に、発表者が何をAGIと呼んでいるかを確認します。定義が違えば、同じシステムへの判定も変わります。
能力の幅と深さ、自律性は別軸
能力の話を読むときは、まず幅と深さを分けます。そのうえで、システムの使い方に関わる自律性を別に確かめます。
高い水準
高い水準
初歩的な水準
初歩的な水準
人の介入なしに、どこまで続けられるか。
一つの得点では、この三つを同時に判定できない。
幅と深さの詳しい定義・原論文との関係
Morris et al. Table 1は、能力を「幅×深さ」の二軸で捉えます。原論文はCC BY-NC-ND 4.0で公開されています。次の表は原表を転載・翻案したものではありません。論文Section 4の本文にある概念を、学習用の三つの問いとしてAMPLが独自に整理したものです。
幅と深さを読む三つの問い
| 見る軸 | 確かめる問い | 論文が示す見方 |
|---|---|---|
| 幅(generality) | 必要な水準へ達する課題は、どれほど多様か | 明確に区切られた課題から、新しい技能の学習も含む広い非身体課題まで |
| 深さ(performance) | 各課題で、人と比べてどの水準に達するか | 初歩、熟練者の中央値、上位10%、上位1%、すべての人を上回る水準 |
| 幅×深さ | 広い課題群の多くで、必要な深さを満たすか | 一部の得意課題だけでなく、広い範囲での最低到達水準を見る |
たとえば、あるシステムが難しい数学問題を解けても、扱える分野が狭ければ幅の広い能力とは言えません。多くの課題に答えられても、毎回人が手順を指定するなら、自律性については別の評価が必要です。
一つの得点だけでは、能力の幅と深さ、自律性を同時に判定できません。
能力の外にある問い
能力が高いことと、安心して仕事を任せられることも同じではありません。
信頼性は条件や試行を変えても必要な成績を保てるかという問いです。配備準備は権限管理、監視、費用、失敗時の復旧まで含めて、現実の環境で運用できるかという問いです。これらは能力の評価と関係しますが、能力の点数だけでは決まりません。
意識も別の問いです。Butlinらの学際的報告は意識に関する複数の科学理論から指標を導き、AIシステムを評価しました。著者らの分析は、2023年に評価した当時のAIシステムが意識を持つことを支持しませんでした。この研究方法自体が課題を解く能力と意識の有無を別に調べる必要を示しています。
- 課題を解く能力
- どの課題を、どの水準で、人の助けをどれだけ受けて実行できるか。
- 別に確かめること
- 結果の安定性、現実の配備準備、主観的な経験の有無。
AGIという言葉を見たら、まず定義を探します。そのあとに、能力の幅と深さのどちらが示されたのか、自律性まで評価したのかを確認します。
今日のまとめ
3行で振り返ります。
- AGIには、すべての人が共有する一つの合否判定があるわけではない
- 能力は幅と深さで整理し、自律性は運用上の別軸として確かめる
- 信頼性、配備準備、意識は、能力の点数とは別に確かめる
次のレッスンでは、能力を示すベンチマークの点数が、どの条件から生まれるのかを見ていきます。
セルフチェック
1. OpenAI CharterのAGI定義を読むときの適切な扱いはどれですか。