
前回の最後に、こんな問いを残しました。AIが試験で高い点を取ったというニュースは、何を示していて、何を示していないのでしょうか。
この回の答えを先に言うと、点数は「AIの賢さそのもの」ではなく、「どんな条件で測ったか」とセットの数字です。
第2回では、AIの深さを、その仕事に慣れた大人100人の何番目か、という段階で表す方法を見ました。この回は、AIの力を測った点数を、どう読めばよいかを見ます。第1章の最後の回です。
例に使うARC-AGI-3が測るのは、初めて出会う環境で目標を推し量る力です。第2回の深さ(一つの課題での上手さ)とは、少し違う種類の力です。
ベンチマーク:AIの成績を比べるための試験
漢字テストで、辞書を見てよいクラスと、見てはいけないクラスがあったとします。同じ人が受けても、点数は違ってきます。制限時間が10分か60分かでも変わります。1回きりの勝負か、3回受けて最高点を採るかでも変わります。これは説明のために作った例です。
AIの点数も、同じです。
AIの成績を比べるために使う、決まった問題のセットをベンチマークと呼びます。英語で、比べるための基準という意味の言葉です。ニュースで「AIが○○のテストで高得点」と言うときの「テスト」は、たいていこれにあたります。
ベンチマークは、同じ条件でAIを比べるためのものです。ただ、出てきた点数が何を意味するのかは、その条件を読まないと分かりません。点数を左右する条件には、次のものがあります。
点数は、
概念図。
漢字テストの例でいえば、辞書は「道具」、制限時間は「時間」、3回受けて最高点を採るのは「試行」にあたります。
ここで大事なのは、ニュースの点数が、AI本体だけの点数とは限らないことです。AI本体に道具と補助の仕組みを組み合わせた、全体の点数かもしれません。AIの名前と点数だけを抜き出すと、どちらを測ったのかが見えなくなります。
また、高い点数が出ていても、それを出すのに現実には使えないほどの時間や費用がかかっているなら、実際の場面での評価は変わります。
AIの点数は、AI本体と、課題、採点、道具、試行、予算などを組み合わせた結果です。
ARC-AGI-3:同じAIの三つの数字
実際の公式結果を使って、点数を条件とセットで読む練習をします。
順位表に「99.9%」とあれば、ほとんど完全にできるAIだと感じます。ところが同じ発表の別の欄に「62.7%」と書かれていることがあります。どちらが本当なのか、点数だけでは判断できません。
2026年9月、ARC-AGI-3というベンチマークの公式結果を公表している団体、ARC Prize Foundationが、OpenAIのAI「GPT-6 Astra」の結果を発表しました。
ARC-AGI-3は、初めて出会う、1手ずつ進む環境で、目標や規則を自分で推定しながら行動する力を調べるベンチマークです。
公式結果のページには、読み分ける必要がある三つの数字があります。62.7%、98.6%、99.9%です。
その前に、もう一つだけ言葉を覚えます。ハーネスです。AIに課題を渡し、途中の状態を管理する、評価用の仕組みのことです。ハーネスは、先ほどの七つの条件でいえば、03の「道具と補助の仕組み」にあたるものの一つです。
このページの表には、「Standard」と書かれた設定と、「Provider Adapter」と書かれた設定が出てきます。どちらもハーネスの種類の名前ですが、中身の違いは、この表からは分かりません。この講座でも、意味を足して説明することはしません。
次の表を、順に読んでいきます。
ARC-AGI-3の三つの数字を分けて読む
| 掲載場所 | ハーネス | 条件 | 得点 | 費用の記載 |
|---|---|---|---|---|
| Verified scores表 | Standard | Max | 62.7% | 本文では26,098ドル |
| Verified scores表 | Provider Adapter | Max | 98.6% | 表には費用列なし |
| ページ冒頭の本文 | Provider Adapter | best observed | 99.9% | 本文では18,817ドル |
この表が測ったのは、同じAI、GPT-6 Astraの、ARC-AGI-3での成績です。ただし、測り方が三通りあります。
表の見方です。1行が、1通りの測り方です。横に並ぶ列は、左から次の意味です。
- 掲載場所:その数字が公式ページのどこに載っていたか。「Verified scores表」は、確認された得点をまとめた公式の表です
- ハーネス:どちらの評価用の仕組みで測ったか
- 条件:その数字がどういう数字か。「Max」は、表で Max と書かれた行のことです。何の最大かは、この表からは分かりません。「best observed」は、英語で「観測された中で最良」という意味ですが、何の中での最良かは、やはり分かりません
- 得点:そのときの点数
- 費用の記載:かかった費用。載っている場所が行によって違い、98.6%の行には費用の記載がありません
見てほしいのは、「掲載場所」と「条件」の列です。点数だけを追わずに、その数字がどこに、どういう条件で載っているかを見ます。
分かっていることは、次の三つです。
一つ目。Verified scores表の同じ「Max」の行どうしで比べると、Standardが62.7%、Provider Adapterが98.6%です。同じAIなのに、表に書かれた設定が違うと、これだけ点数の開きがあります。
二つ目。99.9%は、表ではなく、ページ冒頭の本文に載っている数字です。掲載場所が、ほかの二つと違います。
三つ目。この99.9%は、表のProvider AdapterのMax行の98.6%と一致しません。
だから、三行を同じ条件の成績として並べて比べてはいけません。「Astraの本当の力は、どの数字か」と一つに決めることも、してはいけません。掲載場所と条件を付けて、三つの数字として読みます。
分かっていないことも、次の三つあります。
一つ目。99.9%と98.6%が、なぜずれているのか。この回の資料からは確かめられていません。
二つ目。62.7%と98.6%の差が、設定の違いだけで生まれたのか。三行は、ハーネスだけでなく、推論の設定(表の注にある言葉で、中身はこの表からは分かりません)や費用も違います。表の注にも、得点差をハーネス単独の効果とは言えない、と書かれています。
三つ目。費用と点数の関係です。費用の列には、26,098ドル(62.7%の行)と18,817ドル(99.9%の行)が載っています。後者のほうが安くて高得点に見えます。ただ、費用の載っている場所が行によって違い、98.6%の行には費用の記載がありません。費用と点数の関係は、この表だけでは比べられません。
注意
満点に近くても、言えないこと
ARC Prize Foundation自身も、ARC-AGI-3を満点近くまで解くことは、AGI達成の証明ではないと書いています。
この評価環境は、範囲が限られています。規則と目標が決まった、閉じた環境です。現実世界の複雑さや、終わりのない課題を、そのまま再現してはいません。
点数から現場へ:飛ばさずに分ける
ここまでの話をまとめると、点数は「この条件で、この課題がどれだけできたか」を答える数字です。
では、高い点数が出たAIを、会社の仕事や暮らしの中で安心して使えるのでしょうか。これは別の問いです。第3回で見た、「賢いか」と「どこまで任せられるか」を分けて考えることと同じです。
AIの使い方の危険を管理する手引きに、アメリカのNIST(米国立標準技術研究所)が出した「AIリスク管理フレームワーク」があります。守る義務のない、任意の枠組みです。
この手引きは、AIのリスクを、設計、開発、利用、評価のすべての段階で管理するものとして整理しています。点数の比較だけでなく、利用する人、組織、社会への影響と、信頼して使い続けるために必要な条件も扱います。
点数が答えるのは、決まった条件の課題でどれだけできたか、までです。この手引きは、その外側にある、使う人や組織、社会への影響まで管理の対象にしています。点数のほかに見る点が別にあることを示す例なので、「点数と現場は別」を支える手がかりになります。
点数が
概念図。
能力を測る評価は出発点であり、現場で使う準備ができた証明ではありません。
高い点数を否定する必要はありません。点数が答えた問いを、狭く正確に受け取ります。そのうえで、現場で使うために残る問いを、別に立てます。
最後に、この回の考え方を使ってみましょう。
セルフチェック
1. ある会社が「当社のAIは、あるベンチマークで99%の高得点を取りました」と発表しました。社内の業務への導入を検討している担当者が、この回の考え方に沿って最初にすることとして、最も適切なのはどれですか。
今日のまとめ
- 点数は、AI本体と、課題、採点、道具と補助の仕組み、試行、時間、計算量、費用を組み合わせた結果
- ARC-AGI-3では、同じAIでも、確認された表の62.7%と98.6%、本文の「best observed」の99.9%を、掲載場所と条件を付けて分けて読む
- ベンチマークの高得点だけでは、現場で信頼して使える準備ができた証明にはならない
次の回は、この問いから始めます。AIは、大きくすればするほど賢くなるのでしょうか。