メインコンテンツへスキップ

AIの賢さはどう測るのか

AIが試験で高い点を取った、というニュースは何を示しているのか。点数は、AIだけの力ではなく、測り方の条件とセットの数字です。実際の公式結果を例に、三つの数字の読み分け方を学びます

  • レッスン 4 / 15
  • 10分

このレッスンで

終わる頃には、次ができるようになります

  • AIの点数が、AI本体だけの力ではなく、測り方の条件とセットの数字だと説明できる
  • 同じAIでも、条件によって点数が変わる実例を、表を見ながら読み解ける
  • 試験での高得点と、現場で安心して使えることは別の問いだと説明できる
木の机の上に、成績表や結果の表が何枚も並び、一枚の表の一列が赤鉛筆で縦に囲まれている。木の定規、古いストップウォッチ、赤鉛筆で丸とばつの付いた答案も置かれている
点数はAI本体だけの力ではありません。道具、時間、試行、採点などの測り方の条件とセットで読みます。

前回の最後に、こんな問いを残しました。AIが試験で高い点を取ったというニュースは、何を示していて、何を示していないのでしょうか。

この回の答えを先に言うと、点数は「AIの賢さそのもの」ではなく、「どんな条件で測ったか」とセットの数字です。

第2回では、AIの深さを、その仕事に慣れた大人100人の何番目か、という段階で表す方法を見ました。この回は、AIの力を測った点数を、どう読めばよいかを見ます。第1章の最後の回です。

例に使うARC-AGI-3が測るのは、初めて出会う環境で目標を推し量る力です。第2回の深さ(一つの課題での上手さ)とは、少し違う種類の力です。

ベンチマーク:AIの成績を比べるための試験

漢字テストで、辞書を見てよいクラスと、見てはいけないクラスがあったとします。同じ人が受けても、点数は違ってきます。制限時間が10分か60分かでも変わります。1回きりの勝負か、3回受けて最高点を採るかでも変わります。これは説明のために作った例です。

AIの点数も、同じです。

AIの成績を比べるために使う、決まった問題のセットをベンチマークと呼びます。英語で、比べるための基準という意味の言葉です。ニュースで「AIが○○のテストで高得点」と言うときの「テスト」は、たいていこれにあたります。

ベンチマークは、同じ条件でAIを比べるためのものです。ただ、出てきた点数が何を意味するのかは、その条件を読まないと分かりません。点数を左右する条件には、次のものがあります。

点数は、七つの条件とセット

概念図。一枚の点数から、条件が七本伸びている

点数 01 課題と版どの問題、どの版か 02 採点どう丸をつけたか 03 道具と補助の仕組み検索、プログラムの実行など 04 試行何回試したか 05 時間どれだけの時間をかけたか 06 計算量計算機をどれだけ動かしたか 07 費用いくらかかったか 点数 01 課題と版どの問題、どの版か 02 採点どう丸をつけたか 03 道具と補助の仕組み検索、プログラムの実行など 04 試行何回試したか 05 時間どれだけの時間をかけたか 06 計算量計算機をどれだけ動かしたか 07 費用いくらかかったか 点数 01 課題と版どの問題、どの版か 02 採点どう丸をつけたか 03 道具と補助の仕組み検索、プログラムの実行など 04 試行何回試したか 05 時間どれだけの時間をかけたか 06 計算量計算機をどれだけ動かしたか 07 費用いくらかかったか
図1点数を読むときは、伸びている七つの条件も一緒に読みます。

漢字テストの例でいえば、辞書は「道具」、制限時間は「時間」、3回受けて最高点を採るのは「試行」にあたります。

ここで大事なのは、ニュースの点数が、AI本体だけの点数とは限らないことです。AI本体に道具と補助の仕組みを組み合わせた、全体の点数かもしれません。AIの名前と点数だけを抜き出すと、どちらを測ったのかが見えなくなります。

また、高い点数が出ていても、それを出すのに現実には使えないほどの時間や費用がかかっているなら、実際の場面での評価は変わります。

AIの点数は、AI本体と、課題、採点、道具、試行、予算などを組み合わせた結果です。

ARC-AGI-3:同じAIの三つの数字

実際の公式結果を使って、点数を条件とセットで読む練習をします。

順位表に「99.9%」とあれば、ほとんど完全にできるAIだと感じます。ところが同じ発表の別の欄に「62.7%」と書かれていることがあります。どちらが本当なのか、点数だけでは判断できません。

2026年9月、ARC-AGI-3というベンチマークの公式結果を公表している団体、ARC Prize Foundationが、OpenAIのAI「GPT-6 Astra」の結果を発表しました。

ARC-AGI-3は、初めて出会う、1手ずつ進む環境で、目標や規則を自分で推定しながら行動する力を調べるベンチマークです。

公式結果のページには、読み分ける必要がある三つの数字があります。62.7%、98.6%、99.9%です。

その前に、もう一つだけ言葉を覚えます。ハーネスです。AIに課題を渡し、途中の状態を管理する、評価用の仕組みのことです。ハーネスは、先ほどの七つの条件でいえば、03の「道具と補助の仕組み」にあたるものの一つです。

このページの表には、「Standard」と書かれた設定と、「Provider Adapter」と書かれた設定が出てきます。どちらもハーネスの種類の名前ですが、中身の違いは、この表からは分かりません。この講座でも、意味を足して説明することはしません。

次の表を、順に読んでいきます。

Evidence table

ARC-AGI-3の三つの数字を分けて読む

公式結果ページの本文とVerified scores表
ARC-AGI-3の三つの数字を分けて読む
掲載場所ハーネス条件得点費用の記載
Verified scores表StandardMax62.7%本文では26,098ドル
Verified scores表Provider AdapterMax98.6%表には費用列なし
ページ冒頭の本文Provider Adapterbest observed99.9%本文では18,817ドル
根拠の種類: 公式結果ページの本文とVerified scores表公開された数値を出典明示のうえAMPLが表形式に整理しました。三行は同じ比較条件ではありません。ハーネス、推論設定、費用が異なるため、得点差をハーネス単独の効果とは言えません。出典: ARC Prize Foundation

この表が測ったのは、同じAI、GPT-6 Astraの、ARC-AGI-3での成績です。ただし、測り方が三通りあります。

表の見方です。1行が、1通りの測り方です。横に並ぶ列は、左から次の意味です。

  • 掲載場所:その数字が公式ページのどこに載っていたか。「Verified scores表」は、確認された得点をまとめた公式の表です
  • ハーネス:どちらの評価用の仕組みで測ったか
  • 条件:その数字がどういう数字か。「Max」は、表で Max と書かれた行のことです。何の最大かは、この表からは分かりません。「best observed」は、英語で「観測された中で最良」という意味ですが、何の中での最良かは、やはり分かりません
  • 得点:そのときの点数
  • 費用の記載:かかった費用。載っている場所が行によって違い、98.6%の行には費用の記載がありません

見てほしいのは、「掲載場所」と「条件」の列です。点数だけを追わずに、その数字がどこに、どういう条件で載っているかを見ます。

分かっていることは、次の三つです。

一つ目。Verified scores表の同じ「Max」の行どうしで比べると、Standardが62.7%、Provider Adapterが98.6%です。同じAIなのに、表に書かれた設定が違うと、これだけ点数の開きがあります。

二つ目。99.9%は、表ではなく、ページ冒頭の本文に載っている数字です。掲載場所が、ほかの二つと違います。

三つ目。この99.9%は、表のProvider AdapterのMax行の98.6%と一致しません。

だから、三行を同じ条件の成績として並べて比べてはいけません。「Astraの本当の力は、どの数字か」と一つに決めることも、してはいけません。掲載場所と条件を付けて、三つの数字として読みます。

分かっていないことも、次の三つあります。

一つ目。99.9%と98.6%が、なぜずれているのか。この回の資料からは確かめられていません。

二つ目。62.7%と98.6%の差が、設定の違いだけで生まれたのか。三行は、ハーネスだけでなく、推論の設定(表の注にある言葉で、中身はこの表からは分かりません)や費用も違います。表の注にも、得点差をハーネス単独の効果とは言えない、と書かれています。

三つ目。費用と点数の関係です。費用の列には、26,098ドル(62.7%の行)と18,817ドル(99.9%の行)が載っています。後者のほうが安くて高得点に見えます。ただ、費用の載っている場所が行によって違い、98.6%の行には費用の記載がありません。費用と点数の関係は、この表だけでは比べられません。

注意

満点に近くても、言えないこと

ARC Prize Foundation自身も、ARC-AGI-3を満点近くまで解くことは、AGI達成の証明ではないと書いています。

この評価環境は、範囲が限られています。規則と目標が決まった、閉じた環境です。現実世界の複雑さや、終わりのない課題を、そのまま再現してはいません。

点数から現場へ:飛ばさずに分ける

ここまでの話をまとめると、点数は「この条件で、この課題がどれだけできたか」を答える数字です。

では、高い点数が出たAIを、会社の仕事や暮らしの中で安心して使えるのでしょうか。これは別の問いです。第3回で見た、「賢いか」と「どこまで任せられるか」を分けて考えることと同じです。

AIの使い方の危険を管理する手引きに、アメリカのNIST(米国立標準技術研究所)が出した「AIリスク管理フレームワーク」があります。守る義務のない、任意の枠組みです。

この手引きは、AIのリスクを、設計、開発、利用、評価のすべての段階で管理するものとして整理しています。点数の比較だけでなく、利用する人、組織、社会への影響と、信頼して使い続けるために必要な条件も扱います。

点数が答えるのは、決まった条件の課題でどれだけできたか、までです。この手引きは、その外側にある、使う人や組織、社会への影響まで管理の対象にしています。点数のほかに見る点が別にあることを示す例なので、「点数と現場は別」を支える手がかりになります。

点数が答えるのは、箱の中

概念図。赤い破線の箱が、決まった条件の課題

ベンチマーク:点数が答える範囲決まった条件の、閉じた課題 現場:点数とは別の問い使う人、組織、社会への影響 ベンチマーク:点数が答える範囲決まった条件の、閉じた課題 現場:点数とは別の問い使う人、組織、社会への影響 ベンチマーク:点数が答える範囲決まった条件の、閉じた課題 現場:点数とは別の問い使う人、組織、社会への影響
図2点数が答えるのは、決まった条件の箱の中だけです。箱の外は、別の問いとして立てます。

能力を測る評価は出発点であり、現場で使う準備ができた証明ではありません。

高い点数を否定する必要はありません。点数が答えた問いを、狭く正確に受け取ります。そのうえで、現場で使うために残る問いを、別に立てます。

最後に、この回の考え方を使ってみましょう。

セルフチェック

1. ある会社が「当社のAIは、あるベンチマークで99%の高得点を取りました」と発表しました。社内の業務への導入を検討している担当者が、この回の考え方に沿って最初にすることとして、最も適切なのはどれですか。

今日のまとめ

  • 点数は、AI本体と、課題、採点、道具と補助の仕組み、試行、時間、計算量、費用を組み合わせた結果
  • ARC-AGI-3では、同じAIでも、確認された表の62.7%と98.6%、本文の「best observed」の99.9%を、掲載場所と条件を付けて分けて読む
  • ベンチマークの高得点だけでは、現場で信頼して使える準備ができた証明にはならない

次の回は、この問いから始めます。AIは、大きくすればするほど賢くなるのでしょうか。

参考資料

一次資料を表示3件

このレッスンは役に立ちましたか?