「できる」を何で測るのか

順位表に「99.9%」とあれば、ほとんど完全にできるモデルだと感じます。ところが同じ発表の別の欄に「62.7%」と書かれていることがあります。どちらが本当なのか、点数だけでは判断できません。

点数はモデルだけから生まれる数字ではありません。どの課題を選び、どの版を使い、どう採点し、どんな道具や補助を与え、何回試したかによって変わります。時間、計算量、費用も評価条件の一部です。

このレッスンではARC-AGI-3の公式報告を例に、点数と評価条件をセットで読む方法を身につけます。

点数を作る条件

ベンチマークは同じ条件でシステムを比べるための評価課題です。ただし、表示された点数が何を意味するかは、その条件を読まないと分かりません。

ここでいう足場は、モデルを動かす外側の仕組みです。長い作業を続けるための文脈管理や、検索、コード実行などが含まれます。高得点でも、現実には使えない時間や費用が必要なら、利用場面での評価は変わります。

モデル名と点数だけを抜き出すと、評価の対象が「モデル単体」なのか、「モデルと外部の仕組みを組み合わせたシステム」なのかも見えなくなります。

62.7%、98.6%、99.9%を混ぜない

ARC Prize Foundationは2026年9月、GPT-6 AstraのARC-AGI-3 Semi-Privateでの結果を公表しました。ARC-AGI-3は未知のターン制環境を探索し、目標や規則を推定して行動する能力を調べるベンチマークです。

公式結果ページには、読み分ける必要がある三つの数字があります。公式のverified table（Verified scores表）のMax行で比べると、Standard harnessは62.7%、Provider Adapter harnessは98.6%です。一方、ページ冒頭の本文はProvider Adapterのbest observedを99.9%と報告しています。この99.9%はVerified scores表のProvider AdapterのMax行とは一致しません。

Verified scores表のMax行では、Standardが62.7%、Provider Adapterが98.6%です。ページ冒頭のProvider Adapterのbest observedは99.9%で、別の設定です。三行を同じ条件の成績として比べないことが重要です。

ここでいうハーネスはモデルに課題を渡し、途中の状態を管理する評価用の仕組みです。三つの数字は基盤となるモデル系列だけを比べた結果ではありません。「Astraの能力はどの数字か」という二択にせず、掲載場所と条件を付けて読みます。

ARC Prize Foundation自身も、ARC-AGI-3を満点近くまで解くことはAGI達成の証明ではないと明記しています。この評価環境は範囲が限られ、規則と目標が閉じた決定的な環境です。現実世界の複雑さや終わりのない課題をそのまま再現してはいません。

点数から配備へ飛ばない

NISTのAI Risk Management Frameworkは、AIのリスクを設計、開発、利用、評価の全体で管理するための枠組みです。点数の比較に加えて、利用者、組織、社会への影響と、信頼できる運用に必要な条件を扱います。

能力評価は出発点であり、配備準備の証明ではありません。

高得点を否定する必要はありません。点数が答えた問いを狭く正確に受け取り、現実で使うために残る問いを別に置きます。

今日のまとめ

3行で振り返ります。

• 点数はモデルと課題、採点、道具、足場、試行、予算を組み合わせた結果である
• ARC-AGI-3ではVerified scores表の62.7%と98.6%、本文のbest observed 99.9%を分けて読む
• ベンチマークの高得点だけでは現実での信頼性や配備準備まで証明できない

次のレッスンでは「AGIは何年に来る」という予測を、定義、解決条件、確率に分けて読みます。

参考資料