
前回の最後に、こんな問いを残しました。AIがこなせる作業の長さが伸びている、という図は、何を示しているのでしょうか。
前回は、三つの記事のうち一つ目、専門家調査を読みました。この回は、二つ目の能力トレンドと、三つ目の計算資源の見積もりを読み、最後に三つを並べます。
能力トレンド:AIがこなせる作業の長さ
二つ目の記事は、能力トレンドです。METRという研究グループのKwa(クワ)らが、AIがこなせる作業の長さを測りました。研究では、これを Time Horizon と呼んでいます。
この図は、この回の山場です。ゆっくり読みます。
図の読み方:何を測ったか
測られたのは、AIエージェントです。AIエージェントとは、指示を受けて、作業の手順を自分で進めていくAIのことです。
AIエージェントに、決まった課題を解かせます。課題は主にソフトウェアと機械学習(AIを作る作業)で、一部にサイバーセキュリティ(コンピュータを攻撃から守る作業)と一般的な推論(筋道を立てて考える問題)が入っています。それぞれの課題には、人がやったらどれくらいの時間がかかるか、という長さが付いています。
測るのは、次の長さです。人がやれば○時間かかる課題を、AIエージェントが50%の確率で終えられる。その○にあたる時間です。
たとえば「人なら2時間かかる課題を50%で終える」とは、人が2時間かけてやる大きさの課題を、AIエージェントが、10回に5回ほど成功させる、という意味です。
「50%の確率で」とは、成功するか失敗するかが半々になる境目、という意味です。
つまり、「AIが2時間ぶっ続けで働ける」という話ではありません。人の作業時間を物差しにして、課題の長さを測っています。
縦軸と横軸
横軸は、AIが公開された年です。縦軸は、人がやれば何秒、何分、何時間かかる課題か、という長さです。
縦軸の目盛りには、注意が必要です。ふつうの目盛りは、1、2、3と、同じ量ずつ増えます。この図の縦軸は、対数の目盛りです。1目盛り上がるごとに、2倍や10倍になる目盛りのことです。
この図では、1秒、2秒、4秒、8秒、15秒と、ほぼ2倍ずつ上がっています。数秒から数時間までを一枚に収めるために、この目盛りが使われます。
Kwa et al. Figure 1(METR):50% Time Horizonの変化
原寸画像を開く ↗モデル公開日と50% Time Horizon
図版の注記・改変情報
図の中の英語
図の中の英語は、次のように読みます。
- 図の上の題(Length of tasks AI agents have been able to complete autonomously for 169 software engineering, cybersecurity, general reasoning, and ML tasks):AIエージェントが自分で終えられた課題の長さ。ソフトウェア、サイバーセキュリティ、一般的な推論、機械学習の169件の課題について
- 縦軸(Task time (for humans) that model completes with 50% success rate):モデルが成功率50%で終えられる課題の、人にとっての作業時間
- 横軸(Model release date):モデルの公開日
- Doubling time: 207 days:倍になるまでの期間は207日
- 2018-09-03+ data:2018年9月3日以降のデータ、と読めます
- R²: 0.97:図の右下にある数字です。この講座では使いません
- GPT 2、GPT 3、GPT 3.5、GPT 4、GPT 4o、o1、o3:丸に付いたAIモデルの名前です
どこを見ればよいか
見る場所は五つです。
一つ目は、緑の丸です。一つの丸が、一つのAIモデルを表します。左下のGPT-2(2019年ごろ)は、人なら数秒の課題です。右上のo3(2025年ごろ)は、人なら2時間ほどの課題です。丸の高さは、図から読み取ったおよその値です。
二つ目は、丸に付いた縦の棒です。それぞれの丸の値の、推定の幅を示しています。棒の長さは丸ごとに違い、左下のGPT-2では下へ長く伸びています。
三つ目は、緑の実線です。これは、丸のあいだをつないだ線ではなく、すべての丸にできるだけ合うように、全体へ当てはめた直線です。対数の目盛りで直線に見えるときは、一定の期間ごとに、同じ倍率で増えているということです。調べた課題の範囲では、この「倍になるまでの期間」は207日(約7か月)でした。
四つ目は、直線の左端と右端の破線です。データのある範囲の外へ、同じ直線を延ばした部分です。これを外挿と呼びます。延ばした先で本当にそうなるかは、この図からは分かりません。この先も続くかは分からない、という後の話と同じ点です。
五つ目は、直線の周りの薄い帯です。直線の推定の幅を表すと読めます。
丸の中には、直線から外れて見えるものがあります。たとえば、GPT-3.5は直線より下に、GPT-4oも直線よりやや下にあります。全体を一本の直線で表すと、こうしたずれが残ります。
そこから分かること
調べた課題の範囲では、AIがこなせる課題の長さが、2019年から2025年にかけて、約7か月で倍になるペースで伸びてきました。倍になる期間の本当の値が入っていそうな幅は、166〜240日でした。
そこから分からないこと
この図から、次のことは分かりません。
- 現実のあらゆる仕事を、同じ時間だけ安定して任せられるか
- この傾向が、この先も続くか
- この傾向の先に、AGIがあるか
課題は主にソフトウェアと機械学習に偏っています。また、「50%」は、半分は失敗するということでもあります。
2026年には、更新版のTime Horizon 1.1が出ました。課題が228件に増えています。
倍になる期間の推定値も変わりました。たとえば、2023年以降に限ると、倍になる期間は130.8日(約4か月)と推定されています。本当の値が入っていそうな幅は、107〜161日です。
ただし、更新のとき、課題、対象のAI、測る仕組みが同時に変わっています。そのため、倍になる期間が短くなったことだけを見て、能力向上が同じ割合で加速したとは言えません。更新版を読むときも、条件を確かめます。
対象が違う予測は平均しない
身近なたとえで考えます。この講座で作った例です。

引っ越しの日を決めるとき、「業者の空き状況」「新居の工事の進み具合」「家族の都合」の三つを集めたとします。三つとも日取りの手がかりにはなりますが、それぞれ別のものを測っています。数字にして平均しても、引っ越しの日は出ません。
三つの
概念図。
AGIの予測も同じです。三つ目の計算資源の見積もりを、ここで見ておきます。
Epoch AIの分析は、電力、半導体(計算に使う部品)、学習に使うデータ、通信の遅れなどを調べました。いまに近いペースで学習に使う計算の量を増やし続けることを、2030年まで技術的に続けられるかを見積もったものです。計算資源を用意できる可能性と、その計算でAGIが生まれる可能性は別です。
三つは、次のように読み分けます。
- 専門家調査は、決められた問いに対する、人々の見通しの分布を示します
- 能力トレンドは、決められた課題と測り方の範囲で、観測した変化を示します
- 計算資源の見積もりは、明記した制約と仮定のもとで、実現できるかを見積もります
三つは互いに参考になりますが、同じ量を測ってはいません。
対象と単位が違う数字を平均しないことが、予測を読む基本です。
注意
三つの予測から、まだ言えないこと
三つのどれも、AGIがいつ来るかを決めるものではありません。専門家調査は、見通しの集計であって、当たるかどうかは確かめられていません。能力トレンドは、決めた課題で観測した変化で、この先も続くかは確かめられていません。計算資源の見積もりは、技術的にできるかどうかで、AGIが生まれるかどうかとは別の話です。
最後に、この回の考え方を使ってみましょう。架空の記事です。
セルフチェック
1. ある記事に、「AIがこなせる作業の長さは、この1年で倍になった。だからAGIは3年後に来る」と書いてありました。この回の考え方に沿った読み方として、最も適切なのはどれですか。
今日のまとめ
- AIがこなせる作業の長さは、決めた課題で測った値で、約7か月で倍のペースで伸びてきた。この先も続くかは分からない
- 対数の目盛りの図は、1目盛りが何倍かを確かめてから読む
- 専門家調査、能力トレンド、計算資源の見積もりは、別のものを測っている。対象と単位が違う数字は平均しない
次の回は、この問いから始めます。AIは、AIの研究そのものを進められるのでしょうか。