メインコンテンツへスキップ

AIがこなせる作業の長さは、何を示すのか

AIがこなせる作業の長さは、約7か月で倍のペースで伸びてきました。その図は何を示し、何を示さないのか。対数の目盛りの読み方から確かめ、専門家調査、計算資源の見積もりと並べて読み分けます

  • レッスン 8 / 15
  • 10分

このレッスンで

終わる頃には、次ができるようになります

  • AIがこなせる作業の長さの図を、軸の読み方から自分で読める
  • その図から分かることと、分からないことを言い分けられる
  • 専門家調査、能力トレンド、計算資源の見積もりを、平均せずに読み分けられる
木の机を真上から撮った写真。紙の細長い帯が六本、上から下へ並び、下の帯ほど長く、一本ごとにおよそ倍になっている。右上に、文字盤に何も書かれていないストップウォッチ。いちばん長い帯の真ん中あたりにだけ、赤鉛筆の小さな印がある
作業の長さは、倍、倍と伸びてきました。この回は、その伸び方を測った図を読みます。

前回の最後に、こんな問いを残しました。AIがこなせる作業の長さが伸びている、という図は、何を示しているのでしょうか。

前回は、三つの記事のうち一つ目、専門家調査を読みました。この回は、二つ目の能力トレンドと、三つ目の計算資源の見積もりを読み、最後に三つを並べます。

能力トレンド:AIがこなせる作業の長さ

二つ目の記事は、能力トレンドです。METRという研究グループのKwa(クワ)らが、AIがこなせる作業の長さを測りました。研究では、これを Time Horizon と呼んでいます。

この図は、この回の山場です。ゆっくり読みます。

図の読み方:何を測ったか

測られたのは、AIエージェントです。AIエージェントとは、指示を受けて、作業の手順を自分で進めていくAIのことです。

AIエージェントに、決まった課題を解かせます。課題は主にソフトウェアと機械学習(AIを作る作業)で、一部にサイバーセキュリティ(コンピュータを攻撃から守る作業)と一般的な推論(筋道を立てて考える問題)が入っています。それぞれの課題には、人がやったらどれくらいの時間がかかるか、という長さが付いています。

測るのは、次の長さです。人がやれば○時間かかる課題を、AIエージェントが50%の確率で終えられる。その○にあたる時間です。

たとえば「人なら2時間かかる課題を50%で終える」とは、人が2時間かけてやる大きさの課題を、AIエージェントが、10回に5回ほど成功させる、という意味です。

「50%の確率で」とは、成功するか失敗するかが半々になる境目、という意味です。

つまり、「AIが2時間ぶっ続けで働ける」という話ではありません。人の作業時間を物差しにして、課題の長さを測っています。

縦軸と横軸

横軸は、AIが公開された年です。縦軸は、人がやれば何秒、何分、何時間かかる課題か、という長さです。

縦軸の目盛りには、注意が必要です。ふつうの目盛りは、1、2、3と、同じ量ずつ増えます。この図の縦軸は、対数の目盛りです。1目盛り上がるごとに、2倍や10倍になる目盛りのことです。

この図では、1秒、2秒、4秒、8秒、15秒と、ほぼ2倍ずつ上がっています。数秒から数時間までを一枚に収めるために、この目盛りが使われます。

Source figure

Kwa et al. Figure 1(METR):50% Time Horizonの変化

2019年から2025年までのモデル公開日と、50%の確率で完了できる課題の人間作業時間を対数軸で示した散布図原寸画像を開く ↗

モデル公開日と50% Time Horizon

出典: Kwa et al., Figure 1ライセンス: CC BY 4.0
図版の注記・改変情報
図版種別: 能力トレンド研究の原図改変: 改変なし論文本文では課題群全体を170件としていますが、Figure 1の原図は169件です。差の理由は確認できないため、推測を加えず原図を掲載しました。課題は主にソフトウェアと機械学習で、一部にサイバーセキュリティと一般推論を含みます。

図の中の英語

図の中の英語は、次のように読みます。

  • 図の上の題(Length of tasks AI agents have been able to complete autonomously for 169 software engineering, cybersecurity, general reasoning, and ML tasks):AIエージェントが自分で終えられた課題の長さ。ソフトウェア、サイバーセキュリティ、一般的な推論、機械学習の169件の課題について
  • 縦軸(Task time (for humans) that model completes with 50% success rate):モデルが成功率50%で終えられる課題の、人にとっての作業時間
  • 横軸(Model release date):モデルの公開日
  • Doubling time: 207 days:倍になるまでの期間は207日
  • 2018-09-03+ data:2018年9月3日以降のデータ、と読めます
  • R²: 0.97:図の右下にある数字です。この講座では使いません
  • GPT 2、GPT 3、GPT 3.5、GPT 4、GPT 4o、o1、o3:丸に付いたAIモデルの名前です

どこを見ればよいか

見る場所は五つです。

一つ目は、緑の丸です。一つの丸が、一つのAIモデルを表します。左下のGPT-2(2019年ごろ)は、人なら数秒の課題です。右上のo3(2025年ごろ)は、人なら2時間ほどの課題です。丸の高さは、図から読み取ったおよその値です。

二つ目は、丸に付いた縦の棒です。それぞれの丸の値の、推定の幅を示しています。棒の長さは丸ごとに違い、左下のGPT-2では下へ長く伸びています。

三つ目は、緑の実線です。これは、丸のあいだをつないだ線ではなく、すべての丸にできるだけ合うように、全体へ当てはめた直線です。対数の目盛りで直線に見えるときは、一定の期間ごとに、同じ倍率で増えているということです。調べた課題の範囲では、この「倍になるまでの期間」は207日(約7か月)でした。

四つ目は、直線の左端と右端の破線です。データのある範囲の外へ、同じ直線を延ばした部分です。これを外挿と呼びます。延ばした先で本当にそうなるかは、この図からは分かりません。この先も続くかは分からない、という後の話と同じ点です。

五つ目は、直線の周りの薄い帯です。直線の推定の幅を表すと読めます。

丸の中には、直線から外れて見えるものがあります。たとえば、GPT-3.5は直線より下に、GPT-4oも直線よりやや下にあります。全体を一本の直線で表すと、こうしたずれが残ります。

そこから分かること

調べた課題の範囲では、AIがこなせる課題の長さが、2019年から2025年にかけて、約7か月で倍になるペースで伸びてきました。倍になる期間の本当の値が入っていそうな幅は、166〜240日でした。

そこから分からないこと

この図から、次のことは分かりません。

  • 現実のあらゆる仕事を、同じ時間だけ安定して任せられるか
  • この傾向が、この先も続くか
  • この傾向の先に、AGIがあるか

課題は主にソフトウェアと機械学習に偏っています。また、「50%」は、半分は失敗するということでもあります。

2026年には、更新版のTime Horizon 1.1が出ました。課題が228件に増えています。

倍になる期間の推定値も変わりました。たとえば、2023年以降に限ると、倍になる期間は130.8日(約4か月)と推定されています。本当の値が入っていそうな幅は、107〜161日です。

ただし、更新のとき、課題、対象のAI、測る仕組みが同時に変わっています。そのため、倍になる期間が短くなったことだけを見て、能力向上が同じ割合で加速したとは言えません。更新版を読むときも、条件を確かめます。

対象が違う予測は平均しない

身近なたとえで考えます。この講座で作った例です。

スケッチブックに鉛筆で描いた、引っ越し前の部屋のデッサン。窓から光が差す部屋の隅に、テープで閉じた段ボール箱が積まれ、丸めた敷物が壁に立てかけてある。壁のカレンダーの一日だけが、赤鉛筆の丸で囲まれている
引っ越しの日は、まだ決まっていません。カレンダーの赤い丸は、とりあえずの候補です。

引っ越しの日を決めるとき、「業者の空き状況」「新居の工事の進み具合」「家族の都合」の三つを集めたとします。三つとも日取りの手がかりにはなりますが、それぞれ別のものを測っています。数字にして平均しても、引っ越しの日は出ません。

三つの手がかりは、別の日を指す

概念図。この講座で作った引っ越しの例

業者の空き状況 新居の工事の進み具合 家族の都合 三つを平均しても、引っ越しの日は出ない 業者の空き状況 新居の工事の進み具合 家族の都合 三つを平均しても、引っ越しの日は出ない 業者の空き状況 新居の工事の進み具合 家族の都合 三つを平均しても、引っ越しの日は出ない
図1三つとも日取りの手がかりですが、別のものを測っています。平均しても、引っ越しの日にはなりません。

AGIの予測も同じです。三つ目の計算資源の見積もりを、ここで見ておきます。

Epoch AIの分析は、電力、半導体(計算に使う部品)、学習に使うデータ、通信の遅れなどを調べました。いまに近いペースで学習に使う計算の量を増やし続けることを、2030年まで技術的に続けられるかを見積もったものです。計算資源を用意できる可能性と、その計算でAGIが生まれる可能性は別です。

三つは、次のように読み分けます。

  • 専門家調査は、決められた問いに対する、人々の見通しの分布を示します
  • 能力トレンドは、決められた課題と測り方の範囲で、観測した変化を示します
  • 計算資源の見積もりは、明記した制約と仮定のもとで、実現できるかを見積もります

三つは互いに参考になりますが、同じ量を測ってはいません。

対象と単位が違う数字を平均しないことが、予測を読む基本です。

注意

三つの予測から、まだ言えないこと

三つのどれも、AGIがいつ来るかを決めるものではありません。専門家調査は、見通しの集計であって、当たるかどうかは確かめられていません。能力トレンドは、決めた課題で観測した変化で、この先も続くかは確かめられていません。計算資源の見積もりは、技術的にできるかどうかで、AGIが生まれるかどうかとは別の話です。

最後に、この回の考え方を使ってみましょう。架空の記事です。

セルフチェック

1. ある記事に、「AIがこなせる作業の長さは、この1年で倍になった。だからAGIは3年後に来る」と書いてありました。この回の考え方に沿った読み方として、最も適切なのはどれですか。

今日のまとめ

  • AIがこなせる作業の長さは、決めた課題で測った値で、約7か月で倍のペースで伸びてきた。この先も続くかは分からない
  • 対数の目盛りの図は、1目盛りが何倍かを確かめてから読む
  • 専門家調査、能力トレンド、計算資源の見積もりは、別のものを測っている。対象と単位が違う数字は平均しない

次の回は、この問いから始めます。AIは、AIの研究そのものを進められるのでしょうか。

参考資料

一次資料を表示3件

このレッスンは役に立ちましたか?