メインコンテンツへスキップ

大きくすると、AIは賢くなるのか

AIを大きくし、読ませる文章と計算を増やすと、AIは賢くなるのでしょうか。文章の続きを当てる練習という身近な例から、スケーリング則と呼ばれる規則と、それをもとにしたスケーリング仮説の違いを学びます

  • レッスン 5 / 15
  • 7分

このレッスンで

終わる頃には、次ができるようになります

  • 文章で答えるAIが、文章の続きを予測する練習で作られていることを説明できる
  • データ・AIの大きさ・計算を増やすと、予測の外れ具合が決まった割合で下がると測られてきたこと(スケーリング則)を説明できる
  • 測られてきた規則(スケーリング則)と、それがAGIまで続くという考え(スケーリング仮説)を区別できる
木の机の上に、白い紙の束が三つ、左から薄い束、厚い束、高く積んだ束の順に並んでいる。手前に木の定規、いちばん高い束の横に赤鉛筆
第2章では、AIを大きくすると何が良くなるのか、その傾向がどこまで続くのかを見ます。

前回の最後に、こんな問いを残しました。AIは、大きくすればするほど賢くなるのでしょうか。

ここから第2章です。第1回の地図でいうと、いちばん上の出発点から、AGIへ向かう矢印の話をします。この矢印の名前が、スケーリング仮説でした。

第2章は、地図のスケーリング仮説

第1回の地図で、いまいる考えにだけ色を付けた

出発点:計算・データ・AIの大きさ スケーリング仮説増やすほど、AIは賢くなる(伸びる傾向は、測られている) AGIいろいろな頭の仕事を、一つでこなすAI AIの研究も、こなせるようになる(一部が測られ始めた段階) 再帰的自己改善AIが次のAIを改良し、それをくり返す くり返しが止まらなければ(まだ確かめられていない) 知能爆発人を大きく超える知能が、短い期間に現れる アラインメントどの段階でも、AIの向きを人の意図に合わせる 出発点:計算・データ・AIの大きさ スケーリング仮説増やすほど、AIは賢くなる(伸びる傾向は、測られている) AGIいろいろな頭の仕事を、一つでこなすAI AIの研究も、こなせるようになる(一部が測られ始めた段階) 再帰的自己改善AIが次のAIを改良し、それをくり返す くり返しが止まらなければ(まだ確かめられていない) 知能爆発人を大きく超える知能が、短い期間に現れる アラインメントどの段階でも、AIの向きを人の意図に合わせる 出発点:計算・データ・AIの大きさ スケーリング仮説増やすほど、AIは賢くなる(伸びる傾向は、測られている) AGIいろいろな頭の仕事を、一つでこなすAI AIの研究も、こなせるようになる(一部が測られ始めた段階) 再帰的自己改善AIが次のAIを改良し、それをくり返す くり返しが止まらなければ(まだ確かめられていない) 知能爆発人を大きく超える知能が、短い期間に現れる アラインメントどの段階でも、AIの向きを人の意図に合わせる
図1第2章では、出発点からAGIへ向かう最初の矢印、スケーリング仮説を見ます。

この矢印は、地図の中でいちばん「測られている」つながりです。とはいえ、何が測られていて、何がまだなのかは、分けて見る必要があります。この回は、その最初の一歩です。

AIは、文章の続きを当てる練習をしている

ChatGPTのように文章で答えるAIは、ふだん、どんな練習をして作られているのでしょうか。

スケッチブックに鉛筆で描いたデッサン。床の上に開いた絵本と、そばのクッション、明かりのついたスタンド。左のページには、かやぶきの家と丘の絵。右のページはまだ白く、真ん中に赤鉛筆の小さな丸が一つ描かれている
左のページまで読んだところです。次のページ(赤い丸)に何が来るかを、予想します。

いちばん大事な練習は、文章の続きを当てることです。「むかしむかし、あるところに」と読んだら、次は「おじいさんと」が来そうだ、と予想する。これを、本やウェブにある膨大な量の文章で、くり返します。

続きを当てる練習

概念図。赤い破線の紙が、AIの予想

むかしむかし、 あるところに おじいさんと…? 読んだ文章 続きを予想する 外れたら、どれくらい外れたかを測る むかしむかし、 あるところに おじいさんと…? 読んだ文章 続きを予想する 外れたら、どれくらい外れたかを測る むかしむかし、 あるところに おじいさんと…? 読んだ文章 続きを予想する 外れたら、どれくらい外れたかを測る
図2読んだ文章から、続きを予想する。外れたら、どれくらい外れたかを測る。これを膨大な文章でくり返します。

このように、文章の続きを予測する練習で作られたAIを、言語モデルと呼びます。AIの世界では、この練習のことを「学習」と呼びます。ここから先は、学習という言葉を使います。

学習のたびに、予想がどれくらい外れたかを測ります。この外れ具合は、小さいほど良い数字です。小さいほど、続きを当てるのが上手になった、ということです。

大きくする:3つのつまみ

では、「AIを大きくする」とは、何を増やすことでしょうか。研究では、主に次の3つを増やします。

AIを大きくする、3つのつまみ

概念図。つまみを回すほど、増やす

01 読ませる文章の量(データ)学習に使う文章を増やす 02 AIの大きさ(パラメータの数)調整される数字の数を増やす 03 計算の量学習にかけるコンピューターの計算を増やす 01 読ませる文章の量(データ)学習に使う文章を増やす 02 AIの大きさ(パラメータの数)調整される数字の数を増やす 03 計算の量学習にかけるコンピューターの計算を増やす 01 読ませる文章の量(データ)学習に使う文章を増やす 02 AIの大きさ(パラメータの数)調整される数字の数を増やす 03 計算の量学習にかけるコンピューターの計算を増やす
図3研究で増やすのは、この3つです。

二つ目のパラメータは、AIの中にある、調整できる数字のことです。小さなつまみがたくさん並んでいて、学習のたびに、予想が当たりやすくなる向きへ、少しずつ回されていく。そう考えると分かりやすくなります。

スケーリング則:外れ具合は、決まった割合で下がる

2020年、OpenAI(ChatGPTを作った会社)の研究者Jared Kaplan(ジャレッド・カプラン)らは、この3つを増やしたとき、予測の外れ具合がどう変わるかを、たくさんの言語モデルで調べました。

結果は、きれいな規則でした。3つのどれを増やしても、外れ具合は、決まった割合で規則的に下がっていったのです。一部の傾向は、1000万倍を超える範囲で続いていました。

この関係を、スケーリング則と呼びます。

「決まった割合で下がる」とは、どういうことでしょうか。説明のために、仮の数字で見てみます。

10倍ごとに、前の約6割へ

説明用の仮の値。10倍ごとの下がり方を形で見る

計算の量 予測の外れ具合(はじめ=100) 1倍 100 10倍 63 前の約6割 (37減った) 100倍 40 前の約6割 (23減った) 1000倍 25 前の約6割 (15減った) 説明用の仮の値(α=0.2の場合)。測った値ではない。 計算の量 予測の外れ具合(はじめ=100) 1倍 100 10倍 63 前の約6割 (37減った) 100倍 40 前の約6割 (23減った) 1000倍 25 前の約6割 (15減った) 説明用の仮の値(α=0.2の場合)。 測った値ではない。
図4計算の量を10倍にするたびに、外れ具合は前の同じ割合になります。減る量はだんだん小さくなりますが、割合は変わりません。

図の見方です。左の列は計算の量で、1倍から1000倍まで、10倍ずつ増やしています。棒の長さは、予測の外れ具合です。はじめを100としました。

10倍にすると、100が63になります。もう10倍(はじめの100倍)にすると、63が40に。さらに10倍で、40が25です。

見てほしいのは、色の付いた「前の約6割」です。10倍にするたびに、外れ具合は前の約6割になります。この割合は、いつも同じです。

一方で、減った量は37、23、15と、だんだん小さくなっていきます。同じだけ良くするには、前よりずっと多くの計算が必要になる、ということです。

この関係は、式で書くと1行です。

外れ具合 ≈ a × 計算の量−α

a は始まりの大きさ、α(アルファ)は下がり方の速さを表す数です。右上の小さな −α は、「計算の量を増やすほど、外れ具合が割合で小さくなる」ことを表す書き方です。

図は α = 0.2 の場合です。このとき、計算の量を10倍にすると、外れ具合は10−0.2倍、つまり約0.63倍になります。これが「前の約6割」です。0.2 は説明のための仮の値で、実際の値は条件によって違います。

大きさを活かすやり方が、長い目で見ると勝ってきた

この規則は、AI研究のもう一つの見方と重なります。

AIの研究者Richard Sutton(リチャード・サットン)は2019年、70年のAI研究から読み取れる最大の教訓を、短い文章にまとめました。計算を活かせる、汎用的なやり方が、最終的にはもっとも効果的だった、というものです。

ここでいう汎用的なやり方とは、人が知っていることを細かく書き込むのではなく、たくさんの計算を使って、AIに学ばせるやり方のことです。

Suttonは、人が知っていることを書き込む工夫は、短い目では役に立つけれど、長い目で見ると伸びが止まり、むしろ先の進歩を妨げることもある、と書いています。

長い目で見ると、追い抜いてきた

概念図。測った値ではない

どれだけ良くなったか 長い時間(研究と計算を重ねる) 人が考えて作り込んだ工夫 計算を活かす、汎用的なやり方 どれだけ良くなったか 長い時間(研究と計算を重ねる) 人が考えて作り込んだ工夫 計算を活かす、汎用的なやり方 どれだけ良くなったか 長い時間(研究と計算を重ねる) 人が考えて作り込んだ工夫 計算を活かす、汎用的なやり方
図5人が作り込んだ工夫は、はじめは伸びても、やがて頭打ちになりました。計算を活かすやり方は、遅れても伸び続けました。

人が考えて作り込んだ工夫よりも、計算を増やすほど良くなるやり方のほうが、長い目で見ると勝ってきた。そう読むと、スケーリング則と同じ方向を向いています。

スケーリング則と、スケーリング仮説は別

ここで、二つの言葉を分けておきます。

スケーリング則は、これまでの研究で測られてきた規則です。決まった条件で、外れ具合が規則的に下がってきた、という観測です。

スケーリング仮説は、その先の考えです。この規則がこの先も続き、AIはどんどん賢くなって、やがてAGIに届くかもしれない、というものです。第1回の地図の矢印は、こちらでした。

測られた線と、その延長

概念図。点が測られたところ、赤い破線は延長

AGIに届く? スケーリング仮説この先も続くという考え スケーリング則これまで測られてきた規則 AGIに届く? スケーリング仮説この先も続くという考え スケーリング則これまで測られてきた規則 AGIに届く? スケーリング仮説この先も続くという考え スケーリング則これまで測られてきた規則
図6点のあるところまでが、測られてきた規則です。その先の赤い破線は、まだ確かめられていない考えです。

スケーリング則は、これまで測られてきた規則であって、この先もAGIまで続くという約束ではありません。

注意

測っているのは、続きを当てる力

スケーリング則で測っているのは、文章の続きを予測するときの外れ具合です。仕事をこなす力や、初めての問題を解く力を、そのまま測っているわけではありません。

外れ具合が下がることと、AGIに近づくことが、どこまで重なるのか。この規則が、どこまで続くのか。どちらも、まだ確かめられていません。第7回で、もう一度考えます。

最後に、この回の考え方を使ってみましょう。

セルフチェック

1. ニュースに「AIは大きくすればするほど賢くなると、研究で証明された。だから、もっと大きくすればAGIが完成する」と書いてありました。この回の考え方に沿った読み方として、最も適切なのはどれですか。

今日のまとめ

  • 文章で答えるAI(言語モデル)は、文章の続きを当てる練習で作られる
  • データ・AIの大きさ・計算を増やすと、予測の外れ具合は決まった割合で下がってきた(スケーリング則)
  • その規則がAGIまで続くという考え(スケーリング仮説)は、まだ確かめられていない

次の回は、この問いから始めます。計算の予算が決まっているとき、AIを大きくするのと、読ませる文章を増やすのと、どちらがよいのでしょうか。

参考資料

一次資料を表示2件
SourceJOURNAL / PAPER
Scaling Laws for Neural Language Models

言語モデルの予測の誤差が、モデルの大きさ、データ量、計算量に対してべき乗則で下がることを示した研究。

論文arXivKaplan J, McCandlish S, Henighan T, et al.2020参照日 2026-11-08
arxiv.org/abs/2001.08361
SourceARTICLE
The Bitter Lesson

70年のAI研究から、計算を活かせる汎用的な方法が最終的に最も効果的だったと論じた短い論考。

Webincompleteideas.netSutton R2019参照日 2026-11-08
http://www.incompleteideas.net/IncIdeas/BitterLesson.html

このレッスンは役に立ちましたか?