
前回の最後に、こんな問いを残しました。AIは、大きくすればするほど賢くなるのでしょうか。
ここから第2章です。第1回の地図でいうと、いちばん上の出発点から、AGIへ向かう矢印の話をします。この矢印の名前が、スケーリング仮説でした。
第2章は、
第1回の
この矢印は、地図の中でいちばん「測られている」つながりです。とはいえ、何が測られていて、何がまだなのかは、分けて見る必要があります。この回は、その最初の一歩です。
AIは、文章の続きを当てる練習をしている
ChatGPTのように文章で答えるAIは、ふだん、どんな練習をして作られているのでしょうか。

いちばん大事な練習は、文章の続きを当てることです。「むかしむかし、あるところに」と読んだら、次は「おじいさんと」が来そうだ、と予想する。これを、本やウェブにある膨大な量の文章で、くり返します。
続きを
概念図。
このように、文章の続きを予測する練習で作られたAIを、言語モデルと呼びます。AIの世界では、この練習のことを「学習」と呼びます。ここから先は、学習という言葉を使います。
学習のたびに、予想がどれくらい外れたかを測ります。この外れ具合は、小さいほど良い数字です。小さいほど、続きを当てるのが上手になった、ということです。
大きくする:3つのつまみ
では、「AIを大きくする」とは、何を増やすことでしょうか。研究では、主に次の3つを増やします。
AIを
概念図。
二つ目のパラメータは、AIの中にある、調整できる数字のことです。小さなつまみがたくさん並んでいて、学習のたびに、予想が当たりやすくなる向きへ、少しずつ回されていく。そう考えると分かりやすくなります。
スケーリング則:外れ具合は、決まった割合で下がる
2020年、OpenAI(ChatGPTを作った会社)の研究者Jared Kaplan(ジャレッド・カプラン)らは、この3つを増やしたとき、予測の外れ具合がどう変わるかを、たくさんの言語モデルで調べました。
結果は、きれいな規則でした。3つのどれを増やしても、外れ具合は、決まった割合で規則的に下がっていったのです。一部の傾向は、1000万倍を超える範囲で続いていました。
この関係を、スケーリング則と呼びます。
「決まった割合で下がる」とは、どういうことでしょうか。説明のために、仮の数字で見てみます。
10倍ごとに、
説明用の
図の見方です。左の列は計算の量で、1倍から1000倍まで、10倍ずつ増やしています。棒の長さは、予測の外れ具合です。はじめを100としました。
10倍にすると、100が63になります。もう10倍(はじめの100倍)にすると、63が40に。さらに10倍で、40が25です。
見てほしいのは、色の付いた「前の約6割」です。10倍にするたびに、外れ具合は前の約6割になります。この割合は、いつも同じです。
一方で、減った量は37、23、15と、だんだん小さくなっていきます。同じだけ良くするには、前よりずっと多くの計算が必要になる、ということです。
この関係は、式で書くと1行です。
外れ具合 ≈ a × 計算の量−α
a は始まりの大きさ、α(アルファ)は下がり方の速さを表す数です。右上の小さな −α は、「計算の量を増やすほど、外れ具合が割合で小さくなる」ことを表す書き方です。
図は α = 0.2 の場合です。このとき、計算の量を10倍にすると、外れ具合は10−0.2倍、つまり約0.63倍になります。これが「前の約6割」です。0.2 は説明のための仮の値で、実際の値は条件によって違います。
大きさを活かすやり方が、長い目で見ると勝ってきた
この規則は、AI研究のもう一つの見方と重なります。
AIの研究者Richard Sutton(リチャード・サットン)は2019年、70年のAI研究から読み取れる最大の教訓を、短い文章にまとめました。計算を活かせる、汎用的なやり方が、最終的にはもっとも効果的だった、というものです。
ここでいう汎用的なやり方とは、人が知っていることを細かく書き込むのではなく、たくさんの計算を使って、AIに学ばせるやり方のことです。
Suttonは、人が知っていることを書き込む工夫は、短い目では役に立つけれど、長い目で見ると伸びが止まり、むしろ先の進歩を妨げることもある、と書いています。
長い目で
概念図。
人が考えて作り込んだ工夫よりも、計算を増やすほど良くなるやり方のほうが、長い目で見ると勝ってきた。そう読むと、スケーリング則と同じ方向を向いています。
スケーリング則と、スケーリング仮説は別
ここで、二つの言葉を分けておきます。
スケーリング則は、これまでの研究で測られてきた規則です。決まった条件で、外れ具合が規則的に下がってきた、という観測です。
スケーリング仮説は、その先の考えです。この規則がこの先も続き、AIはどんどん賢くなって、やがてAGIに届くかもしれない、というものです。第1回の地図の矢印は、こちらでした。
測られた
概念図。
スケーリング則は、これまで測られてきた規則であって、この先もAGIまで続くという約束ではありません。
注意
測っているのは、続きを当てる力
スケーリング則で測っているのは、文章の続きを予測するときの外れ具合です。仕事をこなす力や、初めての問題を解く力を、そのまま測っているわけではありません。
外れ具合が下がることと、AGIに近づくことが、どこまで重なるのか。この規則が、どこまで続くのか。どちらも、まだ確かめられていません。第7回で、もう一度考えます。
最後に、この回の考え方を使ってみましょう。
セルフチェック
1. ニュースに「AIは大きくすればするほど賢くなると、研究で証明された。だから、もっと大きくすればAGIが完成する」と書いてありました。この回の考え方に沿った読み方として、最も適切なのはどれですか。
今日のまとめ
- 文章で答えるAI(言語モデル)は、文章の続きを当てる練習で作られる
- データ・AIの大きさ・計算を増やすと、予測の外れ具合は決まった割合で下がってきた(スケーリング則)
- その規則がAGIまで続くという考え(スケーリング仮説)は、まだ確かめられていない
次の回は、この問いから始めます。計算の予算が決まっているとき、AIを大きくするのと、読ませる文章を増やすのと、どちらがよいのでしょうか。