メインコンテンツへスキップ

大きさと、読ませる量の配分

計算の予算が決まっているとき、AIを大きくするのと、読ませる文章を増やすのと、どちらがよいのか。同じ予算で作った二つのAI、GopherとChinchillaの比べ方から、配分の考え方を学びます

  • レッスン 6 / 15
  • 6分

このレッスンで

終わる頃には、次ができるようになります

  • 計算の予算が決まっていると、AIの大きさと読ませる文章の量のあいだで、配分を選ぶ必要があることを説明できる
  • Chinchillaの研究が示した、大きさと読ませる量を同じ割合で増やすという考えを説明できる
  • この結論が、決まった条件で測ったもので、どんな場合にも当てはまる決まりではないことを説明できる
木の机の上に、二つの鍋が並んでいる。左の大きく深い鍋には野菜が三切れだけ、右の小さな鍋には刻んだ野菜がいっぱいに入っている。間に木のへら、手前に赤鉛筆
同じ予算で、AIを大きくするか、たくさん読ませるか。配分の考え方を見ます。

前回の最後に、こんな問いを残しました。計算の予算が決まっているとき、AIを大きくするのと、読ませる文章を増やすのと、どちらがよいのでしょうか。

前回は、データ・AIの大きさ・計算の3つのつまみを増やすと、予測の外れ具合が決まった割合で下がる、と見ました(スケーリング則)。

でも、現実には、つまみを全部いくらでも回せるわけではありません。計算には、お金も時間もかかるからです。

予算が決まると、取り合いになる

説明のための例で考えてみます。料理に使えるお金が、1万円と決まっているとします。

大きな鍋にお金をかけるほど、材料に回せるお金は減ります。材料をたくさん買うなら、鍋は小さくなります。大きな鍋を買っても、材料が少なければ、鍋を活かせません。

AIの学習も、これに似ています。計算の予算を決めると、AIを大きくするほど、読ませられる文章の量は減ります。逆に、AIを小さくすれば、同じ予算で、より多くの文章を読ませられます。

図にすると、次のようになります。箱全体が、決まった計算の予算です。赤い線が、二つに分ける仕切りです。

予算の中で、取り合いになる

概念図。箱の幅が、決まった計算の予算

計算の予算(決まっている) AIの大きさに回す分 読ませる文章の量に回す分 仕切りを動かすと、片方が増え、もう片方が減る 計算の予算(決まっている) AIの大きさに回す分 読ませる文章の量に回す分 仕切りを動かすと、片方が増え、もう片方が減る 計算の予算(決まっている) AIの大きさに回す分 読ませる文章の量に回す分 仕切りを動かすと、片方が増え、もう片方が減る
図1計算の予算が決まっていると、AIの大きさと、読ませる文章の量は取り合いになります。

もちろん、AIは鍋ではありません。この例が伝えたいのは、「予算が決まると、片方を増やせば、もう片方が減る」というところだけです。

では、どう配分するのがいちばんよいのでしょうか。

400以上のAIで確かめた

2022年、Google DeepMindの研究者Jordan Hoffmann(ジョーダン・ホフマン)らは、この問いを、たくさんのAIを実際に作って確かめました。大きさが7000万から160億を超えるパラメータまでのAIを、50億から5000億トークンの文章で学習させ、400以上を比べたのです。

ここで出てきたトークンは、AIが文章を読むときの区切りの単位です。おおよそ、単語や、単語のかけらにあたります。

結論は、シンプルでした。計算の予算を増やしていくとき、その予算を最も活かすには、AIの大きさと、読ませる文章の量を、同じ割合で増やすのがよい。大きさを2倍にするなら、読ませる量も2倍にする、というものです。

たくさん作って、比べた

概念図。点は実際のAIの数や位置ではない

読ませた文章の量 大きさと読ませる量を、同じ割合で増やすのがよい AIの大きさ 読ませた文章の量 大きさと読ませる量を、同じ割合で増やすのがよい AIの大きさ 読ませた文章の量 大きさと読ませる量を、同じ割合で増やすのがよい AIの大きさ
図2大きさと読ませる量を変えたAIを、たくさん作って比べました。結論は、赤い線のように、二つを同じ割合で増やすことでした。

大事なのは、大きさと読ませる量の釣り合いです。片方だけを大きくすると、予算を活かしきれません。

あわせて論文は、当時の大きなAIの多くは、大きさのわりに、読ませる量が大きく足りていなかった、と書いています。釣り合いが、大きさの側に傾きすぎていたのです。

同じ予算で作った、二つのAI

これを確かめるため、研究者たちは、二つのAIを比べました。

一つは、同じ会社がすでに作っていたGopher(ゴーファー)。もう一つは、新しく作ったChinchilla(チンチラ)です。学習に使った計算の予算は、同じです。

小さく作って、たくさん読ませた

実データ。同じ計算の予算で作った、2つのAI

AIの大きさ(パラメータの数) Gopher 2800億 Chinchilla 700億 読ませた文章の量(トークンの数) Gopher 3000億 Chinchilla 1.4兆 実データ。Hoffmann ら(2022)の表1。 学習に使った計算の予算は、同じ。 AIの大きさ(パラメータの数) Gopher 2800億 Chinchilla 700億 読ませた文章の量(トークンの数) Gopher 3000億 Chinchilla 1.4兆 実データ。Hoffmann ら(2022)の表1。 学習に使った計算の予算は、同じ。
図3Chinchilla は Gopher の4分の1の大きさで、約4.7倍の文章を読みました。学習に使った計算の予算は同じです。

図の見方です。上のまとまりは、AIの大きさ(パラメータの数)。下のまとまりは、読ませた文章の量(トークンの数)です。数字は、棒の右に書いてあります。「億」と「兆」に注意してください。1兆は、1億の1万倍です。

上と下では、数えているものが違います。上の棒と、下の棒の長さは、比べないでください。

見てほしいのは、色の付いたChinchillaです。上の大きさではGopherより短く、下の読ませた量ではGopherより長くなっています。大きさは、Gopherの4分の1(2800億に対して700億)。読ませた量は、約4.7倍(3000億に対して1.4兆)。小さく作って、たくさん読ませたのです。

これは、さきほどの「釣り合い」を直したということです。Chinchillaは、パラメータ1個あたり、およそ20トークンを読ませた計算になります(1.4兆÷700億=20)。Gopherは、1個あたり約1トークンでした(3000億÷2800億)。

結果は、Chinchillaの勝ちでした。研究者が試したさまざまなテストで、Gopherを上回り、もっと大きなほかのAI(OpenAIのGPT-3など)も上回りました。幅広い分野の知識を問う試験(MMLU)では、平均の正答率が67.5%で、Gopherを7ポイント以上上回りました。

AIを伸ばす鍵は、大きさだけではなく、決まった予算の中で、大きさと読ませる量をどう配るかです。

それでも、大きさと読ませる量を増やせば伸びる、という基本の傾向は、ここでも確かめられています。気になるのは、その傾向がどこまで続くのか、です。

注意

条件つきの答え

これは、2022年に、決まった条件で出した答えです。比べたのは、文章の続きを予測する力と、いくつかのテストの成績です。

読ませる文章の質や、作ったAIを使うときにかかる費用などは、この比べ方には入っていません。どんな場合にも当てはまる決まりではありません。

最後に、第5回とこの回の考え方を使ってみましょう。

セルフチェック

1. ある会社が「うちのAIは、他社のAIより2倍大きい。だから2倍賢い」と発表しました。第5回とこの回の考え方に沿った読み方として、最も適切なのはどれですか。

今日のまとめ

  • 計算の予算が決まると、AIの大きさと、読ませる文章の量は取り合いになる
  • Chinchillaの研究は、大きさと読ませる量を同じ割合で増やすのがよいと示した。4分の1の大きさで約4.7倍読ませたAIが、大きなAIを上回った
  • ただし、2022年に決まった条件で出した答えで、どんな場合にも当てはまる決まりではない

次の回は、この問いから始めます。大きくすれば賢くなる傾向が、この先も続いたら、AGIにたどり着くのでしょうか。

参考資料

一次資料を表示1件

このレッスンは役に立ちましたか?