
前回の最後に、こんな問いを残しました。計算の予算が決まっているとき、AIを大きくするのと、読ませる文章を増やすのと、どちらがよいのでしょうか。
前回は、データ・AIの大きさ・計算の3つのつまみを増やすと、予測の外れ具合が決まった割合で下がる、と見ました(スケーリング則)。
でも、現実には、つまみを全部いくらでも回せるわけではありません。計算には、お金も時間もかかるからです。
予算が決まると、取り合いになる
説明のための例で考えてみます。料理に使えるお金が、1万円と決まっているとします。
大きな鍋にお金をかけるほど、材料に回せるお金は減ります。材料をたくさん買うなら、鍋は小さくなります。大きな鍋を買っても、材料が少なければ、鍋を活かせません。
AIの学習も、これに似ています。計算の予算を決めると、AIを大きくするほど、読ませられる文章の量は減ります。逆に、AIを小さくすれば、同じ予算で、より多くの文章を読ませられます。
図にすると、次のようになります。箱全体が、決まった計算の予算です。赤い線が、二つに分ける仕切りです。
予算の
概念図。
もちろん、AIは鍋ではありません。この例が伝えたいのは、「予算が決まると、片方を増やせば、もう片方が減る」というところだけです。
では、どう配分するのがいちばんよいのでしょうか。
400以上のAIで確かめた
2022年、Google DeepMindの研究者Jordan Hoffmann(ジョーダン・ホフマン)らは、この問いを、たくさんのAIを実際に作って確かめました。大きさが7000万から160億を超えるパラメータまでのAIを、50億から5000億トークンの文章で学習させ、400以上を比べたのです。
ここで出てきたトークンは、AIが文章を読むときの区切りの単位です。おおよそ、単語や、単語のかけらにあたります。
結論は、シンプルでした。計算の予算を増やしていくとき、その予算を最も活かすには、AIの大きさと、読ませる文章の量を、同じ割合で増やすのがよい。大きさを2倍にするなら、読ませる量も2倍にする、というものです。
たくさん
概念図。
大事なのは、大きさと読ませる量の釣り合いです。片方だけを大きくすると、予算を活かしきれません。
あわせて論文は、当時の大きなAIの多くは、大きさのわりに、読ませる量が大きく足りていなかった、と書いています。釣り合いが、大きさの側に傾きすぎていたのです。
同じ予算で作った、二つのAI
これを確かめるため、研究者たちは、二つのAIを比べました。
一つは、同じ会社がすでに作っていたGopher(ゴーファー)。もう一つは、新しく作ったChinchilla(チンチラ)です。学習に使った計算の予算は、同じです。
小さく
実データ。
図の見方です。上のまとまりは、AIの大きさ(パラメータの数)。下のまとまりは、読ませた文章の量(トークンの数)です。数字は、棒の右に書いてあります。「億」と「兆」に注意してください。1兆は、1億の1万倍です。
上と下では、数えているものが違います。上の棒と、下の棒の長さは、比べないでください。
見てほしいのは、色の付いたChinchillaです。上の大きさではGopherより短く、下の読ませた量ではGopherより長くなっています。大きさは、Gopherの4分の1(2800億に対して700億)。読ませた量は、約4.7倍(3000億に対して1.4兆)。小さく作って、たくさん読ませたのです。
これは、さきほどの「釣り合い」を直したということです。Chinchillaは、パラメータ1個あたり、およそ20トークンを読ませた計算になります(1.4兆÷700億=20)。Gopherは、1個あたり約1トークンでした(3000億÷2800億)。
結果は、Chinchillaの勝ちでした。研究者が試したさまざまなテストで、Gopherを上回り、もっと大きなほかのAI(OpenAIのGPT-3など)も上回りました。幅広い分野の知識を問う試験(MMLU)では、平均の正答率が67.5%で、Gopherを7ポイント以上上回りました。
AIを伸ばす鍵は、大きさだけではなく、決まった予算の中で、大きさと読ませる量をどう配るかです。
それでも、大きさと読ませる量を増やせば伸びる、という基本の傾向は、ここでも確かめられています。気になるのは、その傾向がどこまで続くのか、です。
注意
条件つきの答え
これは、2022年に、決まった条件で出した答えです。比べたのは、文章の続きを予測する力と、いくつかのテストの成績です。
読ませる文章の質や、作ったAIを使うときにかかる費用などは、この比べ方には入っていません。どんな場合にも当てはまる決まりではありません。
最後に、第5回とこの回の考え方を使ってみましょう。
セルフチェック
1. ある会社が「うちのAIは、他社のAIより2倍大きい。だから2倍賢い」と発表しました。第5回とこの回の考え方に沿った読み方として、最も適切なのはどれですか。
今日のまとめ
- 計算の予算が決まると、AIの大きさと、読ませる文章の量は取り合いになる
- Chinchillaの研究は、大きさと読ませる量を同じ割合で増やすのがよいと示した。4分の1の大きさで約4.7倍読ませたAIが、大きなAIを上回った
- ただし、2022年に決まった条件で出した答えで、どんな場合にも当てはまる決まりではない
次の回は、この問いから始めます。大きくすれば賢くなる傾向が、この先も続いたら、AGIにたどり着くのでしょうか。