言語モデルの「べき乗則」の発見
訓練データとモデルサイズを大きくしていく過程で、2020年1月にジョンズ・ホプキンズ大学とオープンAIの研究者たちは、言語モデルにおける「べき乗則」を発見した。
それはつまり、訓練データを増やせば増やすほど、モデルサイズを大きくすればするほど、学習時の投入計算量を増やすほど、言語モデルの性能は改善されることが分かったのである。
これにより、投資対効果が前もって予測できること、モデルサイズを大きくすればするほど性能が上がることを前提に、企業や研究機関の大規模言語モデルの開発に拍車がかかった。
モデルサイズを大きくしていく中で、それまでまったく解けなかった問題がある時点から、急に解けるようになる現象が起きるようになった。これを「創発」と呼んでいる。
たとえば、質問応答や簡単な足し算、論理思考を必要とする問題を解くことや、プロンプトによってこれまで学習した結果とは異なる新しい情報を仮に受け入れること、抽象的な概念を扱えるようになることが、あるパラメータ数以上で「創発」する。
大規模言語モデルはどのように動いているのか、著者はニューラルネットワークを使ったディープラーニング（深層学習）について解説。データの流れ方を学習し、短期記憶を実現する「自己注意機構」と、これまでの学習の長期記憶にもとづく「MLPブロック」と呼ばれる単位を交互に重ねていき、データを処理する「トランスフォーマー」というモデルが大規模言語モデルを実現したそうだ。
さらに人間に寄り添う生成のための「目標駆動学習」を通じて、大規模言語モデルにどのような対話が良いのか悪いのか、価値観や考え方を教え込んだ。こうした部分は人に対する教育によく似ているところがあるという。