人間には真似できない脅威的な学習量
世間を驚愕させたGPT-3ですが、いったいどうやって作られたのでしょうか？ 実はGPT-3の作り方は単純で、インターネット上に存在する膨大な文章をGPT-3に入力し続けることで、GPT-3に「こういう指示を受けた場合にはこういう返答をする」という関係性をただひたすら学ばせていくのです。
このように、GPT-3を作る発想自体は単純ですが、驚きなのはGPT-3に読み込ませた文章の量です。いったいどのくらいだと思いますか？ 答えは3000億単語という、ちょっと想像もできないような量です。
たとえば、今回の著書『脳と人工知能をつないだら、人間の能力はどこまで拡張できるのか 脳AI融合の最前線』は12万字くらいですから、単語に直すと数千〜数万語くらいでしょう。そう考えると、3000億単語は単純計算で数百万〜数千万冊もの本に相当します。仮に1000万冊とすると、1日1冊の本を読むとしても2万5000年以上かかる計算です。これだけの量を、力業で一つの人工知能に学習させた結果生まれたのがGPT-3なのです。
費用も時間も莫大にかかる人工知能開発
もしかしたら、私たちがこれまでインターネット上に残してきた文章も、GPT-3の学習に利用されているかもしれません。GPT-3は人類がこれまで蓄積してきた膨大な文章を材料として誕生した人工知能であり、私たち自身もGPT-3の誕生に貢献したかもしれないと考えると、少し感慨深くも思います。
ちなみに、GPT-3を作り上げるには膨大な計算量が必要であり、約5億円の費用がかかるそうです。また、これを市販のコンピューターで作ろうとしたら350年以上の時間がかかるとのことであり、もはやGoogleやAmazonレベルの大企業でないとこういった研究は手を出せない時代になりつつあるのかもしれません。
Comment