20230423 - Technically Impossible

今日も眠い。
抹茶も効きそうにない。

荷物を減らさないと…

ChatPDF*1的な機能を自作するような内容。
あるいはChatPDFの仕組みはこれなのかもしれない。

チャットＧＰＴは両方のテストで好成績を上げた。記事やツイート、当局者の講演などを取引シグナルへと変換する上で、テクノロジー活用が大きな助けになる可能性を示唆している。

チャットＧＰＴのトレーニングデータには含まれていなかった2021年後半以降のニュースを用いた。

今後の進歩はモデルをさらに大きくすることでは達成できない

「GPT-4」がモデルをより大きくし、そこに大量のデータを供給するというOpenAIの戦略から生まれた最後の主要な成果である可能性を示している。

モデルの規模を拡大することで得られる効果は逓減することを、OpenAIは「GPT-4」を解説する論文で説明している。また、建設できるデータセンターの数や、それらをどれだけ迅速に建設できるかについても物理的な制限があるとアルトマンは指摘している。

その知性の一部はすでに規模ではない要素に起因しているのかもしれない。「ChatGPT」を強化するために使用された人間のフィードバックを伴う強化学習を用いたことが可能性のひとつとして挙げられる。

｢全ての知識が一つのサービスに集約される｣という一神教的な世界ではなく、むしろ｢いろんな組織がいろんな独自の大規模言語モデルを持つ｣という八百万（やおよろず）の神の世界が出現しようとしているように見える。

言語モデルの規模ではなく、その学習を支えるデータの質と量が性能の差別化に繋がる。それぞれのユーザーが、それぞれのデータを学習させることで、それぞれ独自の言語モデル＋AIが登場する。それを「八百万の神」と表現している。