Technically Impossible

Lets look at the weak link in your statement. Anything "Technically Impossible" basically means we haven't figured out how yet.

2023-08-28から1日間の記事一覧

GPU無し、コンテナも使わない、RAM=8GBでllama2.c - 実用抜き、モデル生成から推論実行まで

今春、8GBの環境で生成AIがどこまで動くのかを模索していた*1。パフォーマンスを気にしなければ、GPTだろうがDiffusionだろうが、GPUの無いRAM=8GBの環境、PCでもAndroidスマートフォンでも動作はするのだ。ただし推論であれば、という条件付きだった。つま…