2023年03月23日追記 この投稿での事例は、1トークンの推論に約１分を要する。とにかく動作させてみることを念頭にしている。swapを用いず、小規模なモデルをオン・メモリで動作させることで、実用に適うパフォーマンスで動作させることができる。そのような…