いわゆる「AI」をPCで運用するには、GPUとVRAMをはじめとする潤沢な計算リソースが求められるところ、推論を実行するだけならばRaspberry Piでも対応できる*1。それが実用的であるかはおいて、普及機レベルのPCでも対応可能だ。"ggerganov/ggml"*2, "gpt-2"…

Abstract One of the popular topic in "AI" is GPT (Generative Pre-trained Transformer). Although it usually requires rich computational resources, running it on minimal environment as Raspberry Pi is technically possible now*1. And regardle…

ChatGPTが発表されて以降、どのような計算によって、生成が可能となるのか、その仕組みを説明する情報はありふれている。その嚆矢となったのはスティーブン・ウルフラムによる、次の記事だっただろう。writings.stephenwolfram.com大量のテキストを学習した…

As I delved into the overview of large-scale language models since the beginning of the year, the budding idea that emerged was that of language generation as a probability theory. There seems to exist a "true" probability model that produ…

年初から大規模言語モデルの概要に触れていくうちに、芽生え始めたアイデアが確率論としての言語生成だった。適切な言葉が出力される「真の」確率モデルが存在しており、大規模言語モデルを真のモデルへ近づけていくようなイメージだ。書籍『大規模言語モデ…

Abstract If performance is not concern, whether it is GPT or Diffusion, they work on a machine with only 8GB RAM withuot GPU, be it on a PC or and Android smartphone. This is my finding from generative AI exploration in this spring*1. But …

今春、8GBの環境で生成AIがどこまで動くのかを模索していた*1。パフォーマンスを気にしなければ、GPTだろうがDiffusionだろうが、GPUの無いRAM=8GBの環境、PCでもAndroidスマートフォンでも動作はするのだ。ただし推論であれば、という条件付きだった。つま…

Abstract Running "AI" on PC requires rich computational resources as GPU with VRAM, and storage for its model. "bes-dev/stable_diffusion.openvino"*1 made running Stable Diffusion on poor consumer PC. And "intel/openvino-ai-plugins-gimp" al…

いわゆる「AI」をPCで運用するには、GPUとVRAMをはじめとする潤沢な計算リソースが求められる。Intel OpenVINO*1を利用する"bes-dev/stable_diffusion.openvino"*2が登場し、普及機レベルのPCでも画像生成AIを動作させることができるようになった。 さらに"i…

Android NDKを用いてコンパイルすることで、C/C++プログラムをAndroidで実行することができる。つまり、Alpaca.cppのchatプログラムも実行可能ということだ。この投稿では、そのビルドから実行までの作業を紹介する。しかし注意が一つ。作業前にAndroid端末…

Abstract Some C/C++ programs can be compiled for Android, and building execution binary of chat in Alpaca.cpp is also possible. This post introduces its procedures to run it on Android. Important note: 8~12GB RAM is required One important …

This is the rewriting of the last post*1 especially for Windows user. Although GitHub providing source code introduces building with CMake*2, this post uses Visual Studio instead.CPU for evaluation is Intel Core i7-6700T. This is the relat…

今回の投稿は、先日の投稿*1のWindows編だ。インストール環境がLinuxからWindowsへ変わる以外、使用するプログラムとモデルは、前回と変わらない。Windowsへのインストールに際し、ソースコード提供元のGitHubではCMake*2を用いた方法を紹介しているが、この…

2023-03-29 - To Windows user This post is for Linux. For Windows case, please refer the next post. impsbl.hatenablog.jp Abstract The last post*1 indicated unpractical performance as prediction of a single token per a minute. Performance th…

2023年03月29日 - Windowsユーザー宛 この投稿では、検証環境にClear Linuxを用いている。Windows環境の場合については、次の投稿を参照してほしい。 impsbl.hatenablog.jp 本文 前回の投稿*1で示されたパフォーマンスは、1トークンの推論に1分を要する、と…

2023年03月23日追記 この投稿での事例は、1トークンの推論に約１分を要する。とにかく動作させてみることを念頭にしている。swapを用いず、小規模なモデルをオン・メモリで動作させることで、実用に適うパフォーマンスで動作させることができる。そのような…

2023-03-23 Performance of prediction in this post is not practical, a single token per a minute. The next post shows the other case. Its performance is better due to small size language model. If you are interested, please refer to it. imp…

2023年05月06日追記 GUIが必要なユーザー宛 この投稿で紹介しているソリューションにはGUIがない。GUIを求めるユーザーには、GIMPプラグインとしてのインストールをおすすめする。導入方法を、次の投稿で紹介している。 ちなみにGUIの有無に関わらず、画像出…

2023-05-06 To a person needs GUI Solution in this post doesn't provide GUI. If GUI is required, recommend to install as GIMP plugin. The next post introduces its how-to. FYI, regardless of with or without GUI, time for image output has no …

2023年05月06日追記 GUIが必要なユーザー宛 この投稿で紹介しているソリューションにはGUIがない。GUIを求めるユーザーには、GIMPプラグインとしてのインストールをおすすめする。導入方法を、次の投稿で紹介している。 ちなみにGUIの有無に関わらず、画像出…

2023-05-06 To a person needs GUI Solution in this post doesn't provide GUI. If GUI is required, recommend to install as GIMP plugin. The next post introduces its how-to. FYI, regardless of with or without GUI, time for image output has no …