…ng LLM on 8GB RAM PC was one of fun activities last year*1. Now, LLM is integrated with a web browser and user can call it locally through browser`s console.developer.chrome.comUser can call Gemini Nano model with API in Google Chrome 128 o…

昨年、RAM=8GBのPC環境上で生成AIを動作させていた*1。約1年が経過し、今やLLMはブラウザに統合され、直接ブラウザ内のコンソールからLLMを呼び出すことのできる時代が到来した。developer.chrome.comGoogle Chromeの場合、Version 128以降から、APIを介してGemini Nanoモデルをブラウザ内のコンソールから呼び出すことができるのだ。小型のLLMとはいえ、昨年、散々試したのと本質的に同じことが、"out-of-the-box…

…hub.com昨年、8GB RAMの環境で事前学習から推論実行までを追体験する、Karapathy/llama2.c*1について投稿した。同様に、小型LLM開発を追体験できるプロジェクトがリリースされた。LLM開発に用いるデータ収集についても、別プロジェクトがリリースされている。フルセットを体験しようと思えば、まずこちらから着手することになる。 github.com 「億ション」買える最低年収は? 維持費も含めて試算してみた news.mynavi.jp維持費を計算すると、1…

…rojection) LLMの学習全体を通して、メモリを大幅に削減する LoRAよりもメモリ効率の良い学習ができる LLaMA 7Bモデルをゼロから学習するには、少なくとも58GBのメモリが必要とされています。 特筆すべきは、7BパラメータのLLaMAモデルを、24GBメモリの民生用GPU（NVIDIA RTX 4090）上で、モデル並列化やアクティベーションのチェックポイント、オフロードなしでゼロから学習できる可能性を示した点です。 github.com arxiv.org

…l Core i5、8GBと、今となっては非力な環境ではあるのだが、使い心地は非常に軽快、快適だ。Ubuntuのコンテナを一つ動作させているのだが、topの出力を見て分かるのは、RAM消費が控えめであることだ。このコンテナでMozcを動作させてる。日本語入力も問題無い。*4 私が購入したモデル、CF-SZ6RDYVSは、Amazonの中古市場では2万円前半程度が相場のようだ。 https://www.amazon.co.jp/s?k=%22CF-SZ6RDYVS%22&rh=…

…"は、RAM搭載量が8GBでも実行可能とし、 RAMを16GB搭載していれば、"gpt-j"も実行可能だ。この投稿では、その手順と実行パフォーマンスを紹介する。テスト環境にはMicrosoft Surface Pro 4と自作のデスクトップPCを用いている。それぞれのスペックに加え、"gpt-2"、"gpt-j"は単一トークン当たりの推論パフォーマンスを示している。 Surface Pro 4 desktop OS Windows 11 Pro 22H2 Windows 11…

…n PC with 8GB RAM. With 16GB RAM, running "gpt-j" is also possible.This post introduces its how-to and performance. Specification of the test machine in this post is Microsoft Surface Pro 4 and the desktop PC with specs below. "gpt-2" and "…

…がある。最低RAM=8GB必要。 x86-64 CPU (with SSE4.2 or newer) and a minimum of 8 GiB memory Python 3.11にはまだ対応していない。 Python 3.8 - 3.10 docs.modular.com Textbooks Are All You Need II: phi-1.5 technical report arxiv.org TinyStories*3では、妥当な英語を出力可能な、最小のモデル…

As I delved into the overview of large-scale language models since the beginning of the year, the budding idea that emerged was that of language generation as a probability theory. There seems to exist a "true" probability model that produc…

年初から大規模言語モデルの概要に触れていくうちに、芽生え始めたアイデアが確率論としての言語生成だった。適切な言葉が出力される「真の」確率モデルが存在しており、大規模言語モデルを真のモデルへ近づけていくようなイメージだ。書籍『大規模言語モデルは新たな知能か』*1には、「圧縮機としての言語モデル」というコラムが掲載されていた。手短に記せば、次のようなことが書かれていた。 言語を生成しているで「あろう」確率分布に基づいた符号化→大規模言語モデル データを生成している確率分布に基づい…

…with only 8GB RAM withuot GPU, be it on a PC or and Android smartphone. This is my finding from generative AI exploration in this spring*1. But there is a condition that inference only. In other words, it was conditional on using a small-sc…

今春、8GBの環境で生成AIがどこまで動くのかを模索していた*1。パフォーマンスを気にしなければ、GPTだろうがDiffusionだろうが、GPUの無いRAM=8GBの環境、PCでもAndroidスマートフォンでも動作はするのだ。ただし推論であれば、という条件付きだった。つまり、誰かが提供してくれる小規模なモデルを用いる前提であり、そのモデルに独自の情報を付与する強化学習に対応することは現実的ではなかった。 そのような現状に微かな希望をもたらしてくれたのが、llama2.cだ…

…False RAM=8GBの場合、swapも作っておく必要がある。 sudo dd if=/dev/zero of=~/work/llama2.c/swap.img bs=1M count=8096 sudo chown 0:0 ~/work/llama2.c/swap.img sudo chmod 600 ~/work/llama2.c/swap.img sudo mkswap ~/work/llama2.c/swap.img sudo swapon ~/work/llam…

…Core i5 + 8GB RAMの環境で、50~60トークン／秒のパフォーマンスだった。 mkdir 20230821 cd 20230821 git clone https://github.com/karpathy/llama2.c.git # model checkpoint # 学習のパラメータ、途中経過を保存したもの。 cd llama2.c wget https://huggingface.co/karpathy/tinyllamas/resolve/main/…

…うだ。 3月にRAM=8GBの環境での動作検証を試し、Androidまで動作させたところで、次の課題は見えていた。 モデルの交換 強化学習によるカスタマイズ 特に前者について参考になりそうな期待を感じて、活動を再開してみようかという気になる。zenn.dev zenn.dev note.com zenn.dev プロジェクトぴあの プロジェクトぴあの作者:山本 弘PHP研究所Amazon最後に読んだのがいつだったのか思い出せないほど、途中からほったらかしにしていた。読書再開。

…only with 8GB RAM without GPU, and its performance. Even Microsoft Surface Pro 4 with specs below can run and output a single image per 10~12min. OS Windows 11 Pro 22H2 CPU Intel Core i7-6650U RAM 8GB Storage SSD: 256GBSD card: 32GB (D driv…

…ごく一般的なRAM=8GBのWindows PCで"intel/openvino-ai-plugins-gimp"をインストールし、動作させるまでの手順を紹介する。コンテナやWSLも用いない。RAM=8GBという、非常に制約のある環境においては、それらを用いるよりも直接動作させた方が良い。直接プログラムを動かすことで、RAM=8GBという制約のある環境においても、SDOVを安定して動作させることができる。コンテナやWSLを用いる場合、それらに対する計算リソースの割り当てをWi…

AI Gimp用AIプラグインとStable Diffusion連携

連休直前が一番好天だった、 なんてことにならないかと心配していたが、明日まで晴天は続く。 AI MLC LLM Gimp用AIプラグインとStable Diffusion連携 デジタル時代における放送制度の在り方に関する検討会 公共放送ワーキンググループ（第7回）配布資料

…ちの端末は、RAM=8GB、あるいは12GBなのだろうか。とりあえずRAM=6GB (Sruface Duo)ではダメなのだった。 pic.twitter.com/vam9VMKTPz— Cider Mitsuya (@snoozelight) March 31, 2023 twitter.com *1:impsbl.hatenablog.jp *2:impsbl.hatenablog.jp *3:clearlinux.org *4:developer.android.com…

…more than 8GB or 12GB RAM is required to hold a model fully on memory.The video at the end of this post shows forced termination by Android OS due to loading failure, not error or crash as programming bug. This is the case of Microsoft Surf…

…ートフォンもRAM=8GB超、場合によっては12GB必要な耳朶になったのかもしれない。Termuxに少し習熟できたのが収穫だった。chmodが有効なのはTermux配下のフォルダに制限される。そのためバイナリをコピーする場合も、Termux配下のフォルダにコピーする必要がある。 日本語が通る大規模言語モデルCerebras-GPTを動かす 自分でモデルを動かすコードを書くということになる transformersモジュールの使い方を知っておくほうがよさそう nowokay.h…

This is the rewriting of the last post*1 especially for Windows user. Although GitHub providing source code introduces building with CMake*2, this post uses Visual Studio instead.CPU for evaluation is Intel Core i7-6700T. This is the relati…

今回の投稿は、先日の投稿*1のWindows編だ。インストール環境がLinuxからWindowsへ変わる以外、使用するプログラムとモデルは、前回と変わらない。Windowsへのインストールに際し、ソースコード提供元のGitHubではCMake*2を用いた方法を紹介しているが、この投稿ではVisual Studioを使用する。検証環境のCPUはIntel Core i7-6700Tだ。第6世代コアでも、低消費電力で、動作周波数も低いモデルだ。さすがにスラスラと回答が出力されるよ…

…r PC with 8GB RAM can run function as ChatGPT at practical level.Just using different program and model from the last time, work procedures are common with. This post introduces the same procedure with "rupeshs/alpaca.cpp"*2.Specification o…

…乗ることで、RAM=8GBの普及機レベルのPCでも、いわゆるChatGPT的な機能を実用レベルで実行できる。使用するプログラムとモデルが異なるだけで、作業手順は前回と変わらない。この投稿では、"rupeshs/alpaca.cpp"*2を用いて、その導入手順を紹介する。検証環境も前回と変わりない。次の環境を用いてる。次のスペックの環境で検証している。 OS Clear Linux 38590*3 CPU Intel Core i5-8250U RAM 8GB Storage …

…動作させるだけならば8GB RAMを搭載したPCでも、8GB swapを活用することで動作させることができる。とりあえず動かし、そのパフォーマンスを確認するのが、今回の投稿だ。次のスペックの環境で検証している。 OS Clear Linux 38590*3 CPU Intel Core i5-8250U RAM 8GB Storage SSD: 256GB 2023年03月23日追記 本文 ggmlのビルド、インストール GPT-J 6Bモデルのダウンロード swapの作成 …

…RAM.Using 8GB swap, it can run on Linux PC with 8GB RAM. This post introduces its how-to and performance. Specification of the test machine in this post is as following. OS Clear Linux 38590*3 CPU Intel Core i5-8250U RAM 8GB Storage SSD: 25…

…ごく一般的なRAM=8GBのWindows PCでSDOVをインストールし、動作させるまでの手順を紹介する。コンテナやWSLも用いない。RAM=8GBという、非常に制約のある環境においては、それらを用いるよりも直接動作させた方が良い。直接プログラムを動かすことで、RAM=8GBという制約のある環境においても、SDOVを安定して動作させることができる。コンテナやWSLを用いる場合、それらに対する計算リソースの割り当てをWindows OSがコントロールする。結果として発生するの…

…only with 8GB RAM without GPU, and its performance. Even Microsoft Surface Pro 4 with specs below can run and output a single image per 10~12min. OS Windows 11 Pro 22H2 CPU Intel Core i7-6650U RAM 8GB Storage SSD: 256GBSD card: 32GB (D driv…