いわゆる「AI」をPCで運用するには、GPUとVRAMをはじめとする潤沢な計算リソースが求められるところ、推論を実行するだけならばRaspberry Piでも対応できる*1。それが実用的であるかはおいて、普及機レベルのPCでも対応可能だ。"ggerganov/ggml"*2, "gpt-2"…

Abstract One of the popular topic in "AI" is GPT (Generative Pre-trained Transformer). Although it usually requires rich computational resources, running it on minimal environment as Raspberry Pi is technically possible now*1. And regardle…

As I delved into the overview of large-scale language models since the beginning of the year, the budding idea that emerged was that of language generation as a probability theory. There seems to exist a "true" probability model that produ…

年初から大規模言語モデルの概要に触れていくうちに、芽生え始めたアイデアが確率論としての言語生成だった。適切な言葉が出力される「真の」確率モデルが存在しており、大規模言語モデルを真のモデルへ近づけていくようなイメージだ。書籍『大規模言語モデ…

Abstract If performance is not concern, whether it is GPT or Diffusion, they work on a machine with only 8GB RAM withuot GPU, be it on a PC or and Android smartphone. This is my finding from generative AI exploration in this spring*1. But …

今春、8GBの環境で生成AIがどこまで動くのかを模索していた*1。パフォーマンスを気にしなければ、GPTだろうがDiffusionだろうが、GPUの無いRAM=8GBの環境、PCでもAndroidスマートフォンでも動作はするのだ。ただし推論であれば、という条件付きだった。つま…

今年はMSX40周年*1なのだという。ITエンジニアをはじめ、現在活躍中の人たちの中には、幼少期にMSXに触れた人たちも多い。またMSXの発案者である西和彦は、IoT機器やスーパーコンピュータとしてMSXを蘇らせようとしている。*2さらにその一環として、往事のMS…

Abstract Wayland*1 is becoming popular as Linux desktop. And Clear Linux is also going for it*2.In migration from X11 to Wayland, user will need to find the alternative solution for ".profile" before anything else. Wayland doesn't initiate…

Linuxでのデスクトップ環境としてWayland*1が一般的になりつつある。そしてClear LinuxもWaylandへ向かっている*2。X11環境からWaylandへの移行において、ユーザーが真っ先に直面するのがログイン時の環境設定だろう。従来、ログイン時に読み込まれていた.pr…

久しぶりに、Googleが公式タブレット端末をリリースした。Pixel Tablet*1だ。この端末の売りの一つが、ホルダーに載せることで機能するスマートディスプレイ機能だ*2。Chromecast*3を利用して、スマートフォンやPCの画面をPixel Tabletの画面へ出力できる。…

OneNote can export its notebooks, sections and pages as a document files. But it doesn't support as exporting different pages to separate document files exporting all pages under a notebook or a section to separate document files And due t…

OneNoteにはエクスポート機能が備わっている。ノート、セクション、ページ、それぞれの単位で1ファイルにエクスポートできるのだが、次のような場合のエクスポートには対応していない。 異なる複数のページを、それぞれ個別のファイルにエクスポートする ノ…

Abstract Adobe Digital Editions (ADE) handles DRM protected documents as ePub and PDF. Usually, they are downloaded from ACS (Adobe Content Server) with ACSM (Adobe Content Server Message). Opening ACSM on ADE and adding the protected docu…

いわゆる「AI」をPCで運用するには、GPUとVRAMをはじめとする潤沢な計算リソースが求められる。Intel OpenVINO*1を利用する"bes-dev/stable_diffusion.openvino"*2が登場し、普及機レベルのPCでも画像生成AIを動作させることができるようになった。 さらに"i…

Abstract Windows can mount ISO file, but user can't specify drive letter in advance of mounting. Its drive letter is dynamically assigned by Windows. If specific drive letter should be assigned, assigned drive letter must be changed after …

Windowsインフラの管理に欠かせない要素技術の一つがWMI (Windows Management Instrumentation)、そして、その作業に用いるのがWMIC utility (Windows Management Instrumentation Command-line utility)だ。しかし、この機能は21H1以降のWindows 10、Window…

Abstract Typical area that is difficult to notice problems is audio playback. Even if it looks playing fine, sometime enhancements as loudness equalization don;t work after updating to Windows 11.Installing Windows 11 in full update instal…

Windows 10 22H2が、Windows 10の最終バージョンになることを、Microsoftが発表した*1。連休直前の発表ということもあり、連休中にWindows 11へのアップデートを検討しているユーザーも多いかもしれない。特に上書きインストールでアップデートする場合、一…

Abstract Google Colaboratory (Colab)*1 is Jupyter notebook environment provided by Google. Mounting Google Drive*2, user can edit files there on Colab.This post introduces procedure to convert MP4 movie to GIF animation. Converting to GIF,…

Google Colaboratory (以下Colab)*1は、Googleが提供するJupyterノートブック環境だ。Google Driveと連携することで、そこに保存されたファイルをColab上で加工することもできる。この投稿では、Google Driveに保存した動画ファイル（MP4ファイル）を加工し…

Abstract I found that a cetain Flatpak application doesn't run. Starting it from command, it crashed and dumped core file due to segmentation fault.In case of Windows, we can check details inside core file with WinDbg*1. In Linux, the same…

気付いたら、とあるFlatpakアプリケーションが起動しなくなっていた。コマンドから起動すると、segmentation faultによりコアダンプを出力していた。Windowsの場合、コアダンプさえあればWinDbgで中身を確認することができる*1。Linuxの場合も、coredumpctl*…

Android NDKを用いてコンパイルすることで、C/C++プログラムをAndroidで実行することができる。つまり、Alpaca.cppのchatプログラムも実行可能ということだ。この投稿では、そのビルドから実行までの作業を紹介する。しかし注意が一つ。作業前にAndroid端末…

Abstract Some C/C++ programs can be compiled for Android, and building execution binary of chat in Alpaca.cpp is also possible. This post introduces its procedures to run it on Android. Important note: 8~12GB RAM is required One important …

This is the rewriting of the last post*1 especially for Windows user. Although GitHub providing source code introduces building with CMake*2, this post uses Visual Studio instead.CPU for evaluation is Intel Core i7-6700T. This is the relat…

今回の投稿は、先日の投稿*1のWindows編だ。インストール環境がLinuxからWindowsへ変わる以外、使用するプログラムとモデルは、前回と変わらない。Windowsへのインストールに際し、ソースコード提供元のGitHubではCMake*2を用いた方法を紹介しているが、この…

BeyondTheBasicStuffWithPython 原題は『Beyond the basic stuff with Python』、初心者状態を超えていくための裏付けとなる知識を紹介している書籍だ。「the basic stuff」が示唆する、いわゆる駆け出しエンジニアのようなプログラマにもおすすめだが、むし…

2023-03-29 - To Windows user This post is for Linux. For Windows case, please refer the next post. impsbl.hatenablog.jp Abstract The last post*1 indicated unpractical performance as prediction of a single token per a minute. Performance th…

2023年03月29日 - Windowsユーザー宛 この投稿では、検証環境にClear Linuxを用いている。Windows環境の場合については、次の投稿を参照してほしい。 impsbl.hatenablog.jp 本文 前回の投稿*1で示されたパフォーマンスは、1トークンの推論に1分を要する、と…

2023年03月23日追記 この投稿での事例は、1トークンの推論に約１分を要する。とにかく動作させてみることを念頭にしている。swapを用いず、小規模なモデルをオン・メモリで動作させることで、実用に適うパフォーマンスで動作させることができる。そのような…