20230504 - Technically Impossible

連休直前が一番好天だった、
なんてことにならないかと心配していたが、明日まで晴天は続く。

AI
- MLC LLM
- Gimp用AIプラグインとStable Diffusion連携
デジタル時代における放送制度の在り方に関する検討会　公共放送ワーキンググループ（第7回）配布資料

AI

impsbl.hatenablog.jp

MLC LLM

MLC	Machine Learning Compilation

ノートPCやスマホのようなコンシューマークラスのハードウェア、さらにはブラウザで完結する推論AIモデルの開発、最適化、展開を目的とするプロジェクト。

現在対応しているのはWindows, Mac, Linux, iOS端末に対応しており、Androidは今後対応予定だ。
特にiOS端末は6GB以上のRAMを搭載したモデルで動作させることができる。iOSアプリは9000名限定で、TestFlightを介して提供されている。

PCで動作させるにはConda系のPython環境を前提としている。特にWindowsとLinuxではCUDAではなく、Vulkanを導入する必要がある。つまり、現状ではCPUのみでは動作せず、GPUが必要。

github.com
mlc.ai
mlc.ai

Gimp用AIプラグインとStable Diffusion連携

impsbl.hatenablog.jp
github.com

プラグインによるGimpへの機能追加という意味だけでなく、事実上、bes-dev/stable-diffusion-v1-4-openvinoのGUIとして機能する。

🔎install.bat

:<<BATCH
    @echo off
    echo **** openvino-ai-plugins-gimp Setup started **** 
    python -m pip install virtualenv
    python -m virtualenv gimpenv3
    gimpenv3\Scripts\python.exe -m pip install  transformers>=4.21.1 diffusers>=0.14.0 tqdm==4.64.0 openvino==2022.3.0 huggingface_hub streamlit==1.12.0 watchdog==2.1.9 ftfy==6.1.1
    gimpenv3\Scripts\python.exe -m pip install openvino-ai-plugins-gimp\.
    echo *** openvino-ai-plugins-gimp Installed ***
    gimpenv3\Scripts\python.exe -c "import gimpopenvino; gimpopenvino.setup_python_weights()"
    echo **** openvino-ai-plugins-gimp Setup Ended ****
    exit /b
BATCH

https://raw.githubusercontent.com/intel/openvino-ai-plugins-gimp/main/install.bat

"install.bat"は使用せず、仮想環境作成、パッケージ導入、プラグインのインストールは個別に対応した方が良さそうだ。

bes-dev/stable-diffusion-v1-4-openvino*1と同じモデルを利用する。もし構築済みの環境を共用するならば、モデルあてのシンボリックリンクを作成しておけばよいだろう。

%userprofile%\openvino-ai-plugins-gimp\weights\stable-diffusion-ov\stable-diffusion-1.4

Pythonパッケージも基本的に同じものを利用している。"openvino-ai-plugins-gimp\."だけ追加する必要がある。

Stable Diffusion	Plug-in
diffusers==0.2.4	diffusers>=0.14.0
ftfy==6.1.1	ftfy==6.1.1
huggingface_hub==0.9.0	huggingface_hub
numpy
opencv-python==4.5.5.64
openvino==2022.3.0	openvino==2022.3.0
	openvino-ai-plugins-gimp\.
openvino-dev[onnx,pytorch]==2022.3.0
piexif==1.1.3
pillow==9.0.1
scipy<1.9.0
streamlit_drawable_canvas==0.9.1
streamlit==1.12.0	streamlit==1.12.0
tqdm==4.64.0	tqdm==4.64.0
transformers==4.16.2	transformers>=4.21.1
watchdog==2.1.9	watchdog==2.1.9

Gimpのプラグイン設定に、指定されたパス（Python仮想環境のパス）を登録する。

Start the GIMP application, and add the gimpenv3 path that was printed at the end of the install script to the list of plugin folders [Edit-> Preferences-> Folders-> Plugins].