15日、OpenAIは動画生成モデル、Soraを発表した。プロンプトとして与えられたテキストに基づいて生成された動画の品質、ディテールが注目されている。巷にあふれる印象や、断片的な情報を雑多に収集し、鵜呑みにするのではなく、内容を適切に理解したいと考…

OpenAIの内紛*1において、その発端となったとされるのが論文『Decoding Intentions』だ。cset.georgetown.eduしかし、その論文が主張するところ、論文そのものに問題があるわけではない。論文は３つの事例に基づいて、「costly signal」（訳出の詳細について…

OpenAIの内紛*1において、その発端となったとされるのが論文『Decoding Intentions』だ。cset.georgetown.eduしかし、その論文が主張するところ、論文そのものに問題があるわけではない。論文は３つの事例に基づいて、「costly signal」（訳出の詳細について…

OpenAI社員が、取締役会の解散、Sam AltmanとGreg Brockmanの復帰を要求しているのだという*1。その話題の発端となった書簡がこれだ。Breaking: 505 of 700 employees @OpenAI tell the board to resign. pic.twitter.com/M4D0RX3Q7a— Kara Swisher (@karasw…

youtu.be先週末をにぎわせた話題の一つが、OpenAIのCEO解任だった*1。アルトマンCEO解任の背景、CEOとOpenAI取締役会の間の事情は分からないが、ビジネス上の方向性対立のようなものが報道されている。端的には、 ビジネス拡大の積極論 倫理重視の慎重論 ア…

いわゆる「AI」をPCで運用するには、GPUとVRAMをはじめとする潤沢な計算リソースが求められるところ、推論を実行するだけならばRaspberry Piでも対応できる*1。それが実用的であるかはおいて、普及機レベルのPCでも対応可能だ。"ggerganov/ggml"*2, "gpt-2"…

Abstract One of the popular topic in "AI" is GPT (Generative Pre-trained Transformer). Although it usually requires rich computational resources, running it on minimal environment as Raspberry Pi is technically possible now*1. And regardle…

ChatGPTが発表されて以降、どのような計算によって、生成が可能となるのか、その仕組みを説明する情報はありふれている。その嚆矢となったのはスティーブン・ウルフラムによる、次の記事だっただろう。writings.stephenwolfram.com大量のテキストを学習した…

As I delved into the overview of large-scale language models since the beginning of the year, the budding idea that emerged was that of language generation as a probability theory. There seems to exist a "true" probability model that produ…

年初から大規模言語モデルの概要に触れていくうちに、芽生え始めたアイデアが確率論としての言語生成だった。適切な言葉が出力される「真の」確率モデルが存在しており、大規模言語モデルを真のモデルへ近づけていくようなイメージだ。書籍『大規模言語モデ…

Abstract If performance is not concern, whether it is GPT or Diffusion, they work on a machine with only 8GB RAM withuot GPU, be it on a PC or and Android smartphone. This is my finding from generative AI exploration in this spring*1. But …

今春、8GBの環境で生成AIがどこまで動くのかを模索していた*1。パフォーマンスを気にしなければ、GPTだろうがDiffusionだろうが、GPUの無いRAM=8GBの環境、PCでもAndroidスマートフォンでも動作はするのだ。ただし推論であれば、という条件付きだった。つま…

Abstract Running "AI" on PC requires rich computational resources as GPU with VRAM, and storage for its model. "bes-dev/stable_diffusion.openvino"*1 made running Stable Diffusion on poor consumer PC. And "intel/openvino-ai-plugins-gimp" al…

いわゆる「AI」をPCで運用するには、GPUとVRAMをはじめとする潤沢な計算リソースが求められる。Intel OpenVINO*1を利用する"bes-dev/stable_diffusion.openvino"*2が登場し、普及機レベルのPCでも画像生成AIを動作させることができるようになった。 さらに"i…

AIが人間を超えることってあるのだろうか。 既に物理的な制約は超えられている。たとえば計算速度だ。 とはいえ飛翔能力だって、走る速さだって動物に劣っているのだし。 人間が優れているのは、おそらく知能以外の何かだよ。 生産性 医療 教育 リスク 用語

Android NDKを用いてコンパイルすることで、C/C++プログラムをAndroidで実行することができる。つまり、Alpaca.cppのchatプログラムも実行可能ということだ。この投稿では、そのビルドから実行までの作業を紹介する。しかし注意が一つ。作業前にAndroid端末…

Abstract Some C/C++ programs can be compiled for Android, and building execution binary of chat in Alpaca.cpp is also possible. This post introduces its procedures to run it on Android. Important note: 8~12GB RAM is required One important …

This is the rewriting of the last post*1 especially for Windows user. Although GitHub providing source code introduces building with CMake*2, this post uses Visual Studio instead.CPU for evaluation is Intel Core i7-6700T. This is the relat…

今回の投稿は、先日の投稿*1のWindows編だ。インストール環境がLinuxからWindowsへ変わる以外、使用するプログラムとモデルは、前回と変わらない。Windowsへのインストールに際し、ソースコード提供元のGitHubではCMake*2を用いた方法を紹介しているが、この…

2023-03-29 - To Windows user This post is for Linux. For Windows case, please refer the next post. impsbl.hatenablog.jp Abstract The last post*1 indicated unpractical performance as prediction of a single token per a minute. Performance th…

2023年03月29日 - Windowsユーザー宛 この投稿では、検証環境にClear Linuxを用いている。Windows環境の場合については、次の投稿を参照してほしい。 impsbl.hatenablog.jp 本文 前回の投稿*1で示されたパフォーマンスは、1トークンの推論に1分を要する、と…

2023年03月23日追記 この投稿での事例は、1トークンの推論に約１分を要する。とにかく動作させてみることを念頭にしている。swapを用いず、小規模なモデルをオン・メモリで動作させることで、実用に適うパフォーマンスで動作させることができる。そのような…

2023-03-23 Performance of prediction in this post is not practical, a single token per a minute. The next post shows the other case. Its performance is better due to small size language model. If you are interested, please refer to it. imp…

2023年05月06日追記 GUIが必要なユーザー宛 この投稿で紹介しているソリューションにはGUIがない。GUIを求めるユーザーには、GIMPプラグインとしてのインストールをおすすめする。導入方法を、次の投稿で紹介している。 ちなみにGUIの有無に関わらず、画像出…

2023-05-06 To a person needs GUI Solution in this post doesn't provide GUI. If GUI is required, recommend to install as GIMP plugin. The next post introduces its how-to. FYI, regardless of with or without GUI, time for image output has no …

2023年05月06日追記 GUIが必要なユーザー宛 この投稿で紹介しているソリューションにはGUIがない。GUIを求めるユーザーには、GIMPプラグインとしてのインストールをおすすめする。導入方法を、次の投稿で紹介している。 ちなみにGUIの有無に関わらず、画像出…

2023-05-06 To a person needs GUI Solution in this post doesn't provide GUI. If GUI is required, recommend to install as GIMP plugin. The next post introduces its how-to. FYI, regardless of with or without GUI, time for image output has no …