Web Analytics

Technically Impossible

Lets look at the weak link in your statement. Anything "Technically Impossible" basically means we haven't figured out how yet.

AI

OpenAIリリース文書「Video generation models as world simulators」の翻訳

15日、OpenAIは動画生成モデル、Soraを発表した。プロンプトとして与えられたテキストに基づいて生成された動画の品質、ディテールが注目されている。巷にあふれる印象や、断片的な情報を雑多に収集し、鵜呑みにするのではなく、内容を適切に理解したいと考…

論文『Decoding Intentions』、「Private Sector Signaling」の翻訳

OpenAIの内紛*1において、その発端となったとされるのが論文『Decoding Intentions』だ。cset.georgetown.eduしかし、その論文が主張するところ、論文そのものに問題があるわけではない。論文は3つの事例に基づいて、「costly signal」(訳出の詳細について…

論文『Decoding Intentions』、「Executive Summary」の翻訳

OpenAIの内紛*1において、その発端となったとされるのが論文『Decoding Intentions』だ。cset.georgetown.eduしかし、その論文が主張するところ、論文そのものに問題があるわけではない。論文は3つの事例に基づいて、「costly signal」(訳出の詳細について…

OpenAI取締役会宛て書簡の翻訳 - To the Board of Directors at OpenAI

OpenAI社員が、取締役会の解散、Sam AltmanとGreg Brockmanの復帰を要求しているのだという*1。その話題の発端となった書簡がこれだ。Breaking: 505 of 700 employees @OpenAI tell the board to resign. pic.twitter.com/M4D0RX3Q7a— Kara Swisher (@karasw…

イリヤ・スツケヴァー氏インタビュー翻訳 - Ilya: the AI scientist shaping the worldより

youtu.be先週末をにぎわせた話題の一つが、OpenAIのCEO解任だった*1。アルトマンCEO解任の背景、CEOとOpenAI取締役会の間の事情は分からないが、ビジネス上の方向性対立のようなものが報道されている。端的には、 ビジネス拡大の積極論 倫理重視の慎重論 ア…

GPU無し、コンテナもPythonも使わない、RAM=8GBのWindows PCでGPT - ggml編

いわゆる「AI」をPCで運用するには、GPUとVRAMをはじめとする潤沢な計算リソースが求められるところ、推論を実行するだけならばRaspberry Piでも対応できる*1。それが実用的であるかはおいて、普及機レベルのPCでも対応可能だ。"ggerganov/ggml"*2, "gpt-2"…

GPT on Windows PC with 8GB RAM, No GPU, No Container, and No Python - case of ggml

Abstract One of the popular topic in "AI" is GPT (Generative Pre-trained Transformer). Although it usually requires rich computational resources, running it on minimal environment as Raspberry Pi is technically possible now*1. And regardle…

大規模言語モデルは新たな知能か

ChatGPTが発表されて以降、どのような計算によって、生成が可能となるのか、その仕組みを説明する情報はありふれている。その嚆矢となったのはスティーブン・ウルフラムによる、次の記事だっただろう。writings.stephenwolfram.com大量のテキストを学習した…

Generating words using compression algorithms and random data

As I delved into the overview of large-scale language models since the beginning of the year, the budding idea that emerged was that of language generation as a probability theory. There seems to exist a "true" probability model that produ…

圧縮アルゴリズムとランダム・データによる言葉生成

年初から大規模言語モデルの概要に触れていくうちに、芽生え始めたアイデアが確率論としての言語生成だった。適切な言葉が出力される「真の」確率モデルが存在しており、大規模言語モデルを真のモデルへ近づけていくようなイメージだ。書籍『大規模言語モデ…

Llama2.c on PC with 8GB RAM, No GPU, No Container - pretokenization, training and inference

Abstract If performance is not concern, whether it is GPT or Diffusion, they work on a machine with only 8GB RAM withuot GPU, be it on a PC or and Android smartphone. This is my finding from generative AI exploration in this spring*1. But …

GPU無し、コンテナも使わない、RAM=8GBでllama2.c - 実用抜き、モデル生成から推論実行まで

今春、8GBの環境で生成AIがどこまで動くのかを模索していた*1。パフォーマンスを気にしなければ、GPTだろうがDiffusionだろうが、GPUの無いRAM=8GBの環境、PCでもAndroidスマートフォンでも動作はするのだ。ただし推論であれば、という条件付きだった。つま…

Stable Diffusion on Windows PC with 8GB RAM, No GPU, No Container - case of GIMP

Abstract Running "AI" on PC requires rich computational resources as GPU with VRAM, and storage for its model. "bes-dev/stable_diffusion.openvino"*1 made running Stable Diffusion on poor consumer PC. And "intel/openvino-ai-plugins-gimp" al…

GPU無し、コンテナも使わない、RAM=8GBのWindows PCでStable Diffusion - GIMP編

いわゆる「AI」をPCで運用するには、GPUとVRAMをはじめとする潤沢な計算リソースが求められる。Intel OpenVINO*1を利用する"bes-dev/stable_diffusion.openvino"*2が登場し、普及機レベルのPCでも画像生成AIを動作させることができるようになった。 さらに"i…

20230416 The Age of AI has begun

AIが人間を超えることってあるのだろうか。 既に物理的な制約は超えられている。たとえば計算速度だ。 とはいえ飛翔能力だって、走る速さだって動物に劣っているのだし。 人間が優れているのは、おそらく知能以外の何かだよ。 生産性 医療 教育 リスク 用語

Androidで動かすGPT、しかしRAM=6GBでは動かない。

Android NDKを用いてコンパイルすることで、C/C++プログラムをAndroidで実行することができる。つまり、Alpaca.cppのchatプログラムも実行可能ということだ。この投稿では、そのビルドから実行までの作業を紹介する。しかし注意が一つ。作業前にAndroid端末…

GPT on Android - build and run, 6GB RAM is not enough

Abstract Some C/C++ programs can be compiled for Android, and building execution binary of chat in Alpaca.cpp is also possible. This post introduces its procedures to run it on Android. Important note: 8~12GB RAM is required One important …

GPT on Windows PC with 8GB RAM, No GPU, No Container, and No Python - case of alpaca.cpp

This is the rewriting of the last post*1 especially for Windows user. Although GitHub providing source code introduces building with CMake*2, this post uses Visual Studio instead.CPU for evaluation is Intel Core i7-6700T. This is the relat…

GPU無し、コンテナもPythonも使わない、RAM=8GBのWindows PCでGPT - alpaca.cpp編

今回の投稿は、先日の投稿*1のWindows編だ。インストール環境がLinuxからWindowsへ変わる以外、使用するプログラムとモデルは、前回と変わらない。Windowsへのインストールに際し、ソースコード提供元のGitHubではCMake*2を用いた方法を紹介しているが、この…

GPT on Linux PC with 8GB RAM, No GPU, No Container, and No Python - case of alpaca.cpp

2023-03-29 - To Windows user This post is for Linux. For Windows case, please refer the next post. impsbl.hatenablog.jp Abstract The last post*1 indicated unpractical performance as prediction of a single token per a minute. Performance th…

GPU無し、コンテナもPythonも使わない、RAM=8GBのLinux PCでGPT - alpaca.cpp編

IT AI

2023年03月29日 - Windowsユーザー宛 この投稿では、検証環境にClear Linuxを用いている。Windows環境の場合については、次の投稿を参照してほしい。 impsbl.hatenablog.jp 本文 前回の投稿*1で示されたパフォーマンスは、1トークンの推論に1分を要する、と…

GPU無し、コンテナもPythonも使わない、RAM=8GBのLinux PCでGPT

IT AI

2023年03月23日追記 この投稿での事例は、1トークンの推論に約1分を要する。とにかく動作させてみることを念頭にしている。swapを用いず、小規模なモデルをオン・メモリで動作させることで、実用に適うパフォーマンスで動作させることができる。そのような…

GPT on Linux PC with 8GB RAM, No GPU, No Container, and No Python

2023-03-23 Performance of prediction in this post is not practical, a single token per a minute. The next post shows the other case. Its performance is better due to small size language model. If you are interested, please refer to it. imp…

GPU無し、コンテナも使わない、RAM=8GBのWindows PCでStable Diffusion - Anaconda編

2023年05月06日追記 GUIが必要なユーザー宛 この投稿で紹介しているソリューションにはGUIがない。GUIを求めるユーザーには、GIMPプラグインとしてのインストールをおすすめする。導入方法を、次の投稿で紹介している。 ちなみにGUIの有無に関わらず、画像出…

Stable Diffusion on Windows PC with 8GB RAM, No GPU, No Container - case of Anaconda

2023-05-06 To a person needs GUI Solution in this post doesn't provide GUI. If GUI is required, recommend to install as GIMP plugin. The next post introduces its how-to. FYI, regardless of with or without GUI, time for image output has no …

GPU無し、コンテナも使わない、RAM=8GBのWindows PCでStable Diffusion

2023年05月06日追記 GUIが必要なユーザー宛 この投稿で紹介しているソリューションにはGUIがない。GUIを求めるユーザーには、GIMPプラグインとしてのインストールをおすすめする。導入方法を、次の投稿で紹介している。 ちなみにGUIの有無に関わらず、画像出…

Stable Diffusion on Windows PC with 8GB RAM, No GPU, No Container

2023-05-06 To a person needs GUI Solution in this post doesn't provide GUI. If GUI is required, recommend to install as GIMP plugin. The next post introduces its how-to. FYI, regardless of with or without GUI, time for image output has no …