- Scraping access from Singapore
- ベンチマーク
- 指数
- 海外
- 個別
- AI
- 女子大生が100日連続で生成AIで100本のプログラムを書いたらどうなったか？
- 確定申告と国民健康保険
Scraping access from Singapore
 |
 |
トップページを参照し始めた。加えて、いつも月間アーカイブ・ページばかり参照していたところ、日間アーカイブまで参照している。日時ベースでアクセスするつもりなら、そのうちアクセス数も指数的に増加するのかもしれない。
ベンチマーク
| 前日比順 | 年初来順 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
海外
中国、インド、ブラジル
| 香港 | -0.54 | 0.94 | -1.51 |
| 上海 | -0.93 | 1.29 | -1.91 |
| ムンバイ | -0.48 | 0.42 | -1.08 |
| 1309 乖離率 | -1.13 | -1.05 | -0.88 |
| 1325 乖離率 | 2.25 | 1.14 | 0.31 |
| 1678 乖離率 | 0.10 | 0.41 | -0.11 |
| 1309 中国 |
 |
 |
| 1325 ブラジル |
 |
 |
| 1678 インド |
 |
 |
AI
The Era of 1-bit LLMs:All Large Language Models are in 1.58 Bits
https://arxiv.org/pdf/2402.17764.pdfarxiv.org
1-bit LLM
- 全てのパラメータ、重みを{-1, 0, 1}の三値で表現する
- 精度を保ちつつ、効率が向上する
- 計算コスト
- 電力
- メモリ消費
- レイテンシ
| 従来のLLM | 16bit浮動小数点の行列 | 掛け算 足し算 |
| 1-bit LLM | 整数の行列 | 足し算 |
Vanilla LLMs are in 16-bit floating values (i.e., FP16 or BF16), and the bulk of any LLMs is matrix multiplication. Therefore, the major computation cost comes from the floating-point addition and multiplication operations.
the matrix multiplication of BitNet only involves integer addition, which saves orders of energy cost for LLMs. As the fundamental limit to compute performance in many chips is power, the energy savings can also be translated into faster computation.
女子大生が100日連続で生成AIで100本のプログラムを書いたらどうなったか？
生成AIの支援を得るかどうかは、ひとまず置く。100日間なので、実質3か月間、毎日9～10時間程度を費やすというのは、何か一つをモノにしてみる最初の取り組み、その最小単位なのかもしれない。
宮田秀明が言うところの「5000時間の集中」にも通じている。
