Web Analytics

Technically Impossible

Lets look at the weak link in your statement. Anything "Technically Impossible" basically means we haven't figured out how yet.

20230823

https://www.tumblr.com/espio999/100402053998/%E8%87%AA%E5%88%86%E3%82%92%E4%BF%A1%E3%81%98%E3%82%89%E3%82%8C%E3%81%AA%E3%81%84%E4%BA%BA%E3%81%AF%E7%84%A1%E9%A7%84%E3%81%AA%E5%8A%AA%E5%8A%9B%E3%82%92%E3%81%99%E3%82%8B-%E7%84%A1%E9%A7%84%E3%81%AA%E5%8A%AA%E5%8A%9B%E3%81%A8%E3%81%AF%E8%87%AA%E5%88%86%E3%82%92%E4%B8%8D%E5%B9%B8%E3%81%AB%E3%81%99%E3%82%8B%E3%81%9F%E3%82%81%E3%81%AE%E5%8A%AA%E5%8A%9B%E3%81%A0
espio999.tumblr.com





年初来パフォーマンス順前日比順

MSCIコクサイ -0.55% 123.39
日経平均 0.48% 122.67
楽天・全世界 -0.59% 121.47
ひふみワールド -0.67% 121.33
TOPIX 0.50% 120.37
さわかみ 0.55% 119.69
ひふみ投信 0.45% 116.15
日興・海外新興国 0.17% 112.66
ポートフォリオ 0.80% 110.21
大和・グローバルREIT 0.07% 109.35
ひふみらいと 0.08% 101.02

ポートフォリオ 0.80% 110.21
さわかみ 0.55% 119.69
TOPIX 0.50% 120.37
日経平均 0.48% 122.67
ひふみ投信 0.45% 116.15
日興・海外新興国 0.17% 112.66
ひふみらいと 0.08% 101.02
大和・グローバルREIT 0.07% 109.35
MSCIコクサイ -0.55% 123.39
楽天・全世界 -0.59% 121.47
ひふみワールド -0.67% 121.33

TOPIX
日経225JPY
日経225USD
マザーズ
REIT

中国市場、インド市場

impsbl.hatenablog.jp

中国
インド
8月21日 香港ハンセン -1.82 0.95 0.31
上海総合 -1.24 0.88 -0.34
SENSEX30 0.41 0.01 0.33
1309乖離率 -2.72 -2.34 -1.48
1678乖離率 0.60 -0.04 0.49

世界の株価指数と米長期金利 - Yahoo!ファイナンス
ウエルスアドバイザー [ ETF乖離時系列 ]
ウエルスアドバイザー [ ETF乖離時系列 ]

AI

impsbl.hatenablog.jp

karpathy/llama2.c

github.com

「Training」では、物語データをダウンロードし、トークン化の前処理を行う。

I like TinyStories so this is the only example currently available in this repo. But it should be very easy to add datasets, see the code.

物語データとはjsonファイルのことなので、データセットを簡単に追加できるということは、独自のjsonファイルを用意しろ、ということなのだろう。ここは、いろいろと試してみる価値がありそうだ。
まずはダウンロードしたデータを試し、一通り対応した上で、自前のデータで試してみる段取りになるか。

前処理が完了したらトレーニングを実施する。次のように前置きされている様に、”train.py”の内容を確認する必要がある。

See the train.py script for more exotic launches and hyperparameter overrides

デフォルトではGPUで実行する。CPUで実行するには、71行目を書き換える必要がある。

device = "cpu"  # examples: 'cpu', 'cuda', 'cuda:0', 'cuda:1' etc., or try 'mps' on macbooks

次のように言及されているように、パラメータ調整が必要だ。チンチラ論文の該当箇所を抜き出しておいた。

Look at the table at the very end of the Chinchilla paper to get a sense of how the Transformer parameters (dim, n_layers, n_heads) grow or shrink together.