階層ベイズ＆MCMC講義

特定テーマに限定したWikiを立ち上げる必要もなく、ブログの様に私見をまとめる必要もない、

• 講義の予習ノート
• 読書ノート
• メモ

などの雑記帳Wikiから移行した投稿。

YouTubeの階層ベイズ、MCMC講義のノート。

階層ベイズ＆MCMC講義 （久保拓弥）　難易度★★

用語

GLM Generalized Linear Model	一般化線形モデル
GLMM Generalized Linear Mixed Model	一般化線形混合モデル
HBM Hierarchical Bayes Model	階層ベイズモデル
MCMC Markov Chain Monte Carlo
overdispersion	過分散

パラメータ推定法

最小二乗法	線形モデル	データのばらつきが正規分布する前提。
最尤推定法	一般化線形モデル	データに合わせて適切な確率分布を選択する。 データのばらつきが正規分布以外の場合にも対応可能。
	一般化線形混合モデル	変量効果（個体差、場所差など）に対応可能。
MCMC	階層ベイズモデル

一般化線形モデルでは、モデルが複雑化する。→個体差を表すパラメータ数が増える。→パラメータの最尤推定計算負荷が高くなる。

最尤推定の探索

1. グラフ上を移動可能な点qがある。
2. 現在の尤度よりも高いほうへ移動する。
3. 尤度が変化しなくなるまで移動し続ける。→尤度最大

• 個体差があると分散が生じる。
• 個体差の原因は観測できないし、されてもいない。

メトロポリス法の探索

1. qの初期値を選択する。
2. qはランダムに増減する。→変化したqをq_newとする。
3. qとq_newの尤度を比較する。
4. 延々と繰り返すとqの確率分布を得られる。

L(q_new) > L(q)	q_newをqとする。 qが改善した。
L(q_new) < L(q)	qはそのまま。 qが改悪した。

🔎TEX

r = L(q_{new}) / L(q)

確率 r	q_new -> q
確率 1 - r	qはそのまま

MCMCがランダム・サンプリングしているもの→尤度に比例する確率分布
この分布に基づいて、qの平均や信頼区間を求めることができる。

🔎TEX

p(q) = \frac{L(q)}{\sum_q L(q)}

ベイズの公式

🔎TEX

p(q|Y) = \frac{p(Y|q) p(q)} {p(Y)}

p(q|Y)	事後分布 データYのとき、パラメータqが得られる確率。
p(q)	事前分布 パラメータqが得られる確率。
p(Y|q)	パラメータqを決めたときに、データYが得られる確率 尤度に比例する。
p(Y)	データYが得られる確率。

事後分布∝（尤度×事前分布）／データが得られる確率
事後分布∝　尤度×事前分布

ベイズ統計での事後分布	MCMCによって得られる結果。
ベイズ統計での事前分布	データによって事前分布が異なる。 複数種類の事前分布を混ぜて使用する。

事前分布

• 主観的事前分布
• 無情報事前分布
• 階層事前分布

パラメータ

大局的なパラメータ	global parameter	全データに影響する。
局所的なパラメータ	local parameter	特定個体に影響する。

個体差を考慮するモデリング

パラメータの種類	説明範囲	事前分布
全体に共通する平均、ばらつき	大局的	無情報事前分布	事前情報がないので、無情報事前分布外に選択の余地がない。
個体、グループごとのずれ	局所的	階層事前分布	個体ごとに事前分布が異なるので、階層事前分布を選ぶ。