Technically Impossible

Lets look at the weak link in your statement. Anything "Technically Impossible" basically means we haven't figured out how yet.

トップ > 学習 > PYR102 week 5, 6 検定

PYR102 week 5, 6 検定

学習 裏紙ノート R

特定テーマに限定したWikiを立ち上げる必要もなく、ブログの様に私見をまとめる必要もない、

  • 講義の予習ノート
  • 読書ノート
  • メモ

などの雑記帳Wikiから移行した投稿。

統計クラスの予習ノート。

用語

acceptance region 採択域
critical region 棄却域
goodness of fit test 適合度検定
hypothesis 仮説
pooled variance プールした分散
power
power of test		 検出力
rejection region 棄却域
regression 回帰
significance level 有意水準
statistical test 統計的検定
test statistic 検定統計量

パラメトリックとノンパラメトリック

パラメトリック parametric 解析対象データが、何らかの分布に由来する。
ノンパラメトリック non-parametric 解析対象データに、一切の分布を仮定しない。
母集団の分布を仮定しない。
パラメトリック検定 パラメーター（μ、σなど）を利用する。
ノンパラメトリック検定 データの順位、順序尺度を利用する。
パラメトリック検定が不適切な場合に利用する。

パラメトリック検定が不適切な場合

  • データ数が少ない。
  • データが従う分布を仮定できない。

https://data-science.gr.jp/theory/tbs_parametric.html

帰無仮説と対立仮説

帰無仮説＝無に帰す（棄却する）ための仮説
帰無仮説は、否定するためにある？

帰無仮説 AはBに等しい、AとBに差はない...
対立仮説 帰無仮説を否定する。
AとBは違う、AとBは差がある...
等しいこと、差がないことを証明するのは簡単。 事象は一つ、一つでも反例を見つければ成り立たない。
違いがあることを証明するのは難しい。 「違い」のパターンは無限に存在する。
帰無仮説が成り立つことが証明される。 対立仮説が棄却される。
帰無仮説がn成り立たないことが証明される。 対立仮説が支持される。

有意水準とP値

有意水準 α p(reject|H0)
有意確率 P 帰無仮説が正しいという条件の下で、今回得られた「統計量の実現値」以上に極端な「統計量」が観測される確率

P値＝p(H1|H0)ということ？

P値は3つの異なる確率の合計値

確率１ 対象となる事象のもの
確率２ 同確率の異なる事象のもの
確率３ より少ない確率の事象のもの
無限回の試行を実施し、有意水準以上の確率で生じた事象 確率通りに生じた事象と見なす。
無限回の試行を実施し、有意水準未満の確率で生じた事象 偶然発生した、例外的事象とみなす。
めったに起こらない事象が発生した。

P値が優位水準未満であること（p < α）＝めったに起こらない事象が発生した。→帰無仮説は正しくない。
P値が小さい→有意差を検出した。


StatQuest: P Values, clearly explained

p値(有意確率)と有意水準を具体例から解説！有意水準を設定するタイミングについて｜アタリマエ！

信頼区間

次のプロセスを何度も繰り返す。繰り返しの95%は、真の値を含む信頼区間が得られる。

  1. データを観測する。
  2. データを分析する。
  3. 95%信頼区間を求める。
信頼度が高い 区間が長い 取りこぼしの確率が小さい 標準誤差が大きい
信頼度が低い 区間が短い 取りこぼしの確率が大きい 標準誤差が小さい

同じ信頼度で、より信頼区間が短い。→推定の不確実性が小さい。

プールした＊＊

  • 母集団の等しい、複数の標本群が存在する。
  1. 各群ごとに母集団の＊＊を推定する方法。
  2. 全群のデータを合わせて母集団の＊＊を推定する方法。

後者の方が精度の良好な推定ができる。

プールする。 各群ごとの＊＊を求め、それらを合算する。

母分散が等しい、複数の標本群から、各群の＊＊を求め、合計し、自由度で割った値。
＊＊の平均値になる。

pooled standard deviation プールした標準偏差
pooled variance プールした分散
標本１ サイズ m
^ 偏差 s1
標本２ サイズ n
^ 偏差 s2

σ = \frac{(m - 1)s_{1} + (n - 1)s_{2}}{(m + n - 2)} \\ σ^2 = \frac{{(m - 1){s_{1}}^2 + (n - 1){s_{2}}^2}}{(m + n - 2)}

🔎TEX

σ = \frac{(m - 1)s_{1} + (n - 1)s_{2}}{(m + n - 2)} \\
σ^2 = \frac{{(m - 1){s_{1}}^2 + (n - 1){s_{2}}^2}}{(m + n - 2)}


仮説検定

null hypothesis 帰無仮説 ～は**である。 H0
alternative hypothesis 対立仮説 ～は**ではない。
not H0		 H1
検定結果のP値 有意水準以上 帰無仮説が採用され、対立仮説が棄却される。
^ 有意水準未満 帰無仮説が棄却され、対立仮説が支持される。
第一種の過誤
生産者危険		 error of the first kind
type 1 error		 本当は帰無仮説がtrueなのに、帰無仮説をfalseとしてしまう。
誤って帰無仮説が棄却される。
第二種の過誤
消費者危険		 error of the second kind
type 2 error		 本当は帰無仮説がfalseなのに、帰無仮説をtrueとしてしまう。
誤って帰無仮説を採用してしまう。
H0がtrue H0がfalse
H1がtrue
H0を採択 正しい 第二種過誤
H0を棄却
H1を採択		 第一種過誤 正しい
第一種過誤が起こる確率 α
有意水準
第二種過誤が起こる確率 確率は不明
β
H0が正しくないときに、H0を棄却する確率 １－β
検出力
H0を採択する場合 信頼性が弱い結論 正しい確率 不明
^ ^ 誤りの確率 不明
H0を棄却し、H1を採択する場合 信頼性がある強い結論 正しい確率 １－α以上
^ ^ 誤りの確率 α以下
優位水準を上げる。 第一種過誤が起こりやすい。
優位水準を下げる。 第一種過誤が起こりにくい。
第二種過誤が起こりやすい。

検定の非対称性

  • 検定は帰無仮説を否定し、対立仮説の正しさを立証できる。
  • 検定は帰無仮説の正しさを立証することはできない。

仮設検定の手順

  1. 仮説を定義する。
  2. 有意水準αを設定する。
  3. 検定を実施する。
  4. 自由度を設定する。
  5. P値を得る。
  6. 検定
p >= α H0が採用され、H1が棄却される。
p < α H0が棄却され、H1が支持される。

正規性の検定

正規分布を確認する方法。

視覚的に確認する。 ヒストグラム
QQプロット
分布の左右差を検定する。
正規性の検定 シャピロ・ウィルク検定

シャピロ・ウィルク検定

標本が正規分布しているかを検定する。
母集団が正規分布する前提で、母分散と標本分散の割合を検定している？

H0 標本は正規分布している。
H1 not H0
標本は正規分布していない。
p >= α 正規分布である。
分布に左右差がない。
p < α 正規分布ではない。
分布に左右差がある。
標本 確率変数 x
^ サイズ n
^ 平均 X

W = \frac{\sum{(a_i x_i)^2}}{\sum{(x_i-X)^2}}

🔎TEX

W = \frac{\sum{(a_i x_i)^2}}{\sum{(x_i-X)^2}}


シャピロ–ウィルク検定 - Wikipedia

R, Python
R shapiro.test function - RDocumentation
Python scipy.stats.shapiro — SciPy v1.10.1 Manual

平均値の検定

母平均と標本平均の差を検定する。
母平均と標本平均に差があるか、差がないかを検定する。

H0 母平均はμである。
H1 not H0
母平均はμではない。
|z| < zα H0が採用され、H1が棄却される。
|z| >= zα H0が棄却され、H1が支持される。
p > α H0が採用され、H1が棄却される。
p <= α H0が棄却され、H1が支持される。
母集団 平均 μ
^ 偏差 σ
標本 サイズ n
^ 平均 x
^ 偏差 s

片側検定

標本平均 > 母平均の場合

z = \frac{x - μ}{ \frac{σ}{ \sqrt{n} } } \\ x = μ + z( \frac{σ}{ \sqrt{n} } )

🔎TEX

z = \frac{x - μ}{ \frac{σ}{ \sqrt{n} } } \\
x = μ + z( \frac{σ}{ \sqrt{n} } )

z < zα H0が採用され、H1が棄却される。
z >= zα H0が棄却され、H1が支持される。
標本平均 < 母平均の場合

z = \frac{x - μ}{ \frac{σ}{ \sqrt{n} } } \\ x = μ - z( \frac{σ}{ \sqrt{n} } )

🔎TEX

z = \frac{x - μ}{ \frac{σ}{ \sqrt{n} } } \\
x = μ - z( \frac{σ}{ \sqrt{n} } )

z > zα H0が採用され、H1が棄却される。
z <= zα H0が棄却され、H1が支持される。

両側検定

z = \frac{x - μ}{ \frac{σ}{ \sqrt{n} } } \\ x = μ ± z( \frac{σ}{ \sqrt{n} } )

🔎TEX

z = \frac{x - μ}{ \frac{σ}{ \sqrt{n} } } \\
x = μ ± z( \frac{σ}{ \sqrt{n} } )

-zα < z < zα H0が採用され、H1が棄却される。
z < zα
z > zα		 H0が棄却され、H1が支持される。

t検定

標本数が少なく（30未満）、母集団の分散が不明な場合、t分布に基づいて検定する。

検定の前提

H0 母平均はμである。
H1 not H0
母平均はμではない。
p > α H0が採用され、H1が棄却される。
p <= α H0が棄却され、H1が支持される。
母集団 偏差 σ
標本 サイズ n
^ 平均 x
^ 偏差 s

t = \frac{x - μ}{ \frac{s}{ \sqrt{n} } } \\ x = μ - t( \frac{s}{ \sqrt{n} } )

🔎TEX

t = \frac{x - μ}{ \frac{s}{ \sqrt{n} } } \\
x = μ - t( \frac{s}{ \sqrt{n} } )


母平均の差の検定

２つの母集団の母平均の差を検定する。
２つの母集団の母平均に差があるか、差がないかを検定する。

H0 ２つの母平均に差がない。
２つの母平均の差はδである。
H1 not H0
２つの母平均に差がある。
２つの母平均の差はδではない。
p > α H0が採用され、H1が棄却される。
p <= α H0が棄却され、H1が支持される。
母集団１ 偏差 σ1
^ 平均 μ1
母集団２ 偏差 σ2
^ 平均 μ2
母平均の差 δ
標本１ サイズ n1
^ 平均 x1
標本２ サイズ n2
^ 平均 x2

z = \frac{x_1 - x_2 - δ}{ \sqrt{ \frac{σ_{1}^2}{n_1} + \frac{ {σ_{2}}^2 }{n_2} } }

🔎TEX

z = \frac{x_1 - x_2 - δ}{ \sqrt{ \frac{σ_{1}^2}{n_1} + \frac{ {σ_{2}}^2 }{n_2} } }


母集団１ 平均 μ1
母集団２ 平均 μ2
母平均の差 δ
標本１ サイズ n1
^ 平均 x1
^ 偏差 s1
標本２ サイズ n2
^ 平均 x2
^ 偏差 s2

スチューデントのt検定

2標本の平均の差を検定する。
2標本の平均に差があるか、差がないかを検定する。

スチューデントのt検定の前提

  • 母集団は正規分布する。
  • 2つの母集団の分散が等しい。
H0 2標本の母平均は等しい。
2標本の母平均に差はない
H1 not H0
2標本の母平均は等しくない。
2標本の母平均に差がある。
p > α H0が採用され、H1が棄却される。
p <= α H0が棄却され、H1が支持される。
母集団１ 平均 μ1
母集団２ 平均 μ2
標本１ サイズ n1
^ 平均 x1
標本２ サイズ n2
^ 平均 x2
プールした分散 s^2

t = \frac{x1 - x2}{ s \sqrt{ \frac{1}{n_1} + \frac{1}{n_2} } } \\ s^2 = \frac{ (n_{1} - 1){s_{1}}^2 + (n_{2} - 1){s_{2}}^2 }{ n_{1} + n_{2} - 2 }

🔎TEX

t = \frac{x1 - x2}{ s \sqrt{ \frac{1}{n_1} + \frac{1}{n_2} } } \\
s^2 = \frac{ (n_{1} - 1){s_{1}}^2 + (n_{2} - 1){s_{2}}^2 }{ n_{1} + n_{2} - 2 }


R, Python
R t.test function - RDocumentation var.equal=True, paired=trueとして実行する。
Python scipy.stats.ttest_ind — SciPy v1.10.1 Manual equal_val=Trueとして実行する。

ウェルチのt検定

２つの母平均の差を検定する。
母平均ともう一方の母平均に差があるか、差がないかを検定する。

ウェルチのt検定の前提

  • 母集団は正規分布する。
  • 2つの母集団の分散が不明。
H0 ２つの母平均は等しい。
２つの母平均に差はない
H1 not H0
２つの母平均は等しくない。
２つの母平均に差がある。
p > α H0が採用され、H1が棄却される。
p <= α H0が棄却され、H1が支持される。
母集団１ 平均 μ1
母集団２ 平均 μ2
標本１ サイズ n1
^ 平均 x1
^ 偏差 s1
標本２ サイズ n2
^ 平均 x2
^ 偏差 s2

t = \frac{ x_{1} - x_{2} }{ \sqrt{ \frac{ s_{1}^2 }{ n_{1} } + \frac{ {s_{2}}^2 }{ n_{2} } } } \\ df = \frac{ ( \frac{ {s_{1}}^2 }{ n_{1} } )^2 + ( \frac{ {s_{2}}^2 }{ n_{2} } )^2 }{ \frac{ {s_{1}}^4 }{ {n_{1}}^{2(n_{1} - 1)} } + \frac{ {s_{2}}^4 }{ {n_{2}}^{2(n_{2} - 1)} } }

🔎TEX

t = \frac{ x_{1} - x_{2} }{ \sqrt{ \frac{ s_{1}^2 }{ n_{1} } + \frac{ {s_{2}}^2 }{ n_{2} } } } \\
df = \frac{ ( \frac{ {s_{1}}^2 }{ n_{1} } )^2 + ( \frac{ {s_{2}}^2 }{ n_{2} } )^2 }{ \frac{ {s_{1}}^4 }{ {n_{1}}^{2(n_{1} - 1)} } + \frac{ {s_{2}}^4 }{ {n_{2}}^{2(n_{2} - 1)} } }


R, Python
R t.test function - RDocumentation var.equal=False, paired=Falseとして実行する。
Python scipy.stats.ttest_ind — SciPy v1.10.1 Manual equal_val=Falseとして実行する。

対応のあるt検定

対応する２標本の平均の差を検定する。
対応する２標本の平均に差があるか、差がないかを検定する。

H0 ２標本の平均は等しい。
２標本の平均に差はない
H1 not H0
２標本の平均は等しくない。
２標本の平均に差がある。
p > α H0が採用され、H1が棄却される。
p <= α H0が棄却され、H1が支持される。
標本１ サイズ n
^ 平均 x1
標本２ サイズ n
^ 平均 x2
対応する２標本変数の差の平均 d
対応する２標本変数の差の偏差 s

t = \frac{ d }{ \frac{s}{ \sqrt{n} } }

🔎TEX

t = \frac{ d }{ \frac{s}{ \sqrt{n} } }


R, Python
R t.test function - RDocumentation paired=trueとして実行する。
Python scipy.stats.ttest_rel — SciPy v1.10.1 Manual

分散の検定

F検定

２標本の分散の差を検定する。
２標本の分散に差があるか、差がないかを検定する。

H0 ２標本の分散は等しい。
H1 not H0
２標本の分散は等しくない。
p > α H0が採用され、H1が棄却される。
p <= α H0が棄却され、H1が支持される。
母集団１ 平均 μ1
^ 分散 μ1
母集団２ 平均 μ2
^ 分散 μ2
標本１ サイズ n1
^ 平均 x1
^ 偏差 s1
標本２ サイズ n2
^ 平均 x2
^ 偏差 s2

S_{1} > S_{2} \\ F = \frac{ {S_{1}}^2 }{ {S_{2}}^2 }

🔎TEX

S_{1} > S_{2} \\
F = \frac{ {S_{1}}^2 }{ {S_{2}}^2 }


R, Python
R var.test function - RDocumentation
Python scipy.stats.f — SciPy v1.10.1 Manual

バートレット検定

複数標本の母分散の差を検定する。
複数標本の母分散に差があるか、差がないかを検定する。
母分散の均一性を検定する。

母集団の分布が正規分布、あるいはそれに近い分布をしていること。

H0 複数標本の分散は等しい。
H1 not H0
複数標本の分散は等しくない。
p > α H0が採用され、H1が棄却される。
p <= α H0が棄却され、H1が支持される。

https://data-science.gr.jp/theory/tst_bartlett_test.html

R, Python
R bartlett.test function - RDocumentation
Python scipy.stats.bartlett — SciPy v1.10.1 Manual

母比率の検定

母比率と標本比率の差を検定する。
母比率と標本比率に差があるか、差がないかを検定する。

母比率 母集団中で、注目する特質を持つ割合。
標本比率 標本中で、注目する特質を持つ割合。
H0 母比率と標本比率は等しい。
H1 not H0
母比率と標本比率は等しくない。
p > α H0が採用され、H1が棄却される。
p <= α H0が棄却され、H1が支持される。
母集団 母比率 P
標本 サイズ n
^ 性質Aの数 r
^ 標本比率 r / n

nが大きい時、rの確率分布は二項分布である。

分布rの平均値 nP
分布rの標準偏差 sqrt(nP(1 - P))

r - z \sqrt{nP(1 - P)} < nP < r + z \sqrt{nP(1 - P)} \\ \frac{r}{n} - z \sqrt{ \frac{P(1 - P)}{n} } < P < \frac{r}{n} + z \sqrt{ \frac{P(1 - P)}{n} }

🔎TEX

r - z \sqrt{nP(1 - P)} < nP < r + z \sqrt{nP(1 - P)} \\
\frac{r}{n} - z \sqrt{ \frac{P(1 - P)}{n} } < P < \frac{r}{n} + z \sqrt{ \frac{P(1 - P)}{n} }

母比率pが不明の場合、標本比率r / nを代用する。p = r / nとすると、
p - z \sqrt{ \frac{P(1 - P)}{n} } < P < p + z \sqrt{ \frac{P(1 - P)}{n} }

🔎TEX

p - z \sqrt{ \frac{P(1 - P)}{n} } < P < p + z \sqrt{ \frac{P(1 - P)}{n} }


母比率の差の検定

母集団の等しい、複数の標本群について、標本比率の差を検定する。
標本比率に差があるか、差がないかを検定する。

H0 標本比率は等しい。
H1 not H0
標本比率は等しくない。
p > α H0が採用され、H1が棄却される。
p <= α H0が棄却され、H1が支持される。
母集団 母比率 P
標本 群の数 i
標本i サイズ ni
^ 性質の数 xi
^ 標本比率 xi / ni
^ iの場合の母比率 Pi

{\chi}^2 = \sum{ \frac{ (x_{i} - n_{1} P_{i})^2 }{ n_{i} P_{i} (1 - P{i}) } }

🔎TEX

{\chi}^2 = \sum{ \frac{ (x_{i} - n_{1} P_{i})^2 }{ n_{i} P_{i} (1 - P{i}) } }

Pの推定値として、(x 1 + x2 + x3 + ... + xk) / (n1 + n2 + n3 + ... + nk)を代用すると、
{\chi}^2 = \sum{ \frac{ (x_{i} - n_{1} P)^2 }{ n_{i} P (1 - P) } }

🔎TEX

{\chi}^2 = \sum{ \frac{ (x_{i} - n_{1} P)^2 }{ n_{i} P (1 - P) } }


標本群の例

母集団 患者
性質 喫煙
標本 群の数 i 4
標本群1 サイズ n1 86
^ 喫煙者数 x1 80
標本群2 サイズ n2 93
^ 喫煙者数 x2 90
標本群3 サイズ n3 136
^ 喫煙者数 x3 129
標本群4 サイズ n4 82
^ 喫煙者数 x4 70
Pの推定値 P (80 + 90 + 129 + 80) / (86 + 93 + 136 + 82)

カイ二乗検定 適合度検定

母集団の等しい、複数の標本群について、母集団の理論値（母比率）と、複数の標本の観測値（標本比率）の差を検定する。
母手段の理論値（母比率）と、標本の観測値（標本比率）に差があるか、差がないかを検定する。

H0 母集団の理論値と、標本の観測値は等しい。
H1 not H0
母集団の理論値と、標本の観測値は等しくない。
p > α H0が採用され、H1が棄却される。
p <= α H0が棄却され、H1が支持される。
母集団 カテゴリの数 i
^ 期待度数 Ei
標本 観測度数 Oi

\chi^2 = \sum{ \frac{ (O_{i} - E_{i})^2 }{ E_{i} } }

🔎TEX

\chi^2 = \sum{ \frac{ (O_{i} - E_{i})^2 }{ E_{i} } }


問題点

  • 標本サイズが大きくないと、検定の正当性が保たれない。
    • 標本サイズが大きくなると、標本平均は母平均へ近づく。観測値（標本比率）も母集団の理論値（母比率）へ近づく。
  • 標本サイズが大きくなると、平均値周辺が盛り上がり、すそ野が低く、広くなる。
    • 両側検定の棄却域が平均値周辺に近づいてくる。→採択域が狭まり、棄却域が広がる。
  • 標本サイズが大きくなると、帰無仮説が棄却されやすくなる。
    • わずかな違い、わずかな誤差が、帰無仮説の棄却に繋がる。

標本サイズが大きく、検出力が高いのに、帰無仮説が棄却されない場合

  • 帰無仮説は正しい。母集団の理論値は標本の観測値に適合している。
  • 観測値は理論値と矛盾しない。

R, Python

R chisq.test function - RDocumentation 適合度検定、独立性検定の両方に対応している。
第一引数がmatrixの場合、独立性検定になる。
Python scipy.stats.chisquare — SciPy v1.10.1 Manual

66. カテゴリデータの検定

カイ二乗検定　独立性の検定

属性A、Bについて

AとBは独立 P(AB) = P(A) P(B)
独立している 関連がない
独立していない 関連がある

複数の属性について、属性同士に関連があるかを検定する。
複数の属性について、属性同士が独立であるかを検定する。

H0 属性同士に関連がない。
属性同士は独立である。
P(AB) = P(A) P(B)
H1 not H0
属性同士に関連がある。
属性同士は独立ではない。
P(AB) ≠ P(A) P(B)
母集団 属性Aの数 i
^ 属性Bの数 j
^ 期待度数 Eii
標本 観測度数 Oij
B1 B2 ... Bn total
A1 x11 x12 ... x1n a1
A2 X21 x22 ... X2n a2
... ... ... ... ... ...
Am xm1 xm2 ... xmn am
total b1 b2 ... bn N

E_{ij} = N p(A_{i}) p(B_{j}) ≒ N (a_{1} / N) (b_{j} / N) \\ \chi^2 = \sum_{ij}\frac{ (O_{ij} - E_{ij})^2 }{ E_{ij} } \\ df = (m - 1) (n - 1)

🔎TEX

E_{ij} = N p(A_{i}) p(B_{j}) ≒ N (a_{1} / N) (b_{j} / N) \\
\chi^2 = \sum_{ij}\frac{ (O_{ij} - E_{ij})^2 }{ E_{ij} } \\
df = (m - 1) (n - 1)


R, Python

R chisq.test function - RDocumentation 適合度検定、独立性検定の両方に対応している。
第一引数がmatrixの場合、独立性検定になる。
Python scipy.stats.chi2_contingency — SciPy v1.10.1 Manual

ウィルコクソンの順位和検定

独立した標本群について、各標本の中央値の差を検定する。
独立した標本群について、各標本の中央値に差があるか、差がないかを検定する。

H0 各標本の中央値は等しい。
H1 not H0
各標本の中央値は等しくない。
p > α H0が採用され、H1が棄却される。
p <= α H0が棄却され、H1が支持される。

N1 < N2とする。

小標本
標本群1		 サイズ N1
^ 観測値 X1
大標本
標本群2		 サイズ N2
^ 観測値 X2
標本群1 x11, x12, x13, ..., x1N1
標本群2 x21, x22, x23, ..., x2N2

標本群を1系列にまとめ、小さい順に順位付けする。
同順位に複数の標本が存在する場合は、平均を順位とする。
7位に3標本データ存在する場合、3標本データの順位は(7 + 8 + 9) / 3 = 8。

標本群 x11, x21, x22, x12, x13, x23, ..., x1N1, x2N2
順位 r11, r21, r22, r12, r13, r23, ..., r1N1, r2N2
標本群1の順位 r11, r12, r13, ..., r1N1
標本群2の順位 r21, r22, r23, ..., r2N1

T = \sum{r_{1}} \\ \mu = \frac{ N_{1} (N_{1} + N_{2} + 1) }{2} \\

🔎TEX

T = \sum{r_{1}} \\
\mu = \frac{ N_{1} (N_{1} + N_{2} + 1) }{2} \\

同順位が存在しない場合
\sigma^2 = \frac{ N_{1} N_{2} (N_{1} + N_{2} + 1) }{ 12 }

🔎TEX

\sigma^2 = \frac{ N_{1} N_{2} (N_{1} + N_{2} + 1) }{ 12 }

同順位が存在する場合
小標本のサイズが検定量として採用される。
jは同順位となったデータのグループ数。Tjは該当グループのデータ数。
\sigma^2 = \frac{ N_{1} N_{2} (N_{1} + N_{2} + 1) }{ 12 } - \frac{ N_{1} N_{2} }{ 12 (N_{1} + N_{2}) (N_{1} + N_{2} - 1) \sum{{T_{j}}^3} }- T_{j} \\ Z = \frac{ T - \mu }{ \sigma } \\ \mu - Z \sigma < T < \mu + Z \sigma

🔎TEX

\sigma^2 = \frac{ N_{1} N_{2} (N_{1} + N_{2} + 1) }{ 12 } - \frac{ N_{1} N_{2} }{ 12 (N_{1} + N_{2}) (N_{1} + N_{2} - 1) \sum{{T_{j}}^3} }- T_{j} \\
Z = \frac{ T - \mu }{ \sigma } \\
\mu - Z \sigma < T < \mu + Z \sigma


R

wilcox.test function - RDocumentation
順位和検定、符号順位和検定の両方に対応している。
パラメータの渡し方で動作が変わる。
2標本で、paired=Falseの場合、順位和検定が実行される。

wilcox.exact function - RDocumentation
wilcox.testでは、「タイがあるため、正確な p 値を計算することができません」と表示されることがある。その場合、wilcox.exactを利用する。
順位和検定、符号順位和検定の両方に対応している。
パラメータの渡し方で動作が変わる。
2標本で、paired=Falseの場合、順位和検定が実行される。

https://data-science.gr.jp/implementation/ist_r_wilcoxon_signed_rank_test.html

Python

scipy.stats.ranksums — SciPy v1.10.1 Manual
scipy.stats.mannwhitneyu — SciPy v1.10.1 Manual デフォルトでは両側検定のP値 x 1/2が返される。
alternative='two-sided'とすることで、通常のP値を得ることができる。

ウィルコクソンの符号順位和検定

対応のある標本群について、各標本の中央値の差を検定する。
対応のある標本群について、各標本の中央値に差があるか、差がないかを検定する。

H0 各標本の中央値は等しい。
H1 not H0
各標本の中央値は等しくない。
p > α H0が採用され、H1が棄却される。
p <= α H0が棄却され、H1が支持される。
標本 サイズ N
^ 標本群1 X
^ 標本群2 Y
標本群1 x1, x2, x3, ..., xN
標本群2 y1, y2, y3, ..., yN
群間の差の絶対値 x1-y1, x2-y2, x3-y3, ... ,xN-yN

絶対値を小さい順に順位付けする。
Xi = Yiは順位付けしない。→最終的な順位数が標本サイズ数(N)とは限らない。

群間の差の絶対値 x1-y1, x2-y2, x3-y3, ... ,xN-yN
順位 ｒr1, r2, r3, ... ,rN

Xi > Yiの場合、Xi < Yiの場合の順位和を比較し、小さい方を統計量Tとする。

W Xi > Yiの順位和
w Xi < Yiの順位和

T = min(W, w) \\ Z = \frac{ |T - \frac{ N(N + 1) }{ 4 }| }{ \sqrt{ \frac{ N (N + 1) (2N + 1) }{24} } }

🔎TEX

T = min(W, w) \\
Z = \frac{ |T - \frac{ N(N + 1) }{ 4 }| }{ \sqrt{ \frac{ N (N + 1) (2N + 1) }{24} } }


R

wilcox.test function - RDocumentation
順位和検定、符号順位和検定の両方に対応している。
次の場合に、符号順位和検定が実行される。

  • 一標本の場合
  • 二標本で、paired=Trueの場合

wilcox.exact function - RDocumentation
wilcox.testでは、「タイがあるため、正確な p 値を計算することができません」と表示されることがある。その場合、wilcox.exactを利用する。
順位和検定、符号順位和検定の両方に対応している。
パラメータの渡し方で動作が変わる。
2標本で、paired=Trueの場合、順位和検定が実行される。

https://data-science.gr.jp/implementation/ist_r_wilcoxon_signed_rank_test.html

Python

scipy.stats.wilcoxon — SciPy v1.10.1 Manual 群間の差が0の場合の取り扱いを、zero_methodに指定する。

zero_method

pratt 群間の差が0の場合を含むが、順位付けからは除外する。
wilcox 群間の差が0の場合を除外する。
zsplit 群間の差が0の場合を含み、それらを正負の側へ分ける。

クラスカル・ウォリス検定

互いに独立した3群以上の標本について、各標本の中央値の差を検定する。
独立した標本群について、各標本の中央値に差があるか、差がないかを検定する。

H0 各標本の中央値は等しい。
H1 not H0
各標本の中央値は等しくない。
p > α H0が採用され、H1が棄却される。
p <= α H0が棄却され、H1が支持される。
標本 全標本数 N
^ 標本群数 k
^ 標本数 n
^ 順位 r
^ 標本群１ X
^ 標本群２ Y
^ 標本群３ Z
^ 標本群の順位和 R
標本群1 x1, x2, x3, ..., xn1
標本群2 y1, y2, y3, ..., yn2
標本群3 z1, z2, z3, ..., zn3

標本群を1系列にまとめ、小さい順に順位付けする。
同順位に複数の標本が存在する場合は、平均を順位とする。
7位に3標本データ存在する場合、3標本データの順位は(7 + 8 + 9) / 3 = 8。

標本群 x1, y1, z1, y2, x2, z2, x3, x4, y3, y4, ... , znz, yny, xnx
順位 rx1, ry1, rz1, ry2, rx2, rz2, rx3, rx4, ry3, ry4, ... ,rznz, ryny, rxnx
標本群１の順位 rx1, rx2, rx3, ..., rxnx
標本群２の順位 ry1, ry2, ry3, ..., ryny
標本群３の順位 rz1, rz2, rz3, ..., rznz

統計量 = \frac{12}{ N (N + 1) } \sum \frac{ {R_{k}}^2 }{ n_{k} } - 3 (N + 1)

🔎TEX

統計量 = \frac{12}{ N (N + 1) } \sum \frac{ {R_{k}}^2 }{ n_{k} } - 3 (N + 1)


R, Python

R kruskal.test function - RDocumentation
Python scipy.stats.kruskal — SciPy v1.10.1 Manual

無相関検定

母相関係数ρが0かどうかを検定する。
標本では相関がある場合に、母集団でも同様に相関があるかどうかを確認できる。

H0 無相関である。
ρ = 0
H1 not H0
無相関ではない。
ρ≠0
p > α H0が採用され、H1が棄却される。
p <= α H0が棄却され、H1が支持される。
標本 サイズ n
^ 相関係数 r

26-3. 相関係数 | 統計学の時間 | 統計WEB

R, Python

R cor.test function - RDocumentation methodで検定方法を指定する。
Python scipy.stats.pearsonr — SciPy v1.10.1 Manual

異常値の検定（外れ値の検定）

測定値の中に他の値からかけ離れたもの（外れ値outlierと呼ぶ）がある時、それを除外して取り扱う。外れ値を判定する際の明確な基準は難しいが、概ね標本標準偏差の２倍以上外れたものを外れ値とすることが多い。

データ量が多い時には、上位・下位の25%を省くといった手法がとられることがある。データ量があまり多くない時にはスミルノフSmirnov（-グラブスGrubbs）検定という手法もあるが、正規分布するという前提が満たされる保証はなく、積極的に採用する理由に乏しい。実際にはもっと実験を積み重ねるのが最善という場合が多い。

「統計と検定のはなし」を参照。
http://kuchem.kyoto-u.ac.jp/ubung/yyosuke/chemmeth/chemmeth.htm

検出基準

平均偏差が一定の標準偏差を上回るデータを、一律に「異常」とみなして除外する。たとえば、正規分布を仮定した場合に、4σを超えるデータは、統計的にはきわめてまれなことなので、すべて「特異値」として除去する。なお、この方法によって、たとえば2σを正常なデータの範囲とすると、5％のデータが除外されてしまい、残りのデータは正規分布の形状を形成しない点には注意が必要である。

  • マハラノビス平方距離D2

平均偏差の二乗と分散との比によって、中心から「異常に」に外れたデータを検出する。

D2 = (xi – x )2 / s2

このD2は、近似的に自由度p のχ2分布にしたがう。なお、マハラノビス平方距離D2は、p個の変数を一括して、異常値を検出するのに利用される。

H0 他のデータとかけ離れた値は異常値ではない。
H1 他のデータとかけ離れた値は異常値である。

グラブス・スミルノフ棄却検定

平均値からの偏差（平均偏差）がいちばん大きいデータを探し、その最大平均偏差と標準偏差 s との比を求める。

T = (max | xi – x |) / s

この T は特有の分布にしたがうことがわかっているので、5％、1％といった有意点において、Tが上回ったデータを、１本だけ、除去する。データ除去後には、再度同じ処理を行って、有意点を上回るデータがあれば、２番目、3番目を除去する。なお、5％有意の場合においては、n=30なら有意点は2.745、n=50なら2.956、n=100なら3.21だという。

検定統計量T = （異常値－標本平均／sqrt(標本分散)

R, Python
R grubbs.test function - RDocumentation
Python outlier_utils · PyPI