特定テーマに限定したWikiを立ち上げる必要もなく、ブログの様に私見をまとめる必要もない、
- 講義の予習ノート
- 読書ノート
- メモ
などの雑記帳Wikiから移行した投稿。
統計クラスの予習ノート。
用語
classification score | 分類スコア |
consumer behavior analysis | 消費者行動分析 |
consumer buying pattern | 消費者購買動向 |
contribution | 寄与度 寄与率 |
corpus linguistic analysis | コーパス言語学分析 |
correlation coefficient | 相関係数 |
degenerateness | 退化 |
dendrogram | 系統樹 |
dimensionality reduction | 次元削減 |
dummy variable | ダミー変数 |
factor correlation | 因子相関 |
factor contribution | 因子寄与 |
factor loading | 因子荷重 負荷量 |
factor pattern | 因子パターン |
factor score | 因子得点 |
factor structure | 因子構造 |
factorization | 因数分解 |
Lagrange multiplier method | ラグランジュ乗数法 ラグランジュの未定乗数法 |
linear algebra | 線形代数 |
matrix algebra | 代数行列 |
MCMC Monte Carlo MArkov Chain |
マルコフ連鎖モンテカルロ |
medical diagnostic | 医療診断 |
multiple linear regression | 多重線形回帰 |
multiple linear regression analysis | 重回帰分析 |
multivariate analysis | 多変量解析 |
potential factor | 潜在因子 |
quadratic form | 二次形式 |
regression equation | 回帰方程式 |
supervised learning | 教師あり学習 | 分類 回帰 |
unsupervised learning | 教師なし学習 | 次元判別 主成分分析 クラスター分析 |
principle coordinate | 主成分座標 |
standard coordinate | 標準座標 |
代数行列
adjacent | 隣り合った 隣接する |
diagonal | 斜めの 傾いた |
column vector | 列ベクトル |
row vector | 行ベクトル |
cross product | 外積 |
inner product | 内積 |
commutative law of addition | 加法の交換法則 |
commutative law of multiplication | 乗法の交換法則 |
distributive law | 分配法則 |
linear transformation | 一次変換 |
rank of matrix | 行列の階数 |
singularity | 特異点 |
SSCP | Sum of Squares and Cross Product 外積の平方和 |
行列の種類
diagonal matrix | 対角行列 | |
identity matrix | 単位行列 恒等行列 |
Eと表現する。 |
inverse matrix | 逆行列 | |
null matrix | 零行列 | |
orthogonal matrix | 直交行列 | ある行列と、その転置行列の積が単位行列となるもの。 |
symmetric matrix | 対称行列 | |
transposed matrix | 転置行列 | 元の行列の行と列を入れ替えたもの。 |
triangular matrix | 三角行列 |
行列式
determinant | 行列式 |A| det |
正方行列Aの行列式=0 | Aは逆行列を持たない。 一次独立 |
正方行列Aの行列式≠0 | Aは逆行列を持つ。 Aは正則行列 |
3x3行列の行列式 | サラスの方法 - Wikipedia |
一次独立、一次従属
linear dependent | 線形従属 一次従属 |
linear independent | 線形独立 一次独立 |
ベクトルa, b, cについて、
一次結合 | a = p1b + p2c あるベクトルを、他のベクトルの組み合わせで表すことができる。 aはb、cの一次結合。 |
一次独立 | p1 = p2 = p3 = 0の場合のみ、p1a + p2b + p3c = 0が成り立つ。 a, b, cは一次独立。 |
一次従属 | p1 = p2 = p3 = 0以外の場合、p1a + p2b + p3c = 0が成り立つ。 a, b, cは一次従属。 |
行列の階数
階数:行列に含まれる、一次独立なベクトルの最大個数。
行列中の一次独立なベクトルの数を求める。→階数を求める。
行列Aに対して、変形した単位行列E'をかける。
行の場合 | E'A |
列の場合 | AE' |
~基本変形 | 単位行列の操作 | 連立方程式での説明 |
Aのi行目と、j行目を交換する。 | E'はEのi行目と、j行目を交換したもの。 | 2つの方程式(行)を入れ替える。 |
Aのi行目をc倍する。 | E'はEのi行目をc倍したもの。 | ある方程式をc倍する。 |
Aのc倍したj行目を、i行目に加える。 | E'はi行、j列のの値にcを加算したもの。 | ある方程式(行)をc倍し、別の方程式(別の行)と足し算する。 |
基本変形を繰り返すことで、Aは三角行列になる。
階数=0以外の値を含む行(列)の合計数。
行列の基本変形の意味と応用(rank・行列式の計算) | 高校数学の美しい物語
行列のランク(rank)の8通りの同値な定義・性質 | 高校数学の美しい物語
行列のランクとはなんなのかをわかりやすく解説してみる | 線形代数を宇宙一わかりやすく解説してみるサイト
固有値、固有ベクトル、行列の累乗
eigenvalue | 固有値 |
eigenvector | 固有ベクトル |
k | 固有値 |
p | 固有ベクトル |
🔎tex
A=\begin{vmatrix} a & b \\ c & d \end{vmatrix} \\ \\ \begin{align} A\vec{p}&=k\vec{p} \\ (A-kE)\vec{p}&=0 \end{align} \\ \\ k^2-(a+d)k+(ad-bc)=0
K1 K2 |
行列Aの固有値 |
(x1, y1) | 固有値k1の固有ベクトル |
(x2, y2) | 固有値k2の固有ベクトル |
🔎tex
P=\begin{vmatrix} x_1 & x_2 \\ y_1 & y_2 \end{vmatrix} \\ \\ P^{-1}AP= \begin{vmatrix} k_1 & 0 \\ 0 & k_2 \end{vmatrix} \\ \\ (P^{-1}AP)^{n}= \begin{vmatrix} k_1^n & 0 \\ 0 & k_2^n \end{vmatrix} \\ \\ (P^{-1}AP)^n=P^{-1}A^{n}P \\ A^n=P \begin{vmatrix} k_1^n & 0 \\ 0 & k_2^n \end{vmatrix}P^{-1}
特異値分解
SVD Singular Value Decomposition |
特異値分解 |
正方行列 | 固有値分解 | 固有値 固有ベクトル |
その他の行列 | 特異値分解 | 特異値 特異ベクトル |
固有値分解
A | m x m |
V | m x m |
Λ | m x m |
特異値分解
A | m x n | |
U | m x m | 直交行列 |
Σ | m x n | 対角行列 |
V | n x n | 直交行列 |
行列Aは、直交行列U、V、対角行列&Sigmaに分解できる。
🔎tex
A=V\Lambda V^{-1} \\ \\ \begin{align} A&=U\Sigma V^{-1} \\ A&=U\Sigma V^{T} \end{align} \\ \\ V^{-1}=V^{T}
u | 行列Aの特異ベクトル 単位ベクトル |
σ | Aの特異値 |
v | 行列Aの特異ベクトル 単位ベクトル |
固有値分解と同じ構造。
σ1 >= σ2 >= ... >= 0
🔎tex
A=U\Sigma V^{T} \\ A=(\vec{u_1}, \vec{u_2}, \cdots) \begin{bmatrix} \sigma_1 & & \cdots \\ & \sigma_2 & \cdots \\ \vdots & \vdots & \ddots \\ \end{bmatrix} (\vec{v_1}, \vec{v_2}, \cdots)^{T} \\ \\ A=U\Lambda V^{T} \\ A=(\vec{u_1}, \vec{u_2}, \cdots) \begin{bmatrix} \lambda_1 & & \cdots \\ & \lambda_2 & \cdots \\ \vdots & \vdots & \ddots \\ \end{bmatrix} (\vec{v_1}, \vec{v_2}, \cdots)^{-1}
特異値の求め方
AA^T、(A^T)Aの構造が、固有値の求め方と同じであることに注目。
AA^T、(A^T)Aを固有値分解することで、行列U、Σ、Vを求めることができる。
🔎tex
\begin{align} A&=U\Sigma V^{T} \\ A^{T}&=V\Sigma^{T}U^{T} \\ V^{T}&=V^{-1} \\ \\ AA^{T}&=U\Sigma V^{T}V\Sigma^{T}U^{T} \\ &=U\Sigma V^{-1}V\Sigma^{T}U^{T} \\ &=U\Sigma \Sigma^{T}U^{T} \\ \\ A^{T}A&=V\Sigma^{T}U^{T}U\Sigma V^{T} \\ &=V\Sigma^{T}U^{-1}U\Sigma V^{T} \\ &=V\Sigma^{T} \Sigma V^{T} \\ \end{align}
多変量解析
🔎多変量解析
~ | > | 目的変数 | > | 説明変数 | ポイント | 適用 | ||
質的データ | 量的データ | 質的データ | 量的データ | |||||
cluster analysis | クラスター分析 | x | x | 系統樹 | 観測値を未知のグループへ分類する。 | 顧客分類 ブランド・ポジショニング |
||
correspondence analysis | 対応分析 コレスポンデンス分析 |
x | 分布 主成分座標 標準座標 |
説明変数間の関係を示す。 | ブランド・イメージ調査 消費者行動分析 コーパス言語学分析 |
|||
discriminant analysis | 判別分析 | x | x | x | 因子相関 分類スコア |
観測値を分類する。 | 医療診断 消費者購買動向 画像認識 |
|
factor analysis | 因子分析 要因分析 |
x | 因子パターン 因子得点 因子構造 |
因子パターンを用いて変数間の相関関係を理解するとともに、潜在因子を見つける。 | 教育心理学 | |||
logistic regression | ダミー変数を用いる回帰分析 ロジスティック回帰 |
x | x | x | x | 回帰方程式 | 目的変数を予測する。 | |
MCA Multiple Correspondence Analysis |
多重コレスポンデンス分析 | x | 分布 主成分座標 標準座標 |
|||||
PCA principle component analysis |
主成分分析 | x | 因子荷重 因子得点 寄与度 |
観測値から主成分を見つけ、観測値の相関関係を示す。 | ブランド・イメージ調査 製品評価 R&D 画像処理 |
correlation matrix | 相関行列 |
covariance matrix | 共分散行列 |
variance-covariance matrix | 分散共分散行列 |
復習
分散と偏差
🔎tex
S^2=\sum \frac{(x-\bar{x})^2}{n-1}
共分散
🔎tex
S_{xy}=\frac{ 1 }{ n-1 } \sum{ (x_{i} - \bar{x})(y_{i} - \bar{y}) }
分散共分散行列
🔎tex
\begin{bmatrix} S_x^2 & S_{xy} & S_{xz} \\ S_{xy} & S_y^2 & S_{yz} \\ S_{xz} & S_{yz} & S_z^2 \end{bmatrix}
相関行列
🔎tex
\begin{bmatrix} 1 & r_{xy} & r_{xz} \\ r_{xy} & 1 & r_{yz} \\ r_{xz} & r_{yz} & 1 \end{bmatrix}
平方和
グループ数 | c |
グループ内のデータ数 | n |
観測値 | x |
偏差 | 群間偏差 | 群内偏差 |
観測値-全平均= | (群内平均-全平均)+ | (観測値-群内平均) |
全平均 | Mt |
群内平均 | Mw |
群間平均 | Mb |
平方和、平方平均
🔎tex
SS_t=\sum_{c=1}^{c}\sum_{i=1}^{n}(x_{ci}-M_t)^2 \\ \frac{1}{n-1}SS_t
群内平方和
🔎tex
SS_w=\sum_{c=1}^{c}\sum_{i=1}^{n}(x_{ci}-M_w)^2 \\ \frac{1}{n-c}SS_w
群間平方和
🔎tex
SS_b=\sum_{c=1}^{c}\sum_{i=1}^{n}(M_w-M_t)^2 \\ \frac{1}{c-1}SS_b
R
20. 行列計算 | 行列の積 *を用いると、行列の要素ごとの積になる。 |
colSums function - RDocumentation | 行列の行、列ごとの合計。 |
colSums function - RDocumentation | 行列の行、列ごとの平均。 |
t function - RDocumentation | 転置行列 |
crossprod function - RDocumentation | クロス積 |
solve function - RDocumentation | 逆行列 |
det function - RDocumentation | 行列式、決定係数 |
diag function - RDocumentation | 行列の対角成分 |
cor function - RDocumentation | 分散共分散行列、相関係数 |
cor function - RDocumentation | 共分散 |
クロス積
演算子を用いるよりも、crossprodの方が若干高速であると言われている。
crossprod(X) | t(X) %*% X | 行列X自身のクロス積 |
crossprod(X, Y) | t(X) %*% Y | 行列X、Yのクロス積 |
tcrossprod(X) | X %*% t(X) | |
tcrossprod(X, Y) | X %*% t(Y) |
🔎R code and output
> X = matrix(c(1:3), 3, 3) > Y = matrix(c(1:9), 3, 3) > X [,1] [,2] [,3] [1,] 1 1 1 [2,] 2 2 2 [3,] 3 3 3 > Y [,1] [,2] [,3] [1,] 1 4 7 [2,] 2 5 8 [3,] 3 6 9 > t(X) %*% X [,1] [,2] [,3] [1,] 14 14 14 [2,] 14 14 14 [3,] 14 14 14 > crossprod(X) [,1] [,2] [,3] [1,] 14 14 14 [2,] 14 14 14 [3,] 14 14 14 > > t(X) %*% Y [,1] [,2] [,3] [1,] 14 32 50 [2,] 14 32 50 [3,] 14 32 50 > crossprod(X, Y) [,1] [,2] [,3] [1,] 14 32 50 [2,] 14 32 50 [3,] 14 32 50 > > X %*% t(X) [,1] [,2] [,3] [1,] 3 6 9 [2,] 6 12 18 [3,] 9 18 27 > tcrossprod(X) [,1] [,2] [,3] [1,] 3 6 9 [2,] 6 12 18 [3,] 9 18 27 > > X %*% t(Y) [,1] [,2] [,3] [1,] 12 15 18 [2,] 24 30 36 [3,] 36 45 54 > tcrossprod(X, Y) [,1] [,2] [,3] [1,] 12 15 18 [2,] 24 30 36 [3,] 36 45 54
固有値分解
eigen function - RDocumentation | $values | 固有値 |
^ | $vectors | 固有ベクトル |
🔎R code and output
> mymatrix = matrix(c(1:9), 3, 3) > eigen(mymatrix) eigen() decomposition $values [1] 1.611684e+01 -1.116844e+00 -5.700691e-16 $vectors [,1] [,2] [,3] [1,] -0.4645473 -0.8829060 0.4082483 [2,] -0.5707955 -0.2395204 -0.8164966 [3,] -0.6770438 0.4038651 0.4082483
特異値分解
各固有値の下に、それぞれの特異値ベクトルが、縦一列に並ぶ。
svd function - RDocumentation | $d | 特異値 |
^ | $u | 左特異ベクトル |
^ | $v | 右特異ベクトル |
🔎R code and output
> mymatrix = matrix(c(1:12), 3, 4) > mymatrix [,1] [,2] [,3] [,4] [1,] 1 4 7 10 [2,] 2 5 8 11 [3,] 3 6 9 12 > svd(mymatrix) $d [1] 2.546241e+01 1.290662e+00 1.716561e-15 $u [,1] [,2] [,3] [1,] -0.5045331 -0.76077568 0.4082483 [2,] -0.5745157 -0.05714052 -0.8164966 [3,] -0.6444983 0.64649464 0.4082483 $v [,1] [,2] [,3] [1,] -0.1408767 0.82471435 -0.4991558 [2,] -0.3439463 0.42626394 0.4974744 [3,] -0.5470159 0.02781353 0.5025186 [4,] -0.7500855 -0.37063688 -0.5008372