Technically Impossible

Lets look at the weak link in your statement. Anything "Technically Impossible" basically means we haven't figured out how yet.

PYR103 week 1 固有値、特異値

特定テーマに限定したWikiを立ち上げる必要もなく、ブログの様に私見をまとめる必要もない、

  • 講義の予習ノート
  • 読書ノート
  • メモ

などの雑記帳Wikiから移行した投稿。

統計クラスの予習ノート。

用語

classification score 分類スコア
consumer behavior analysis 消費者行動分析
consumer buying pattern 消費者購買動向
contribution 寄与度
寄与率
corpus linguistic analysis コーパス言語学分析
correlation coefficient 相関係数
degenerateness 退化
dendrogram 系統樹
dimensionality reduction 次元削減
dummy variable ダミー変数
factor correlation 因子相関
factor contribution 因子寄与
factor loading 因子荷重
負荷量
factor pattern 因子パターン
factor score 因子得点
factor structure 因子構造
factorization 因数分解
Lagrange multiplier method ラグランジュ乗数法
ラグランジュの未定乗数法
linear algebra 線形代数
matrix algebra 代数行列
MCMC
Monte Carlo MArkov Chain
マルコフ連鎖モンテカルロ
medical diagnostic 医療診断
multiple linear regression 多重線形回帰
multiple linear regression analysis 重回帰分析
multivariate analysis 多変量解析
potential factor 潜在因子
quadratic form 二次形式
regression equation 回帰方程式
supervised learning 教師あり学習 分類
回帰
unsupervised learning 教師なし学習 次元判別
主成分分析
クラスター分析
principle coordinate 主成分座標
standard coordinate 標準座標

代数行列

adjacent 隣り合った
隣接する
diagonal 斜めの
傾いた
column vector 列ベクトル
row vector 行ベクトル
cross product 外積
inner product 内積
commutative law of addition 加法の交換法則
commutative law of multiplication 乗法の交換法則
distributive law 分配法則
linear transformation 一次変換
rank of matrix 行列の階数
singularity 特異点
SSCP Sum of Squares and Cross Product
外積の平方和

行列の種類

diagonal matrix 対角行列
identity matrix 単位行列
恒等行列
Eと表現する。
inverse matrix 逆行列
null matrix 零行列
orthogonal matrix 直交行列 ある行列と、その転置行列の積が単位行列となるもの。
symmetric matrix 対称行列
transposed matrix 転置行列 元の行列の行と列を入れ替えたもの。
triangular matrix 三角行列

行列式

determinant 行列式
|A|
det
正方行列Aの行列式=0 Aは逆行列を持たない。
一次独立
正方行列Aの行列式≠0 Aは逆行列を持つ。
Aは正則行列
3x3行列の行列式 サラスの方法 - Wikipedia

一次独立、一次従属

linear dependent 線形従属
一次従属
linear independent 線形独立
一次独立

ベクトルa, b, cについて、

一次結合 a = p1b + p2c
あるベクトルを、他のベクトルの組み合わせで表すことができる。
aはb、cの一次結合。
一次独立 p1 = p2 = p3 = 0の場合のみ、p1a + p2b + p3c = 0が成り立つ。
a, b, cは一次独立。
一次従属 p1 = p2 = p3 = 0以外の場合、p1a + p2b + p3c = 0が成り立つ。
a, b, cは一次従属。

線形代数における1次独立と1次従属についてわかりやすく解説する | 線形代数を宇宙一わかりやすく解説してみるサイト

行列の階数

階数:行列に含まれる、一次独立なベクトルの最大個数。
行列中の一次独立なベクトルの数を求める。→階数を求める。

行列Aに対して、変形した単位行列E'をかける。

行の場合 E'A
列の場合 AE'
~基本変形 単位行列の操作 連立方程式での説明
Aのi行目と、j行目を交換する。 E'はEのi行目と、j行目を交換したもの。 2つの方程式(行)を入れ替える。
Aのi行目をc倍する。 E'はEのi行目をc倍したもの。 ある方程式をc倍する。
Aのc倍したj行目を、i行目に加える。 E'はi行、j列のの値にcを加算したもの。 ある方程式(行)をc倍し、別の方程式(別の行)と足し算する。

基本変形を繰り返すことで、Aは三角行列になる。
階数=0以外の値を含む行(列)の合計数。

行列の基本変形の意味と応用(rank・行列式の計算) | 高校数学の美しい物語
行列のランク(rank)の8通りの同値な定義・性質 | 高校数学の美しい物語
行列のランクとはなんなのかをわかりやすく解説してみる | 線形代数を宇宙一わかりやすく解説してみるサイト

固有値固有ベクトル、行列の累乗

eigenvalue 固有値
eigenvector 固有ベクトル
k 固有値
p 固有ベクトル


A=\begin{vmatrix}
a & b \\
c & d
\end{vmatrix} \\
 \\
\begin{align}
A\vec{p}&=k\vec{p} \\
(A-kE)\vec{p}&=0
\end{align} \\
 \\
k^2-(a+d)k+(ad-bc)=0

🔎tex

A=\begin{vmatrix}
a & b \\
c & d
\end{vmatrix} \\
 \\
\begin{align}
A\vec{p}&=k\vec{p} \\
(A-kE)\vec{p}&=0
\end{align} \\
 \\
k^2-(a+d)k+(ad-bc)=0


K1
K2
行列Aの固有値
(x1, y1) 固有値k1の固有ベクトル
(x2, y2) 固有値k2の固有ベクトル


P=\begin{vmatrix}
x_1 & x_2 \\
y_1 & y_2
\end{vmatrix} \\
 \\
P^{-1}AP=
\begin{vmatrix}
k_1 & 0 \\
0 & k_2
\end{vmatrix} \\
 \\
(P^{-1}AP)^{n}=
\begin{vmatrix}
k_1^n & 0 \\
0 & k_2^n
\end{vmatrix} \\
 \\
(P^{-1}AP)^n=P^{-1}A^{n}P \\
A^n=P
\begin{vmatrix}
k_1^n & 0 \\
0 & k_2^n
\end{vmatrix}P^{-1}

🔎tex

P=\begin{vmatrix}
x_1 & x_2 \\
y_1 & y_2
\end{vmatrix} \\
 \\
P^{-1}AP=
\begin{vmatrix}
k_1 & 0 \\
0 & k_2
\end{vmatrix} \\
 \\
(P^{-1}AP)^{n}=
\begin{vmatrix}
k_1^n & 0 \\
0 & k_2^n
\end{vmatrix} \\
 \\
(P^{-1}AP)^n=P^{-1}A^{n}P \\
A^n=P
\begin{vmatrix}
k_1^n & 0 \\
0 & k_2^n
\end{vmatrix}P^{-1}


特異値分解

SVD
Singular Value Decomposition
特異値分解
正方行列 固有値分解 固有値
固有ベクトル
その他の行列 特異値分解 特異値
特異ベクトル
固有値分解
A m x m
V m x m
Λ m x m
特異値分解
A m x n
U m x m 直交行列
Σ m x n 対角行列
V n x n 直交行列

行列Aは、直交行列U、V、対角行列&Sigmaに分解できる。


A=V\Lambda V^{-1} \\
 \\
\begin{align}
A&=U\Sigma V^{-1} \\
A&=U\Sigma V^{T}
\end{align} \\
 \\
V^{-1}=V^{T}

🔎tex

A=V\Lambda V^{-1} \\
 \\
\begin{align}
A&=U\Sigma V^{-1} \\
A&=U\Sigma V^{T}
\end{align} \\
 \\
V^{-1}=V^{T}


u 行列Aの特異ベクトル
単位ベクトル
σ Aの特異値
v 行列Aの特異ベクトル
単位ベクトル

固有値分解と同じ構造。
σ1 >= σ2 >= ... >= 0


A=U\Sigma V^{T} \\
A=(\vec{u_1}, \vec{u_2}, \cdots)

\begin{bmatrix}
\sigma_1 &   & \cdots \\
  & \sigma_2 & \cdots \\
\vdots & \vdots & \ddots \\
\end{bmatrix}

(\vec{v_1}, \vec{v_2}, \cdots)^{T} \\
 \\
A=U\Lambda V^{T} \\
A=(\vec{u_1}, \vec{u_2}, \cdots)

\begin{bmatrix}
\lambda_1 &   & \cdots \\
  & \lambda_2 & \cdots \\
\vdots & \vdots & \ddots \\
\end{bmatrix}

(\vec{v_1}, \vec{v_2}, \cdots)^{-1}

🔎tex

A=U\Sigma V^{T} \\
A=(\vec{u_1}, \vec{u_2}, \cdots)

\begin{bmatrix}
\sigma_1 &   & \cdots \\
  & \sigma_2 & \cdots \\
\vdots & \vdots & \ddots \\
\end{bmatrix}

(\vec{v_1}, \vec{v_2}, \cdots)^{T} \\
 \\
A=U\Lambda V^{T} \\
A=(\vec{u_1}, \vec{u_2}, \cdots)

\begin{bmatrix}
\lambda_1 &   & \cdots \\
  & \lambda_2 & \cdots \\
\vdots & \vdots & \ddots \\
\end{bmatrix}

(\vec{v_1}, \vec{v_2}, \cdots)^{-1}


特異値の求め方

AA^T、(A^T)Aの構造が、固有値の求め方と同じであることに注目。
AA^T、(A^T)Aを固有値分解することで、行列U、Σ、Vを求めることができる。

\begin{align}
A&=U\Sigma V^{T} \\
A^{T}&=V\Sigma^{T}U^{T} \\
V^{T}&=V^{-1} \\
 \\
AA^{T}&=U\Sigma V^{T}V\Sigma^{T}U^{T} \\
&=U\Sigma V^{-1}V\Sigma^{T}U^{T} \\
&=U\Sigma \Sigma^{T}U^{T} \\
 \\
A^{T}A&=V\Sigma^{T}U^{T}U\Sigma V^{T} \\
&=V\Sigma^{T}U^{-1}U\Sigma V^{T} \\
&=V\Sigma^{T} \Sigma V^{T} \\
\end{align}

🔎tex

\begin{align}
A&=U\Sigma V^{T} \\
A^{T}&=V\Sigma^{T}U^{T} \\
V^{T}&=V^{-1} \\
 \\
AA^{T}&=U\Sigma V^{T}V\Sigma^{T}U^{T} \\
&=U\Sigma V^{-1}V\Sigma^{T}U^{T} \\
&=U\Sigma \Sigma^{T}U^{T} \\
 \\
A^{T}A&=V\Sigma^{T}U^{T}U\Sigma V^{T} \\
&=V\Sigma^{T}U^{-1}U\Sigma V^{T} \\
&=V\Sigma^{T} \Sigma V^{T} \\
\end{align}


多変量解析


🔎多変量解析

~ > 目的変数 > 説明変数 ポイント 適用
質的データ 量的データ 質的データ 量的データ
cluster analysis クラスター分析 x x 系統樹 観測値を未知のグループへ分類する。 顧客分類
ブランド・ポジショニング
correspondence analysis 対応分析
コレスポンデンス分析
x 分布
主成分座標
標準座標
説明変数間の関係を示す。 ブランド・イメージ調査
消費者行動分析
コーパス言語学分析
discriminant analysis 判別分析 x x x 因子相関
分類スコア
観測値を分類する。 医療診断
消費者購買動向
画像認識
factor analysis 因子分析
要因分析
x 因子パターン
因子得点
因子構造
因子パターンを用いて変数間の相関関係を理解するとともに、潜在因子を見つける。 教育心理学
logistic regression ダミー変数を用いる回帰分析
ロジスティック回帰
x x x x 回帰方程式 目的変数を予測する。
MCA
Multiple Correspondence Analysis
多重コレスポンデンス分析 x 分布
主成分座標
標準座標
PCA
principle component analysis
主成分分析 x 因子荷重
因子得点
寄与度
観測値から主成分を見つけ、観測値の相関関係を示す。 ブランド・イメージ調査
製品評価
R&D
画像処理

correlation matrix 相関行列
covariance matrix 共分散行列
variance-covariance matrix 分散共分散行列

復習

分散と偏差


S^2=\sum \frac{(x-\bar{x})^2}{n-1}

🔎tex

S^2=\sum \frac{(x-\bar{x})^2}{n-1}


共分散


S_{xy}=\frac{ 1 }{ n-1 } \sum{ (x_{i} - \bar{x})(y_{i} - \bar{y}) }

🔎tex

S_{xy}=\frac{ 1 }{ n-1 } \sum{ (x_{i} - \bar{x})(y_{i} - \bar{y}) }


相関係数


r_{xy}=\frac{S_{xy}}{S_x S_y}

🔎tex

r_{xy}=\frac{S_{xy}}{S_x S_y}


分散共分散行列


\begin{bmatrix}
S_x^2 & S_{xy} & S_{xz} \\
S_{xy} & S_y^2 & S_{yz} \\
S_{xz} & S_{yz} & S_z^2
\end{bmatrix}

🔎tex

\begin{bmatrix}
S_x^2 & S_{xy} & S_{xz} \\
S_{xy} & S_y^2 & S_{yz} \\
S_{xz} & S_{yz} & S_z^2
\end{bmatrix}


相関行列


\begin{bmatrix}
1 & r_{xy} & r_{xz} \\
r_{xy} & 1 & r_{yz} \\
r_{xz} & r_{yz} & 1
\end{bmatrix}

🔎tex

\begin{bmatrix}
1 & r_{xy} & r_{xz} \\
r_{xy} & 1 & r_{yz} \\
r_{xz} & r_{yz} & 1
\end{bmatrix}


平方和

グループ数 c
グループ内のデータ数 n
観測値 x
偏差 群間偏差 群内偏差
観測値-全平均= (群内平均-全平均)+ (観測値-群内平均)
全平均 Mt
群内平均 Mw
群間平均 Mb
平方和、平方平均


SS_t=\sum_{c=1}^{c}\sum_{i=1}^{n}(x_{ci}-M_t)^2 \\
\frac{1}{n-1}SS_t

🔎tex

SS_t=\sum_{c=1}^{c}\sum_{i=1}^{n}(x_{ci}-M_t)^2 \\
\frac{1}{n-1}SS_t


群内平方和


SS_w=\sum_{c=1}^{c}\sum_{i=1}^{n}(x_{ci}-M_w)^2 \\
\frac{1}{n-c}SS_w

🔎tex

SS_w=\sum_{c=1}^{c}\sum_{i=1}^{n}(x_{ci}-M_w)^2 \\
\frac{1}{n-c}SS_w


群間平方和


SS_b=\sum_{c=1}^{c}\sum_{i=1}^{n}(M_w-M_t)^2 \\
\frac{1}{c-1}SS_b

🔎tex

SS_b=\sum_{c=1}^{c}\sum_{i=1}^{n}(M_w-M_t)^2 \\
\frac{1}{c-1}SS_b


R

20. 行列計算 行列の積
*を用いると、行列の要素ごとの積になる。
colSums function - RDocumentation 行列の行、列ごとの合計。
colSums function - RDocumentation 行列の行、列ごとの平均。
t function - RDocumentation 転置行列
crossprod function - RDocumentation クロス積
solve function - RDocumentation 逆行列
det function - RDocumentation 行列式、決定係数
diag function - RDocumentation 行列の対角成分
cor function - RDocumentation 分散共分散行列、相関係数
cor function - RDocumentation 共分散

クロス積

演算子を用いるよりも、crossprodの方が若干高速であると言われている。

crossprod(X) t(X) %*% X 行列X自身のクロス積
crossprod(X, Y) t(X) %*% Y 行列X、Yのクロス積
tcrossprod(X) X %*% t(X)
tcrossprod(X, Y) X %*% t(Y)

🔎R code and output

> X = matrix(c(1:3), 3, 3)
> Y = matrix(c(1:9), 3, 3)
> X
     [,1] [,2] [,3]
[1,]    1    1    1
[2,]    2    2    2
[3,]    3    3    3
> Y
     [,1] [,2] [,3]
[1,]    1    4    7
[2,]    2    5    8
[3,]    3    6    9
> t(X) %*% X
     [,1] [,2] [,3]
[1,]   14   14   14
[2,]   14   14   14
[3,]   14   14   14
> crossprod(X)
     [,1] [,2] [,3]
[1,]   14   14   14
[2,]   14   14   14
[3,]   14   14   14
> 
> t(X) %*% Y
     [,1] [,2] [,3]
[1,]   14   32   50
[2,]   14   32   50
[3,]   14   32   50
> crossprod(X, Y)
     [,1] [,2] [,3]
[1,]   14   32   50
[2,]   14   32   50
[3,]   14   32   50
> 
> X %*% t(X)
     [,1] [,2] [,3]
[1,]    3    6    9
[2,]    6   12   18
[3,]    9   18   27
> tcrossprod(X)
     [,1] [,2] [,3]
[1,]    3    6    9
[2,]    6   12   18
[3,]    9   18   27
> 
> X %*% t(Y)
     [,1] [,2] [,3]
[1,]   12   15   18
[2,]   24   30   36
[3,]   36   45   54
> tcrossprod(X, Y)
     [,1] [,2] [,3]
[1,]   12   15   18
[2,]   24   30   36
[3,]   36   45   54


固有値分解

固有値の下に、それぞれの固有値ベクトルが、縦一列に並ぶ。

eigen function - RDocumentation $values 固有値
^ $vectors 固有ベクトル

🔎R code and output

> mymatrix = matrix(c(1:9), 3, 3)
> eigen(mymatrix)
eigen() decomposition
$values
[1]  1.611684e+01 -1.116844e+00 -5.700691e-16

$vectors
           [,1]       [,2]       [,3]
[1,] -0.4645473 -0.8829060  0.4082483
[2,] -0.5707955 -0.2395204 -0.8164966
[3,] -0.6770438  0.4038651  0.4082483


特異値分解

固有値の下に、それぞれの特異値ベクトルが、縦一列に並ぶ。

svd function - RDocumentation $d 特異値
^ $u 左特異ベクトル
^ $v 右特異ベクトル

🔎R code and output

> mymatrix = matrix(c(1:12), 3, 4)
> mymatrix
     [,1] [,2] [,3] [,4]
[1,]    1    4    7   10
[2,]    2    5    8   11
[3,]    3    6    9   12
> svd(mymatrix)
$d
[1] 2.546241e+01 1.290662e+00 1.716561e-15

$u
           [,1]        [,2]       [,3]
[1,] -0.5045331 -0.76077568  0.4082483
[2,] -0.5745157 -0.05714052 -0.8164966
[3,] -0.6444983  0.64649464  0.4082483

$v
           [,1]        [,2]       [,3]
[1,] -0.1408767  0.82471435 -0.4991558
[2,] -0.3439463  0.42626394  0.4974744
[3,] -0.5470159  0.02781353  0.5025186
[4,] -0.7500855 -0.37063688 -0.5008372