20190920 ロジスティック回帰 - Technically Impossible

特定テーマに限定したWikiを立ち上げる必要もなく、ブログの様に私見をまとめる必要もない、

講義の予習ノート
読書ノート
メモ

などの雑記帳Wikiから移行した投稿。

YouTubeでのロジスティック回帰に関する勉強会のメモ。

決定境界のパラメータ
シグモイド関数
尤度関数
目的関数、最適化問題

ロジスティック回帰は、分類問題。

回帰	数値予測
分類	クラスタリング

決定境界のパラメータ

f(x)	境界線
x	入力ここでは1次元と仮定
y	出力ここでは0、1とす。→2値分類
θ	パラメータ

$f(x) = θx$
新たなデータxnに対して、

θxn >= 0	y = 1
θxn < 0	y = 0

シグモイド関数

θ^T = 0を境に分類する。

2値分類の場合の境界	シグモイド関数
3値以上分類する場合の境界	ソフトマックス関数

$f(x) = \frac{ 1 }{ 1 + exp(-θ^T x) } \\ 0 < f(x) < 1$

尤度関数

分類の同時確率で表す。
$\prod_{i=1}^{n}{p(y^i = 1 | x)^{y^i} p(y^i = 0 | x)^{1-y^i}}\\ y^i = 0\\ p(y^i = 1 | x)^{y^i}=1\\ y^i = 1\\ p(y^i = 0 | x)^{1-y^i}=1$

🔎TEX

\prod_{i=1}^{n}{p(y^i = 1 | x)^{y^i} p(y^i = 0 | x)^{1-y^i}}\\
y^i = 0\\
p(y^i = 1 | x)^{y^i}=1\\
y^i = 1\\
p(y^i = 0 | x)^{1-y^i}=1

目的関数、最適化問題

最適化問題→θを決める
log L(θ)が最大となるθを求める。

L(θ)

目的関数

$L(\theta)=\prod_{i=1}^{n}{p(y^i = 1 | x)^{y^i} p(y^i = 0 | x)^{1-y^i}}\\ \log{L(\theta)}=\sum_{i=1}^{n}{y^i}{\log{p(y^i = 1 | x)}}+(1-y^i)\log{p(y^i = 0 | x)}$

🔎TEX

L(\theta)=\prod_{i=1}^{n}{p(y^i = 1 | x)^{y^i} p(y^i = 0 | x)^{1-y^i}}\\
\log{L(\theta)}=\sum_{i=1}^{n}{y^i}{\log{p(y^i = 1 | x)}}+(1-y^i)\log{p(y^i = 0 | x)}