Technically Impossible

Lets look at the weak link in your statement. Anything "Technically Impossible" basically means we haven't figured out how yet.

20190920 ロジスティック回帰

特定テーマに限定したWikiを立ち上げる必要もなく、ブログの様に私見をまとめる必要もない、

  • 講義の予習ノート
  • 読書ノート
  • メモ

などの雑記帳Wikiから移行した投稿。

YouTubeでのロジスティック回帰に関する勉強会のメモ。

ロジスティック回帰は、分類問題。

回帰 数値予測
分類 クラスタリング

決定境界のパラメータ

f(x) 境界線
x 入力
ここでは1次元と仮定
y 出力
ここでは0、1とす。→2値分類
θ パラメータ


f(x) = θx
新たなデータxnに対して、

θxn >= 0 y = 1
θxn < 0 y = 0

シグモイド関数

f:id:espio999:20210123174347p:plain
θ^T = 0を境に分類する。

2値分類の場合の境界 シグモイド関数
3値以上分類する場合の境界 ソフトマックス関数


f(x) = \frac{ 1 }{ 1 + exp(-θ^T x) } \\
0 < f(x) < 1

尤度関数

分類の同時確率で表す。

\prod_{i=1}^{n}{p(y^i = 1 | x)^{y^i} p(y^i = 0 | x)^{1-y^i}}\\
y^i = 0\\
p(y^i = 1 | x)^{y^i}=1\\
y^i = 1\\
p(y^i = 0 | x)^{1-y^i}=1

TEX

\prod_{i=1}^{n}{p(y^i = 1 | x)^{y^i} p(y^i = 0 | x)^{1-y^i}}\\
y^i = 0\\
p(y^i = 1 | x)^{y^i}=1\\
y^i = 1\\
p(y^i = 0 | x)^{1-y^i}=1


目的関数、最適化問題

最適化問題→θを決める
log L(θ)が最大となるθを求める。

L(θ) 目的関数


L(\theta)=\prod_{i=1}^{n}{p(y^i = 1 | x)^{y^i} p(y^i = 0 | x)^{1-y^i}}\\
\log{L(\theta)}=\sum_{i=1}^{n}{y^i}{\log{p(y^i = 1 | x)}}+(1-y^i)\log{p(y^i = 0 | x)}

TEX

L(\theta)=\prod_{i=1}^{n}{p(y^i = 1 | x)^{y^i} p(y^i = 0 | x)^{1-y^i}}\\
\log{L(\theta)}=\sum_{i=1}^{n}{y^i}{\log{p(y^i = 1 | x)}}+(1-y^i)\log{p(y^i = 0 | x)}