NN03 - Logistische Regression

Kurze Übersicht

Formalisierung

• Ausgabe $y$ ist reelle Zahl aus dem stetigen Bereich $(0,1)$

• Die Hypothesenfunktion ist: $$\begin{array}{}\text{(1)}& h(\mathbf{x})=\sigma ({\mathbf{w}}^T\mathbf{x})=\sigma (w_0+w_1{x}_1+w_2{x}_2+\dots +w_n{x}_n)\end{array}$$

• Der Kreuzentropie Verlust (engl. Cross-Entropy) für einen Datenpunkt $\mathbf{x}$: $$\begin{array}{}\text{(2)}& \mathcal{L}(a,y)=-y\log (a)-(1-y)\log (1-a)\end{array}$$ wobei hier $a:=\hat{y}$ die Vorhersage ist.

• Die Kosten als durchschnittlicher Verlust über alle Datenpunkte $x^{(1)},\dots ,x^{(m)}$: $$\begin{array}{}\text{(3)}& J=\frac{1}{m}\sum _{i=1}^m\mathcal{L}(a^{(i)},y^{(i)})\end{array}$$

Gradientenabstieg

• Der Gradient für einen Datenpunkt $\mathbf{x}$: $$\begin{array}{}\text{(4)}& \frac{\partial \mathcal{L}}{\partial w}=(a-y)x\end{array}$$
• Der Gradient für alle Datenpunkte $X$ in Matrix-Notation: $$\begin{array}{}\text{(5)}& \mathrm{\nabla }J=\frac{\partial J}{\partial w}=\frac{1}{m}X(A-Y{)}^T\end{array}$$

Graphische Übersicht

• Logistische Regression
• Lineare Regression
• Perzeptron