NN02 - Lineare Regression und Gradientenabstieg

Videos

Folien

Kurze Übersicht

Ausgabe $y$ ist reelle Zahl aus einem stetigen Bereich (zum Beispiel Hauspreis)
Die Hypothesenfunktion ist eine gewichtete Summe der Merkmale $x_{i}$ plus eine Konstante $w_{0}$ : $h (x) = w^{T} x = w_{0} + w_{1} x_{1} + w_{2} x_{2} + \dots + w_{n} x_{n}$
Der Verlust (engl. loss) für einen Datenpunkt $x$ ist das Fehlerquadrat: $L = (\hat{y} - y)^{2} = (h (x) - y)^{2}$
Die Kosten (engl. cost) sind der durchschnittliche Verlust über alle Datenpunkte: $J = \frac{1}{2 m} \sum_{i = 1}^{m} (\hat{y} - y)^{2} = \frac{1}{2 m} \sum_{i = 1}^{m} (h (x) - y)^{2}$

Der Gradientenvektor $\nabla J (w)$ setzt sich zusammen aus den partiellen Ableitungen der Kostenfunktion $J$ nach den Gewichten $w_{i}$ und zeigt in jedem Punkt $w$ in die Richtung des steilsten Aufstiegs: $\nabla J = [\partial J / \partial w_{0} \partial J / \partial w_{1} \dots \partial J / \partial w_{n}]^{T}$
Schlussfolgerung: In die entgegengesetzte Richtung, i.e. in Richtung $- \nabla J (w)$ geht es am steilsten bergab!
IDEE: Bewege $w$ in Richtung $- \nabla J (w)$ , um die Kosten $J$ möglichst schnell zu senken.

Starte mit zufälligen Gewichten $w$
Berechne den Gradientenvektor im aktuellen Punkt $w$
Gewichtsaktualisierung: Gehe einen kleinen Schritt in Richtung $- \nabla J (w)$ $w_{n e u} := w_{a l t} - α \cdot \nabla J (w_{a l t})$ ( $α$ : Lernrate/Schrittweite).
Wiederhole Schritte 2-3, bis das globale Minimum von $J$ erreicht ist.

Übungsblätter/Aufgaben

Lernziele

(K2) Lineare Regression aus Sicht neuronaler Netze: Graphische Darstellung, Vergleich mit Perzeptron
(K2) Formalisierung
(K2) Verlust- und Kostenfunktion
(K2) Gradientenvektor
(K2) Lernrate
(K3) Gradientenabstieg

Quizzes

Challenges

Skalierung der Merkmale

Abbildung 1 und Abbildung 2 zeigen die Höhenlinien (Contour Lines) von zwei Kostenfunktionen.

Erklären Sie, welcher der beiden Fälle nachteilhaft für den Gradientenabstieg Algorithmus ist. Wo liegt der Nachteil? Wie kann die Merkmalskalierung dem genannten Nachteil entgegenwirken?
Zeigen Sie unter Verwendung Ihrer eigenen, zufällig generierten Datenpunkte aus dem Bereich $[100, 300] \times [0, 2]$ , wie sich Standardisierung, Min-Max Skalierung und Normalisierung auf die Daten auswirken. Vergleichen Sie dazu die jeweiligen Streudiagramme (scatterplots). Sie können hierzu das folgende Jupyter Notebook als Startpunkt benutzen.