NN04 - Overfitting und Regularisierung

Kurze Übersicht

Nichtlineare Modelle

• Einführung von neuen Merkmalen in Form von nichtlienaren Kombinationen der ursprünglichen Merkmale
• Erhöhung der Komplexität des Modells ermöglicht das Erfassen von nichtlinearen Beziehungen
• Bemerkung: Die Hypothesenfunktion bleibt linear in den Gewichten, es wird weiterhin logistische Regression in einem erweiterten Merkmalraum durchgeführt.

Überanpassung und Regularisierung

• Die Überanpassung (engl. Overfitting) ist eines der häufigsten und wichtigsten Probleme in ML und DL
• "Was im Bereich des maschinellen Lernens Professionelle von Amateuren unterscheidet, ist ihre Fähigkeit mit Überanpassung umzugehen." [AbuMostafa2012, S. 119]
• Anzeichen von Überanpassung sind geringe Trainingskosten und hohe Testkosten (Kosten auf nicht-gesehenen Daten).
• Regularisierung ist eine Maßnahme gegen Überanpassung. Man kann es sich als eine Reduktion in der Komplexität des Modells vorstellen.
• Der Regularisierungsparameter $\lambda$ ist ein Hyperparameter. Je größer der $\lambda$-Wert, desto größer der Regularisierungseffekt.
• Die Kostentenfunktion bei regulariserter logistischer Regression: $$\begin{array}{}\text{(1)}& J=\frac{1}{m}[\sum _{i=1}^m(-y^{[i]}log(a^{[i]})-(1-y^{[i]})log(1-a^{[i]}))+\frac{\lambda }{2}\sum _{j=1}^n(w_j^2)]\end{array}$$
• Die Gewichtsaktualisierung mit Regularisierungsterm: $$\begin{array}{}\text{(2)}& w_j:=w_j-\frac{\alpha }{m}[\sum _{i=1}^m((a^{[i]}-y^{[i]})x_j^{[i]})+\lambda w_j]\end{array}$$