NN06 - Backpropagation

Kurze Übersicht

Forwärts- und Rückwärtslauf

• Im Forwärtslauf (engl. forward pass oder forward propagation) wird ein einzelner Forwärtsschritt von Schicht $[l-1]$ auf Schicht $[l]$ wie folgt berechnet: $$\begin{array}{}\text{(1)}& Z^{[l]}=W^{[l]}{A}^{[l-1]}+b^{[l]}\end{array}$$ $$\begin{array}{}\text{(2)}& A^{[l]}=g(Z^{[l]})\end{array}$$ Dabei bezeichnet $g$ die Aktivierungsfunktion (z.B. Sigmoid oder ReLU).

• Im Rückwärtslauf (engl. backpropagation) werden in einem einzelnen Rückwärtsschritt von Schicht $[l]$ auf Schicht $[l-1]$ die folgenden Gradienten berechnet:

  $$\begin{array}{}\text{(3)}& d{Z}^{[l]}:=\frac{\partial J}{\partial Z^{[l]}}=d{A}^{[l]}\ast g^{\prime }(Z^{[l]})\end{array}$$ $$\begin{array}{}\text{(4)}& d{W}^{[l]}:=\frac{\partial J}{\partial W^{[l]}}=\frac{1}{m}d{Z}^{[l]}{A}^{[l-1]T}\end{array}$$ $$\begin{array}{}\text{(5)}& d{b}^{[l]}:=\frac{\partial J}{\partial b^{[l]}}=\frac{1}{m}\sum _{i=1}^{m}d{Z}^{[l](i)}\end{array}$$ $$\begin{array}{}\text{(6)}& d{A}^{[l-1]}:=\frac{\partial J}{\partial A^{[l-1]}}=W^{[l]T}d{Z}^{[l]}\end{array}$$

  Dabei steht "$\ast$" für die elementweise Multiplikation.

• Beachten Sie:

  • Der Forwärtsschirtt übernimmt $A^{[l-1]}$ von dem vorherigen Schritt und gibt $A^{[l]}$ an den nächsten Schritt weiter.
  • Der Rückwärtschritt übernimmt $d{A}^{[l]}$ von dem vorherigen Schritt und gibt $d{A}^{[l-1]}$ an den nächsten Rückwärtsschritt weiter.

Parameteraktualisierung

• Die Aktualisierung der Parameter in Schicht $l$ erfolgt wie gewohnt durch: $$\begin{array}{}\text{(7)}& W^{[l]}=W^{[l]}-\alpha d{W}^{[l]}\end{array}$$ $$\begin{array}{}\text{(8)}& b^{[l]}=b^{[l]}-\alpha d{b}^{[l]}\end{array}$$ Dabei bezeichnet $\alpha$ die Lernrate.