Aus dem Kurs: Neuronale Netze und Deep Learning – Grundlagen

So erhalten Sie Zugriff auf diesen Kurs

Werden Sie noch heute Mitglied und erhalten Sie Zugriff auf mehr als 24.900 Kurse von Branchenfachleuten.

Was ist Momentum?

Was ist Momentum?

Aus dem Kurs: Neuronale Netze und Deep Learning – Grundlagen

Gratismonat starten Für Ihr Team erwerben

Was ist Momentum?

“

Momentum ist eine Methode, um die Suche nach dem Minimum einer Loss Function zu beschleunigen, oder anders gesagt, das neuronale Netz lernt damit schneller. Wie macht man das konkret? Hier ist eine Beispiel Loss Function, die hat diesmal 2 Koeffizienten X1 und X2, und lässt sich daher nicht im zweidimensionalen aber im dreidimensionalen Raum als hyperebene Darstellen und das sieht wie folgt aus. Drehen wir die Ebene ein bisschen noch auf die Seite, damit man gut sehen kann wie sie verläuft, unser Ziel ist es wie immer das Minimum, also den tiefsten Punkt dieser Ebene, dieser Funktion zu finden, ausgehend von einem zufälligen Startpunkt. Wir starten also zum Beispiel hier oben rechts und berechnen den Gradienten, der immer in Richtung des steilsten Abstiegs zeigt. Der Gradient ist umso größer je tiefer oder steiler die Selle ist. Wir berechnen also den Gradienten und passen die Gewichte an, sodass wir dem Minimum immer ein Stück näherkommen, das machen wir mehrmals. Im Grunde gehen wir…

Inhalt