web-dev-qa-db-de.com

Was ist eine Verlustfunktion in einfachen Worten?

Kann jemand bitte mit einfachen Worten und möglicherweise mit einigen Beispielen erklären, was eine loss-Funktion im Bereich des maschinellen Lernens/neuronaler Netzwerke ist?

Dies kam heraus, als ich einem Tensorflow-Tutorial folgte: https://www.tensorflow.org/get_started/get_started

11
Federico

Die Verlustfunktion ist, wie Sie Ihre Ausgabe bestrafen. 

Das folgende Beispiel bezieht sich auf eine überwachte Einstellung, d. H. Wenn Sie wissen, dass das korrekte Ergebnis angezeigt werden soll. Verlustfunktionen können zwar auch in unbeaufsichtigten Einstellungen angewendet werden.

Angenommen, Sie haben ein Modell, das immer 1 vorhersagt. Nur der Skalarwert 1.

Auf dieses Modell können viele Verlustfunktionen angewendet werden. L2 ist die euklidische Entfernung.

Wenn ich einen Wert übergebe, sagen wir 2 und ich möchte, dass mein Modell die Funktion x ** 2 lernt, sollte das Ergebnis 4 sein (weil 2 * 2 = 4). Wenn wir den L2-Verlust anwenden, berechnet er als || 4 - 1 || ^ 2 = 9.

Wir können auch unsere eigene Verlustfunktion aufbauen. Wir können sagen, dass die Verlustfunktion immer 10 ist. Unabhängig davon, was unser Modell ausgibt, ist der Verlust konstant.

Warum kümmern wir uns um Verlustfunktionen? Nun, sie bestimmen, wie schlecht das Modell war und im Zusammenhang mit Backpropagation und neuronalen Netzwerken. Sie bestimmen auch die Gradienten aus der letzten zu propagierenden Ebene, damit das Modell lernen kann.

Wie aus anderen Kommentaren hervorgeht, sollten Sie meiner Meinung nach mit Grundmaterial beginnen. Hier ist ein guter Link, um mit http://neuralnetworksanddeeplearning.com/ zu beginnen.

10
Steven

Es beschreibt, wie weit das von Ihrem Netzwerk erzeugte Ergebnis vom erwarteten Ergebnis entfernt ist - es zeigt die Fehlergröße an, die Ihr Modell bei seiner Vorhersage gemacht hat.

Sie können diesen Fehler dann durch Ihr Modell "zurückpropagieren", indem Sie die Gewichte anpassen und das nächste Mal der Wahrheit näherkommen. 

12
Piotr Trochim

Es sei darauf hingewiesen, dass wir von verschiedenen Arten von Verlustfunktionen sprechen können: Regressionsverlustfunktionen und Klassifikationsverlustfunktionen. 

Die Regressionsverlustfunktion beschreibt die Differenz zwischen den von einem Modell vorhergesagten Werten und den tatsächlichen Werten der Beschriftungen.

Die Verlustfunktion hat also eine Bedeutung für markierte Daten, wenn wir die Vorhersage zu einem bestimmten Zeitpunkt mit dem Label vergleichen.

Diese Verlustfunktion wird häufig als Fehlerfunktion oder Fehlerformel bezeichnet.

Typische Fehlerfunktionen, die wir für Regressionsmodelle verwenden, sind L1 und L2, Huber-Verlust, Quantile-Verlust und Log-Cosh-Verlust.

Hinweis: Der L1-Verlust wird auch als mittlerer absoluter Fehler bezeichnet. L2-Verlust wird auch als mittlerer quadratischer Fehler oder quadratischer Verlust bezeichnet.

Verlustfunktionen für die Klassifizierung repräsentieren den Preis, der für die Ungenauigkeit der Vorhersagen bei Klassifizierungsproblemen bezahlt wird (Probleme bei der Identifizierung, zu welcher Kategorie eine bestimmte Beobachtung gehört).

Nennen Sie einige: Log-Verlust, Fokusverlust, Exponentialverlust, Gelenkverlust, relativer Entropieverlust und andere. 

Hinweis: Die Rechteckverlustfunktion kann zwar häufiger bei der Regression verwendet werden, sie kann jedoch neu geschrieben und zur Klassifizierung verwendet werden. 

0
prosti