Einblicke in Mehrklassen-Modelle

Interpretieren der Voraussagen

Die tatsächliche Ausgabe eines Mehrklassen-Klassifizierungsalgorithmus ist ein Satz von Voraussagepunktzahlen. Die Punktzahl gibt die Gewissheit des Modells an, dass die angegebene Beobachtung zu jeder der Klassen gehört. Im Gegensatz zu binären Klassifizierungsproblemen müssen Sie für Voraussagen keinen Ergebnisgrenzwert auswählen. Die vorhergesagte Antwort ist die Klasse (z. B. Bezeichnung) mit der höchsten vorhergesagten Punktzahl.

Messung der ML-Modellgenauigkeit

Typische Metriken, die in Mehrklassen-Modellen verwendet werden, sind dieselben Metriken, die auch bei der binären Klassifizierung verwendet werden, nachdem über alle Klassen hinweg der Durchschnitt hierfür berechnet wurde. In Amazon ML wird die F1-Bewertung mit Makro-Durchschnitt zum Auswerten der prädiktiven Richtigkeit einer Mehrklassenmetrik verwendet.

F1-Bewertung mit Makro-Durchschnitt

Die F1-Bewertung ist eine binäre Klassifizierungsmetrik, die sowohl die binäre Metrikpräzision als auch Rückruf berücksichtigt. Sie ist das harmonische Mittel zwischen Präzision und Rückruf. Der Bereich liegt zwischen 0 und 1. Ein größerer Wert gibt eine bessere Richtigkeit an:

Die F1-Bewertung mit Makro-Durchschnitt ist der nicht gewichtete Durchschnitt der F1-Bewertung über alle Klassen in dem Mehrklassen-Modell. Sie berücksichtigt nicht die Frequenz des Auftretens der Klassen im Auswertungsdatensatz. Ein größerer Wert gibt eine bessere prädiktive Richtigkeit an: Das folgende Beispiel zeigt K Klassen in der Auswertungsdatenquelle:

Grundlegende F1-Bewertung mit Makro-Durchschnitt

Amazon ML bietet eine grundlegende Metrik für Mehrklassen-Modelle. Es handelt sich um die F1-Bewertung mit Makro-Durchschnitt für ein hypothetisches Mehrklassen-Modell, das immer die häufigste Klasse als Antwort vorhersagen würde. Wenn Sie beispielsweise das Genre eines Films vorhersagen würden, und das gängigste Genre in Ihren Schulungsdaten ist "Romanze", so würde das grundlegende Modell das Genre immer als "Romanze" vorhersagen. Sie würden das ML-Modell mit dieser Grundlage vergleichen, um auszuwerten, ob das ML-Modell besser als ein ML-Modell ist, das diese konstante Antwort vorhersagt.

Verwenden der Performance-Visualisierung

Amazon ML bietet eineKonfusionsmatrixals Möglichkeit zur Visualisierung der Richtigkeit von prädiktiven Mehrklassen-Klassifizierungsmodellen. Die Konfusionsmatrix veranschaulicht in einer Tabelle die Anzahl oder den Prozentwert richtiger und falscher Voraussagen für jede Klasse, indem die vorhergesagte Klasse einer Beobachtung mit der tatsächlichen Klasse verglichen wird.

Wenn Sie beispielsweise versuchen, einen Film in ein Genre zu klassifizieren, sagt das prädiktive Modell möglicherweise hervor, dass das Genre (Klasse) "Romanze" ist. Der tatsächliche Genre ist jedoch möglicherweise "Thriller". Wenn Sie die Richtigkeit eines Mehrklassen-Klassifizierungsmodells auswerten, identifiziert Amazon ML diese Fehlklassifikationen und zeigt die Ergebnisse in der Konfusionsmatrix an, wie in der folgenden Abbildung dargestellt.

Die folgenden Informationen werden in einer Konfusionsmatrix angezeigt:

• Anzahl der korrekten und falschen Vorhersagen für jede Klasse: Jede Zeile in der Konfusionsmatrix entspricht den Metriken für eine der tatsächlichen Klassen. In der ersten Zeile wird beispielsweise angezeigt, dass für Filme, die sich eigentlich im Genre "Romanze" befinden, die Voraussagen des Mehrklassen-ML-Modells in über 80 % der Fälle korrekt sind. Das Genre "Thriller" wird in weniger als 20 % der Fälle falsch vorhergesagt, genau wie das Genre "Abenteuer".

• Klassenweise F1-Bewertung mit Klassenweise: In der letzten Spalte wird die F1-Bewertung für die einzelnen Klassen angezeigt.

• Echte Klassenfrequenzen in den Auswertungsdaten: In der vorletzten Spalte wird angezeigt, dass im Auswertungsdatensatz 57,92% der Beobachtungen in den Auswertungsdaten unter „Romanze“ fallen, 21,23% unter „Thriller“ und 20,85% unter „Abenteuer“.

• Vorhergesagte Klassenfrequenzen für die Auswertungsdaten: In der letzten Zeile wird die Häufigkeit jeder Klasse in den Vorhersagen angezeigt. 77,56% der Beobachtungen werden „Romanze“ vorhergesagt, 9,33% als „Thriller“ und 13,12% als „Abenteuer“.

Die Amazon ML-Konsole bietet eine visuelle Anzeige, die bis zu 10 Klassen in der Konfusionsmatrix aufnimmt, aufgeführt von der häufigsten bis zur am wenigsten häufigen Klasse in den Auswertungsdaten. Wenn Ihre Auswertungsdaten mehr als 10 Klassen aufweisen, werden die 9 am häufigsten auftretenden Klassen in der Konfusionsmatrix angezeigt, und alle anderen Klassen werden in einer Klasse mit der Bezeichnung "Weitere" reduziert. Amazon ML bietet auch die Möglichkeit, die vollständige Konfusionsmatrix über einen Link auf der Mehrklassen-Visualisierungsseite herunterzuladen.