Verwenden Sie erweiterte Metriken in Ihren Analysen

Im folgenden Abschnitt wird beschrieben, wie Sie die erweiterten Metriken für Ihr Modell in Amazon SageMaker Canvas finden und interpretieren.

Anmerkung

Erweiterte Metriken sind derzeit nur für numerische und kategoriale Prognosemodelle verfügbar.

Gehen Sie wie folgt vor, um die Registerkarte Erweiterte Metriken zu finden:

1. Öffnen Sie die SageMaker Canvas-Anwendung.

2. Wählen Sie im linken Navigationsbereich Meine Modelle aus.

3. Wählen Sie das Modell aus, das Sie gebaut haben.

4. Wählen Sie im Navigationsbereich die Registerkarte Analyzieren aus.

5. Wählen Sie auf der Registerkarte Analysieren die Registerkarte Erweiterte Metriken aus.

Auf der Registerkarte Erweiterte Metriken finden Sie die Registerkarte Leistung. Die Seite sieht aus wie der folgende Screenshot.

Oben sehen Sie eine Übersicht über die Ergebnisse der Metriken, einschließlich der Optimierungsmetrik. Dabei handelt es sich um die Metrik, die Sie bei der Erstellung des Modells zur Optimierung ausgewählt haben (oder die von Canvas standardmäßig ausgewählt wurde).

In den folgenden Abschnitten werden detailliertere Informationen zur Registerkarte „Leistung“ in den erweiterten Metriken beschrieben.

Leistung

Auf der Registerkarte Leistung sehen Sie eine Tabelle mit Metriken sowie Visualisierungen, die Canvas auf der Grundlage Ihres Modelltyps erstellt. Für kategoriale Vorhersagemodelle bietet Canvas eine Konfusionsmatrix, wohingegen Canvas für numerische Vorhersagemodelle Ihnen Residuen - und Fehlerdichtediagramme zur Verfügung stellt.

In der Tabelle mit den Metriken finden Sie eine vollständige Liste der Ergebnisse Ihres Modells für jede erweiterte Metrik, die umfassender ist als die Ergebnisübersicht oben auf der Seite. Die hier angezeigten Metriken hängen von Ihrem Modelltyp ab. Eine Referenz, die Ihnen hilft, die einzelnen Metriken zu verstehen und zu interpretieren, finden Sie unterReferenz zu Metriken.

Informationen zu den Visualisierungen, die je nach Modelltyp angezeigt werden können, finden Sie in den folgenden Optionen:

• Konfusionsmatrix — Canvas verwendet Konfusionsmatrizen, um Ihnen zu helfen, zu visualisieren, wann ein Modell korrekte Vorhersagen trifft. In einer Konfusionsmatrix sind Ihre Ergebnisse so angeordnet, dass die vorhergesagten Werte mit den tatsächlichen Werten verglichen werden. Im folgenden Beispiel wird erklärt, wie eine Konfusionsmatrix für ein Vorhersagemodell mit zwei Kategorien funktioniert, das positive und negative Kennzeichnungen vorhersagt:

  • Richtig positiv – Das Modell hat korrekt positiv vorhergesagt, als das wahre Etikett positiv war.

  • Richtig negativ – Das Modell hat korrekt negativ vorhergesagt, obwohl das wahre Etikett negativ war.

  • Falsch positiv – Das Modell hat fälschlicherweise positiv vorhergesagt, obwohl das wahre Etikett negativ war.

  • Falsch negativ – Das Modell hat fälschlicherweise negativ vorhergesagt, obwohl das wahre Etikett positiv war.

• Precision Recall-Kurve — Die Precision Recall-Kurve ist eine Visualisierung des Präzisions-Scores des Modells im Vergleich zum Recall-Score des Modells. Im Allgemeinen würde ein Modell, das perfekte Vorhersagen treffen kann, Genauigkeits- und Erinnerungswerte aufweisen, die beide bei 1 liegen. Die Precision-Recall-Kurve für ein recht genaues Modell ist sowohl in Bezug auf Präzision als auch Wiederauffindbarkeit relativ hoch.

• Residuen — Residuen sind die Differenz zwischen den tatsächlichen Werten und den vom Modell vorhergesagten Werten. In einem Residuendiagramm werden die Residuen im Vergleich zu den entsprechenden Werten dargestellt, um ihre Verteilung und etwaige Muster oder Ausreißer zu visualisieren. Eine Normalverteilung von Residuen um Null zeigt an, dass das Modell gut an die Daten angepasst ist. Wenn die Residuen jedoch erheblich schief sind oder Ausreißer aufweisen, kann dies darauf hindeuten, dass das Modell die Daten übermäßig anpasst oder dass es andere Probleme gibt, die behoben werden müssen.

• Fehlerdichte — Ein Fehlerdichtediagramm stellt die Verteilung der Fehler eines Modells dar. Es zeigt die Wahrscheinlichkeitsdichte der Fehler an jedem Punkt und hilft Ihnen dabei, Bereiche zu identifizieren, in denen das Modell möglicherweise überpasst oder systematische Fehler macht.