Metriken für die Bewertung Ihres Modells

Nachdem Ihr Modell trainiert wurde, gibt Amazon Rekognition Custom Labels Metriken aus Modelltests zurück, anhand derer Sie die Leistung Ihres Modells bewerten können. In diesem Thema werden die Metriken beschrieben, die Ihnen zur Verfügung stehen, und es wird beschrieben, wie Sie feststellen können, ob Ihr trainiertes Modell gut funktioniert.

Die Amazon Rekognition Custom Labels-Konsole bietet die folgenden Metriken als Zusammenfassung der Trainingsergebnisse und als Metriken für jedes Label:

• Genauigkeit

• Wiedererkennung

• F1

Jede von uns bereitgestellte Metrik ist eine häufig verwendete Metrik zur Bewertung der Leistung eines Modells für Machine Learning. Amazon Rekognition Custom Labels gibt Metriken für die Testergebnisse für den gesamten Testdatensatz zurück, zusammen mit Metriken für jedes benutzerdefinierte Label. Sie können auch die Leistung Ihres trainierten benutzerdefinierten Modells für jedes Bild in Ihrem Testdatensatz überprüfen. Weitere Informationen finden Sie unter Zugreifen auf Bewertungsmetriken (Konsole).

Bewerten der Modellleistung

Während des Tests prognostiziert Amazon Rekognition Custom Labels, ob ein Testbild ein benutzerdefiniertes Label enthält. Der Konfidenzwert ist ein Wert, der die Sicherheit der Vorhersage des Modells quantifiziert.

Wenn der Konfidenzwert für ein benutzerdefiniertes Label den Schwellenwert überschreitet, wird dieses Label in die Modellausgabe aufgenommen. Vorhersagen können auf folgende Weise kategorisiert werden:

• Richtig positiv — Das Amazon Rekognition Custom Labels-Modell sagt das Vorhandensein des benutzerdefinierten Labels im Testbild korrekt voraus. Das heißt, das vorhergesagte Label ist auch ein „Ground Truth“-Label für dieses Bild. Amazon Rekognition Custom Labels gibt beispielsweise korrekt ein Fußball-Label zurück, wenn ein Fußball in einem Bild vorhanden ist.

• Falsch positiv — Das Amazon Rekognition Custom Labels-Modell sagt fälschlicherweise das Vorhandensein eines benutzerdefinierten Labels in einem Testbild. Das heißt, das vorhergesagte Label ist kein Ground-Truth-Label für das Bild. Amazon Rekognition Custom Labels gibt beispielsweise ein Fußball-Label zurück, aber in Ground Truth gibt es kein Fußball-Label für dieses Bild.

• Falsch negativ — Das Amazon Rekognition Custom Labels-Modell sagt nicht voraus, dass ein benutzerdefiniertes Label im Bild vorhanden ist, aber die „Ground Truth“ für dieses Bild beinhaltet dieses Label. Amazon Rekognition Custom Labels gibt beispielsweise kein benutzerdefiniertes Label „Fußball“ für ein Bild zurück, das einen Fußball enthält.

• Richtig negativ — Das Amazon Rekognition Custom Labels-Modell sagt korrekt voraus, dass im Testbild kein benutzerdefiniertes Label vorhanden ist. Amazon Rekognition Custom Labels gibt beispielsweise kein Fußball-Label für ein Bild zurück, das keinen Fußball enthält.

Die Konsole bietet Zugriff auf echte positive, falsch positive und falsch negative Werte für jedes Bild in Ihrem Testdatensatz. Weitere Informationen finden Sie unter Zugreifen auf Bewertungsmetriken (Konsole).

Diese Vorhersageergebnisse werden verwendet, um die folgenden Metriken für jedes Label und eine Zusammenfassung für Ihren gesamten Testsatz zu berechnen. Dieselben Definitionen gelten für Vorhersagen, die das Modell auf der Begrenzungsrahmen-Ebene trifft, mit dem Unterschied, dass alle Metriken für jeden Begrenzungsrahmen (Vorhersage oder Ground Truth) in jedem Testbild berechnet werden.

Intersection over Union (IoU) und Objekterkennung

Intersection over Union (IoU) misst den Prozentsatz der Überlappung zwischen zwei Objektbegrenzungsrahmen in ihrer kombinierten Fläche. Der Bereich reicht von 0 (niedrigste Überlappung) bis 1 (vollständige Überlappung). Beim Testen ist ein vorhergesagter Begrenzungsrahmen korrekt, wenn der IoU des Ground Truth-Begrenzungsrahmen und des vorhergesagten Begrenzungsrahmen mindestens 0,5 beträgt.

Angenommener Schwellenwert

Amazon Rekognition Custom Labels berechnet automatisch einen angenommenen Schwellenwert (0-1) für jedes Ihrer benutzerdefinierten Labels. Sie können den angenommenen Schwellenwert für ein benutzerdefiniertes Label nicht festlegen. Der angenommene Schwellenwert für jedes Label ist der Wert, ab dem eine Vorhersage als richtig oder falsch positiv gewertet wird. Er wird auf der Grundlage Ihres Testdatensatzes festgelegt. Der angenommene Schwellenwert wird auf der Grundlage des besten F1-Werts berechnet, der beim Modelltraining im Testdatensatz erzielt wurde.

Sie können den Wert des angenommenen Schwellenwerts für ein Label aus den Trainingsergebnissen des Modells ermitteln. Weitere Informationen finden Sie unter Zugreifen auf Bewertungsmetriken (Konsole).

Änderungen der angenommenen Schwellenwerte werden in der Regel dazu verwendet, die Präzision und Erinnerungsvermögen eines Modells zu verbessern. Weitere Informationen finden Sie unter Verbessern eines Amazon Rekognition Custom Labels-Modells. Da Sie den angenommenen Schwellenwert eines Modells für ein Label nicht festlegen können, können Sie dieselben Ergebnisse erzielen, indem Sie ein Bild mit MinConfidence analysieren und DetectCustomLabels-Eingabeparameter angeben. Weitere Informationen finden Sie unter Analysieren eines Bildes mit einem trainierten Modell.

Genauigkeit

Amazon Rekognition Custom Labels bietet Präzisionsmetriken für jedes Label und eine durchschnittliche Präzisionsmetrik für den gesamten Testdatensatz.

Präzision ist der Anteil der korrekten Vorhersagen (wahre positive Ergebnisse) im Vergleich zu allen Modellvorhersagen (wahr und falsch positiv) beim angenommenen Schwellenwert für ein einzelnes Label. Wenn der Schwellenwert erhöht wird, trifft das Modell möglicherweise weniger Vorhersagen. Im Allgemeinen wird es jedoch im Vergleich zu einem niedrigeren Schwellenwert ein höheres Verhältnis zwischen echten positiven Ergebnissen und falsch positiven Ergebnissen aufweisen. Mögliche Werte für die Präzision liegen zwischen 0 und 1, und höhere Werte bedeuten eine höhere Präzision.

Wenn das Modell beispielsweise voraussagt, dass ein Fußball in einem Bild zu sehen ist, wie oft ist diese Vorhersage richtig? Angenommen, es gibt ein Bild mit 8 Fußbällen und 5 Steinen. Wenn das Modell 9 Fußbälle vorhersagt (8 richtig vorhergesagt und 1 falsch positives Ergebnis), dann beträgt die Präzision für dieses Beispiel 0,89. Wenn das Modell jedoch 13 Fußbälle im Bild mit 8 richtigen und 5 falschen Vorhersagen vorhergesagt hat, ist die resultierende Präzision geringer.

Weitere Informationen finden Sie unter Präzision und Erinnerung.

Wiedererkennung

Amazon Rekognition Custom Labels bietet durchschnittliche Erinnerungsmetriken für jedes Label und eine durchschnittliche Erinnerungsmetrik für den gesamten Testdatensatz.

Erinnerung ist die Fraktion Ihrer Testset-Labels, die korrekt vorhergesagt wurde und über dem angenommenen Schwellenwert liegt Es ist ein Maß dafür, wie oft das Modell ein benutzerdefiniertes Label korrekt vorhersagen kann, obwohl es tatsächlich in den Bildern Ihres Testsatzes vorhanden ist. Der Bereich für das Erinnerungsvermögen liegt zwischen 0 und 1. Höhere Werte deuten auf ein höheres Erinnerungsvermögen hin.

Wenn ein Bild beispielsweise 8 Fußbälle enthält, wie viele davon werden korrekt erkannt? In diesem Beispiel, in dem ein Bild 8 Fußbälle und 5 Steine enthält, beträgt das Erinnerungsvermögen 0,62, wenn das Modell 5 der Fußbälle erkennt. Wenn das neue Modell nach dem erneuten Taining 9 Fußbälle erkennt, einschließlich aller 8, die im Bild vorhanden waren, beträgt das Erinnerungsvermögen 1,0.

Weitere Informationen finden Sie unter Präzision und Erinnerung.

F1

Amazon Rekognition Custom Labels verwendet die F1-Wert-Metrik, um die durchschnittliche Modellleistung jedes Labels und die durchschnittliche Modellleistung des gesamten Testdatensatzes zu messen.

Die Modellleistung ist eine aggregierte Metrik, die sowohl die Präzision als auch das Erinnerungsvermögen aller Labels berücksichtigt. (z. B. F1-Wert oder durchschnittliche Präzision). Der Modellleistungswert ist ein Wert zwischen 0 und 1. Je höher der Wert, desto besser schneidet das Modell sowohl im Hinblick auf Erinnerung als auch Präzision ab. Insbesondere die Modellleistung bei Klassifikationsaufgaben wird üblicherweise anhand des F1-Werts gemessen. Dieser Wert ist das harmonische Mittel der Präzision- und Erinnerungswerte am angenommenen Schwellenwert. Für ein Modell mit einer Präzision von 0,9 und einem Erinnerungswert von 1,0 beträgt der F1-Wert beispielsweise 0,947.

Ein hoher Wert für den F1-Wert weist darauf hin, dass das Modell sowohl im Hinblick auf Präzision als auch Erinnerung eine gute Leistung erbringt. Wenn das Modell nicht gut abschneidet, z. B. mit einer niedrigen Präzision von 0,30 und einem hohen Erinnerungsvermögen von 1,0, beträgt der F1-Wert 0,46. In ähnlicher Weise beträgt der F1-Wert 0,33, wenn die Präzision hoch (0,95) und das Erinnerungsvermögen niedrig (0,20) ist. In beiden Fällen ist der F1-Wert niedrig und deutet auf Probleme mit dem Modell hin.

Weitere Informationen finden Sie unter F1-Wert.

Verwenden von -Metriken

Für ein bestimmtes Modell, das Sie trainiert haben, können Sie je nach Anwendung einen Kompromiss zwischen Präzision und Erinnerung eingehen, indem Sie den MinConfidence Eingabeparameter für DetectCustomLabels verwenden. Bei einem höheren MinConfidence Wert erhalten Sie in der Regel eine höhere Präzision (genauere Vorhersagen von Fußbällen), aber ein geringeres Erinnerungsvermögen (es werden mehr echte Fußbälle übersehen). Bei einem niedrigeren MinConfidence Wert erhalten Sie ein höheres Erinnerungsvermögen (mehr tatsächlich korrekt vorhergesagte Fußbälle), aber eine geringere Präzision (mehr dieser Vorhersagen werden falsch sein). Weitere Informationen finden Sie unter Analysieren eines Bildes mit einem trainierten Modell.

Die Kennzahlen informieren Sie auch darüber, welche Maßnahmen Sie ergreifen könnten, um die Modellleistung bei Bedarf zu verbessern. Weitere Informationen finden Sie unter Verbessern eines Amazon Rekognition Custom Labels-Modells.

Anmerkung

DetectCustomLabels gibt Vorhersagen im Bereich von 0 bis 100 zurück, die dem Metrikbereich von 0-1 entsprechen.