Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Verbessern Ihres Amazon-Lookout-forVision-Modells
Während des Trainings testet Lookout for Vision Ihr Modell mit dem Testdatensatz und verwendet die Ergebnisse, um Leistungskennzahlen zu erstellen. Sie können Leistungsmetriken verwenden, um die Leistung Ihres Modells zu bewerten. Bei Bedarf können Sie Maßnahmen ergreifen, um Ihre Datensätze zu verbessern und anschließend Ihr Modell neu zu trainieren.
Wenn Sie mit der Leistung Ihres Modells zufrieden sind, können Sie damit beginnen, es zu verwenden. Weitere Informationen finden Sie unter Ausführen Ihres trainierten Amazon Lookout for Vision Vision-Modells.
Themen
Schritt 1: Bewerten Sie die Leistung Ihres Modells
Sie können von der Konsole und vom DescribeModelVorgang aus auf die Leistungskennzahlen zugreifen. Amazon Lookout for Vision bietet zusammenfassende Leistungskennzahlen für den Testdatensatz und die prognostizierten Ergebnisse für alle einzelnen Bilder. Wenn es sich bei Ihrem Modell um ein Segmentierungsmodell handelt, zeigt die Konsole auch Übersichtsmetriken für jedes Anomalie-Label an.
Informationen zur Anzeige der Leistungsmetriken und Testbildvorhersagen in der Konsole finden Sie unterAnzeigen von Leistungsmetriken (Konsole). Hinweise zum Zugriff auf Leistungsmetriken und Testbildvorhersagen mit demDescribeModel Vorgang finden Sie unterAnzeigen von Leistungsmetriken (SDK).
Metriken zur Bildklassifizierung
Amazon Lookout for Vision bietet die folgenden zusammenfassenden Metriken für die Klassifizierungen, die ein Modell beim Testen vornimmt:
Metriken des Bildsegmentierungsmodells
Wenn es sich bei dem Modell um ein Bildsegmentierungsmodell handelt, bietet Amazon Lookout for Vision zusammenfassende Bildklassifizierungsmetriken und zusammenfassende Leistungskennzahlen für jedes Anomalie-Label:
Genauigkeit
Die Präzisionsmetrik beantwortet die Frage: Wenn das Modell vorhersagt, dass ein Bild eine Anomalie enthält, wie oft ist diese Vorhersage richtig?
Präzision ist eine nützliche Kennzahl für Situationen, in denen die Kosten eines falsch positiven Ergebnisses hoch sind. Zum Beispiel die Kosten für das Entfernen eines nicht defekten Maschinenteils aus einer zusammengebauten Maschine.
Amazon Lookout for Vision bietet einen zusammenfassenden Präzisions-Metrikwert für den gesamten Testdatensatz.
Präzision ist der Anteil der korrekt prognostizierten Anomalien (wahre positive Ergebnisse) an allen vorhergesagten Anomalien (richtig und falsch positiv). Die Formel für Präzision lautet wie folgt.
Präzisionswert = richtig positiv/(richtig positiv + falsch positiv)
Die möglichen Werte für die Genauigkeit liegen im Bereich von 0—1. Die Amazon Lookout for Vision Vision-Konsole zeigt die Genauigkeit als Prozentwert an (0—100).
Ein höherer Genauigkeitswert bedeutet, dass mehr der vorhergesagten Anomalien korrekt sind. Nehmen wir zum Beispiel an, Ihr Modell sagt voraus, dass 100 Bilder anomal sind. Wenn 85 der Vorhersagen richtig sind (die wahren positiven Ergebnisse) und 15 falsch (die falsch positiven), wird die Genauigkeit wie folgt berechnet:
85 echte positive Ergebnisse/(85 echte positive + 15 falsch positive Ergebnisse) = 0,85 Präzisionswert
Wenn das Modell jedoch nur 40 Bilder von 100 Anomalievorhersagen korrekt vorhersagt, ist der resultierende Genauigkeitswert mit 0,40 niedriger (d. h. 40/(40 + 60) = 0,40). In diesem Fall trifft Ihr Modell mehr falsche als korrekte Vorhersagen. Um dieses Problem zu beheben, erwägen Sie, Ihr Modell zu verbessern. Weitere Informationen finden Sie unter Schritt 2: Verbessern des Modells.
Weitere Informationen finden Sie unter Precision and Recall
Wiedererkennung
Die Erinnerungsmetrik beantwortet die Frage: Wie viele der Gesamtzahl der anomalen Bilder im Testdatensatz werden korrekt als anomal vorhergesagt?
Die Rückrufmetrik ist in Situationen nützlich, in denen die Kosten eines falsch negativen Ergebnisses hoch sind. Zum Beispiel, wenn die Kosten für das Nichtentfernen eines defekten Teils hoch sind. Amazon Lookout for Vision bietet einen zusammenfassenden Abrufmetrikwert für den gesamten Testdatensatz.
Bei Recall handelt es sich um den Bruchteil der anomalen Testbilder, die korrekt erkannt wurden. Es ist ein Maß dafür, wie oft das Modell ein anomales Bild korrekt vorhersagen kann, obwohl es tatsächlich in den Bildern Ihres Testdatensatzes vorhanden ist. Die Formel für den Rückruf wird wie folgt berechnet:
Rückrufwert = richtig positiv/(richtig positiv + falsch negativ)
Der Bereich für den Rückruf liegt zwischen 0 und 1. Die Amazon Lookout for Vision Vision-Konsole zeigt den Rückruf als Prozentwert (0—100) an.
Ein höherer Erinnerungswert bedeutet, dass mehr der anomalen Bilder korrekt identifiziert wurden. Nehmen wir zum Beispiel an, der Testdatensatz enthält 100 anomale Bilder. Wenn das Modell 90 der 100 anomalen Bilder korrekt erkennt, erfolgt der Rückruf wie folgt:
90 echte positive Werte/(90 echte positive + 10 falsch negative) = 0,90 Erinnerungswert
Ein Erinnerungswert von 0,90 bedeutet, dass Ihr Modell die meisten anomalen Bilder im Testdatensatz korrekt vorhersagt. Wenn das Modell nur 20 der anomalen Bilder korrekt vorhersagt, ist die Erinnerungsrate mit 0,20 geringer (d. h. 20/(20 + 80) = 0,20).
In diesem Fall sollten Sie in Betracht ziehen, Ihr Modell zu verbessern. Weitere Informationen finden Sie unter Schritt 2: Verbessern des Modells.
Weitere Informationen finden Sie unter Precision and Recall
Formel-1-Ergebnis
Amazon Lookout for Vision liefert ein durchschnittliches Ergebnis der Modellleistung für den Testdatensatz. Insbesondere wird die Modellleistung für die Klassifizierung von Anomalien anhand der F1-Score-Metrik gemessen, bei der es sich um das harmonische Mittel der Präzisions- und Erinnerungswerte handelt.
Der F1-Score ist ein aggregiertes Maß, das sowohl die Präzision als auch die Erinnerungsfähigkeit berücksichtigt. Der Leistungsbewertung ist ein Wert zwischen 0 und 1. Je höher der Wert, desto besser schneidet das Modell sowohl beim Abruf als auch bei der Präzision ab. Für ein Modell mit einer Genauigkeit von 0,9 und einem Recall von 1,0 beträgt der F1-Wert beispielsweise 0,947.
Wenn das Modell nicht gut abschneidet, z. B. mit einer niedrigen Genauigkeit von 0,30 und einem hohen Recall von 1,0, liegt der F1-Wert bei 0,46. In ähnlicher Weise beträgt der F1-Wert 0,33, wenn die Genauigkeit hoch (0,95) und der Rückruf niedrig (0,20) ist. In beiden Fällen ist der F1-Wert niedrig, was auf Probleme mit dem Modell hinweist.
Weitere Informationen siehe Formel-1-Bewertung
Durchschnittliche Schnittmenge über Union (IoU)
Die durchschnittliche prozentuale Überlappung zwischen den Anomaliemasken in den Testbildern und den Anomalimasken, die das Modell für die Testbilder vorhersagt. Amazon Lookout for Vision gibt den durchschnittlichen IOU für jedes Anomalie-Label zurück und wird nur von Bildsegmentierungsmodellen zurückgegeben.
Ein niedriger Prozentwert weist darauf hin, dass das Modell die für ein Label prognostizierten Masken nicht genau mit den Masken in den Testbildern übereinstimmt.
Das folgende Bild hat einen niedrigen IOU. Die orangefarbene Maske entspricht der Vorhersage des Modells und deckt die blaue Maske, die die Maske in einem Testbild darstellt, nicht genau ab.
Das folgende Bild hat eine höhere IOU. Die blaue Maske (Testbild) wird von der orangefarbenen Maske (vorhergesagte Maske) dicht verdeckt.
Ergebnisse der Tests
Während des Tests prognostiziert das Modell die Klassifizierung für jedes Testbild im Testdatensatz. Das Ergebnis für jede Vorhersage wird wie folgt mit der Bezeichnung (Normal oder Anomalie) des entsprechenden Testbildes verglichen:
Die korrekte Vorhersage, dass ein Bild anomal ist, wird als wirklich positiv angesehen.
Die falsche Vorhersage, dass ein Bild anomal ist, wird als falsch positiv angesehen.
Die korrekte Vorhersage, dass ein Bild normal ist, wird als echtes Negativ angesehen.
Die falsche Vorhersage, dass ein Bild normal ist, wird als falsch negativ angesehen.
Handelt es sich bei dem Modell um ein Segmentierungsmodell, prognostiziert das Modell auch Masken und Anomaliebezeichnungen für die Position von Anomalien auf dem Testbild.
Amazon Lookout for Vision verwendet die Ergebnisse der Vergleiche, um die Leistungskennzahlen zu generieren.
Schritt 2: Verbessern des Modells
Die Leistungskennzahlen könnten zeigen, dass Sie Ihr Modell verbessern können. Wenn das Modell beispielsweise nicht alle Anomalien im Testdatensatz erkennt, weist Ihr Modell eine geringe Erinnerungsrate auf (das heißt, die Rückrufmetrik hat einen niedrigen Wert). Wenn Sie Ihr Modell verbessern müssen, sollten Sie Folgendes berücksichtigen:
Vergewissern Sie sich, dass die Bilder der Trainings- und Testdatensätze richtig beschriftet sind.
Reduzieren Sie die Variabilität der Bildaufnahmebedingungen wie Beleuchtung und Objekthaltung und trainieren Sie Ihr Modell auf Objekten desselben Typs.
Stellen Sie sicher, dass Ihre Bilder nur den erforderlichen Inhalt zeigen. Wenn Ihr Projekt beispielsweise Anomalien in Maschinenteilen feststellt, stellen Sie sicher, dass sich keine anderen Objekte in Ihren Bildern befinden.
Fügen Sie Ihren Zug- und Testdatensätzen weitere beschriftete Bilder hinzu. Wenn Ihr Testdatensatz eine hervorragende Erinnerungsfähigkeit und Präzision aufweist, das Modell jedoch bei der Bereitstellung schlecht abschneidet, ist Ihr Testdatensatz möglicherweise nicht repräsentativ genug und Sie müssen ihn erweitern.
-
Wenn Ihr Testdatensatz zu einer schlechten Erinnerung und Genauigkeit führt, sollten Sie prüfen, wie gut die Anomalien und die Bildaufnahmebedingungen in den Trainings- und Testdatensätzen übereinstimmen. Wenn Ihre Trainingsbilder nicht repräsentativ für die erwarteten Anomalien und Bedingungen sind, die Bilder in den Testbildern jedoch, fügen Sie dem Trainingstrainingsdatensatz Bilder mit den erwarteten Anomalien und Bedingungen hinzu. Wenn die Bilder des Testdatensatzes nicht den erwarteten Bedingungen entsprechen, die Trainingsbilder jedoch, aktualisieren Sie den Testdatensatz.
Weitere Informationen finden Sie unter Weitere Bilder hinzufügen. Eine alternative Möglichkeit, beschriftete Bilder zu Ihrem Trainingsdatensatz hinzuzufügen, besteht darin, eine Versuchserkennungsaufgabe auszuführen und die Ergebnisse zu überprüfen. Anschließend können Sie die verifizierten Bilder zum Trainingsdatensatz hinzufügen. Weitere Informationen finden Sie unter Verifizierung Ihres Modells mit einer Testerkennungsaufgabe.
Stellen Sie sicher, dass Ihr Trainings- und Testdatensatz über ausreichend unterschiedliche normale und anomale Bilder verfügt. Die Bilder müssen die Art von normalen und anomalen Bildern darstellen, auf die Ihr Modell stoßen wird. Wenn Sie beispielsweise Leiterplatten analysieren, sollten Ihre normalen Bilder die Positions- und Lötabweichungen von Komponenten wie Widerständen und Transistoren darstellen. Die anomalen Bilder sollten die verschiedenen Arten von Anomalien darstellen, auf die das System stoßen könnte, z. B. falsch angebrachte oder fehlende Komponenten.
-
Wenn Ihr Modell einen niedrigen durchschnittlichen IOU für erkannte Anomaliearten aufweist, überprüfen Sie die Maskenausgaben des Segmentierungsmodells. In einigen Anwendungsfällen, z. B. bei Kratzern, kann das Modell Kratzer ausgeben, die den Groundtruth-Kratzern in den Testbildern sehr nahe kommen, jedoch eine geringe Pixelüberlappung aufweisen. Zum Beispiel zwei parallel Linien, die 1 Pixel voneinander entfernt sind. In diesen Fällen ist der durchschnittliche IOU ein unzuverlässiger Indikator zur Messung des Erfolgs von Prognosen.
-
Wenn die Bildgröße klein oder die Bildauflösung niedrig ist, sollten Sie erwägen, Bilder mit einer höheren Auflösung aufzunehmen. Die Bildabmessungen können zwischen 64 x 64 Pixeln und 4096 Pixeln x 4096 Pixeln liegen.
-
Wenn die Größe der Anomalie gering ist, sollten Sie erwägen, die Bilder in separate Kacheln zu unterteilen und die gekachelten Bilder für Schulungen und Tests zu verwenden. Dadurch kann das Modell Fehler in einer größeren Größe in einem Bild erkennen.
Nachdem Sie Ihren Trainings- und Testdatensatz verbessert haben, trainieren Sie Ihr Modell erneut und bewerten Sie es erneut. Weitere Informationen finden Sie unter Trainieren Ihres Modells.
Wenn die Metriken zeigen, dass Ihr Modell eine akzeptable Leistung aufweist, können Sie die Leistung überprüfen, indem Sie dem Testdatensatz die Ergebnisse einer Versuchserkennungsaufgabe hinzufügen. Nach der Umschulung sollten die Leistungskennzahlen die Leistungskennzahlen des vorherigen Trainings bestätigen. Weitere Informationen finden Sie unter Verifizierung Ihres Modells mit einer Testerkennungsaufgabe.
