Verifizierung Ihres Modells mit einer Testerkennungsaufgabe

Wenn Sie die Qualität Ihres Modells überprüfen oder verbessern möchten, können Sie eine Testerkennungsaufgabe ausführen. Eine Testerkennungsaufgabe erkennt Anomalien in neuen Bildern, die Sie bereitstellen.

Sie können die Erkennungsergebnisse überprüfen und die verifizierten Bilder zu Ihrem Datensatz hinzufügen. Wenn Sie separate Trainings- und Testdatensätze haben, werden die verifizierten Bilder dem Trainingsdatensatz hinzugefügt.

Sie können Bilder von Ihrem lokalen Computer oder Bilder überprüfen, die sich in einem Amazon-S3-Bucket befinden. Wenn Sie dem Datensatz verifizierte Bilder hinzufügen möchten, müssen sich Bilder in einem S3-Bucket im selben S3-Bucket befinden wie die Bilder in Ihrem Datensatz.

Anmerkung

Um eine Aufgabe zur Testerkennung auszuführen, stellen Sie sicher, dass für Ihren S3-Bucket die Versionierung aktiviert ist. Weitere Informationen siehe Verwenden von Versioning. Der Konsolen-Bucket wird mit aktivierter Versionierung erstellt.

Standardmäßig sind Ihre Bilder mit einem Schlüssel verschlüsselt, der AWS besitzt und verwaltet. Sie können auch Ihren eigenen Schlüssel für AWS Key Management Service (KMS) verwenden. Weitere Informationen finden Sie unter AWS Key Management Service Service-Konzepte.

Eine Aufgabe zur Erkennung einer Studie ausführen

Führen Sie die folgenden Schritte aus, um eine Testerkennungsaufgabe auszuführen.

So führen Sie eine Testerkennung aus (Konsole)

1. Öffnen Sie die Amazon Lookout for Vision Vision-Konsole unter https://console.aws.amazon.com/lookoutvision/.

2. Wählen Sie Get started (Erste Schritte) aus.

3. Wählen Sie im Navigationsbereich die Option Projekte aus.

4. Wählen Sie in der Projektansicht das Projekt aus, das die Version des Modells aus, das die anzeigen möchten.

5. Wählen Sie im Navigationsbereich unter dem Projektnamen die Option Versuchsprüfung aus.

6. Wählen Sie in der Ansicht Versuchserkennungen die Option Versuchserkennung ausführen aus.

7. Geben Sie auf der Seite Testerkennung ausführen unter Aufgabenname einen Namen für Ihre Testerkennungsaufgabe ein.

8. Wählen Sie unter Modell auswählen die Version des Modells aus, die Sie verwenden möchten.

9. Importieren Sie die Bilder entsprechend der Quelle der Bilder wie folgt:

   • Wenn Sie Ihre Quellbilder aus einem Amazon S3 S3-Bucket importieren, geben Sie die S3-URI ein.

     Tipp

     Wenn Sie die Beispielbilder von Getting Started verwenden, verwenden Sie den Ordner extra_images. Der Amazon S3 S3-URI lautets3://your bucket/circuitboard/extra_images.

   • Wenn Sie Bilder von Ihrem Computer hochladen, fügen Sie die Bilder hinzu, nachdem Sie „Anomalien erkennen“ ausgewählt haben.

10. (Optional) Wenn Sie Ihren eigenen AWS KMS KMS-Verschlüsselungsschlüssel verwenden möchten, gehen Sie wie folgt vor:

    1. Wählen Sie für Bilddatenverschlüsselung die Option Verschlüsselungseinstellungen anpassen (erweitert).

    2. Geben Sie in encryption.aws_kms_key den Amazon Resource Name (ARN) Ihres Schlüssels ein, oder wählen Sie einen vorhandenen AWS KMS KMS-Schlüssel aus. Um einen neuen Schlüssel zu erstellen, wählen Sie Create an AWS IMS-Schlüssel.

11. Wählen Sie Anomalien erkennen und dann Versuchserkennung ausführen aus, um die Aufgabe zur Versuchserkennung zu starten.

12. Überprüfen Sie den aktuellen Status in der Ansicht mit den Erkennungen der Studie. Es kann eine Weile dauern, bis die Erkennung der Studie abgeschlossen ist.

Überprüfung der Ergebnisse der Versuchserkennung

Die Überprüfung der Ergebnisse einer Versuchserkennung kann Ihnen helfen, Ihr Modell zu verbessern.

Wenn die Leistungskennzahlen schlecht sind, verbessern Sie Ihr Modell, indem Sie eine Testerkennung durchführen und dann verifizierte Bilder zum Datensatz hinzufügen (Trainingsdatensatz, falls Sie über separate Datensätze verfügen).

Wenn die Leistungskennzahlen des Modells gut sind, die Ergebnisse einer Versuchserkennung jedoch schlecht sind, können Sie Ihr Modell verbessern, indem Sie dem Datensatz verifizierte Bilder hinzufügen (Trainingsdatensatz). Wenn Sie über einen separaten Testdatensatz verfügen, sollten Sie erwägen, dem Testdatensatz weitere Bilder hinzuzufügen.

Nachdem Sie Ihrem Datensatz verifizierte Bilder hinzugefügt haben, trainieren Sie Ihr Modell erneut und bewerten Sie es erneut. Weitere Informationen finden Sie unter Trainieren Ihres Modells.

Um die Ergebnisse einer Studienfeststellung zu überprüfen

1. Öffnen Sie die Amazon Lookout for Vision Vision-Konsole unter https://console.aws.amazon.com/lookoutvision/.

2. Wählen Sie im Navigationsbereich die Option Projekte aus.

3. Wählen Sie auf der Seite Projekte das Projekt aus, das Sie verwenden möchten. Das Dashboard für Ihr Projekt wird angezeigt.

4. Wählen Sie im Navigationsbereich die Option Testerkennung aus.

5. Wählen Sie die Versuchsprüfung aus, die sie überprüfen möchten.

6. Wählen Sie auf der Seite mit der Testerkennung die Option Maschinenvorhersagen überprüfen aus.

7. Wählen Sie Alle Bilder auf dieser Seite auswählen.

8. Wenn die Vorhersagen korrekt sind, wählen Sie Als korrekt verifizieren aus. Andernfalls wählen Sie Als falsch verifizieren. Der Prognose- und Prognosekonfidenzwert wird unter jedem Bild angezeigt.

9. Wenn Sie die Bezeichnung für ein Bild ändern müssen, gehen Sie wie folgt vor:

   1. Wählen Sie unter dem Bild „Korrigieren“ oder „Falsch“.

   2. Wenn Sie die richtige Bezeichnung für ein Bild nicht ermitteln können, vergrößern Sie das Bild, indem Sie das Bild in der Galerie auswählen.

   Anmerkung

   Sie können Bildbeschriftungen filtern, indem Sie im Abschnitt Filter die gewünschte Bezeichnung oder den gewünschten Labelstatus auswählen. Im Abschnitt Sortieroptionen können Sie nach dem Konfidenzwert sortieren.

10. Wenn es sich bei Ihrem Modell um ein Segmentierungsmodell handelt und die Maske- oder Anomaliebezeichnung für ein Bild falsch ist, wählen Sie Anomaler Bereich unter dem Bild aus und öffnen Sie das Annotationswerkzeug. Aktualisieren Sie die Segmentierungsinformationen, indem Sie dies tunKorrigieren von Segmentierungsbeschriftungen mit dem Annotationstool.

11. Wiederholen Sie die Schritte 7 bis 10 auf jeder Seite nach Bedarf, bis alle Bilder überprüft wurden.

12. Wählen Sie Verifizierte Bilder zum Datensatz hinzufügen. Wenn Sie separate Datensätze haben, werden die Bilder dem Trainingsdatensatz hinzugefügt.

13. Trainiere dein Modell um. Weitere Informationen finden Sie unter Trainieren Ihres Modells.

Korrigieren von Segmentierungsbeschriftungen mit dem Annotationstool

Sie verwenden das Annotationswerkzeug, um ein Bild zu segmentieren, indem Sie anomale Bereiche mit einer Maske markieren.

So korrigieren Sie die Segmentierungsbeschriftungen für ein Bild mit dem Annotationswerkzeug

1. Öffnen Sie das Annotationstool, indem Sie in der Datensatzgalerie einen anomalen Bereich unter einem Bild auswählen.

2. Wenn die Anomaliebezeichnung für eine Maske nicht korrekt ist, wählen Sie die Maske und dann die richtige Anomaliebezeichnung unter Anomaliebeschriftungen aus. Falls erforderlich, wählen Sie Anomalie-Label hinzufügen, um ein neues Anomalie-Label hinzuzufügen.

3. Wenn die Maske nicht korrekt ist, wählen Sie unten auf der Seite ein Zeichenwerkzeug aus und zeichnen Sie Masken, die die anomalen Bereiche eng abdecken, für die Anomaliebeschriftung. Die folgende Abbildung zeigt ein Beispiel für eine Maske, die eine Anomalie dicht verdeckt.

   

   Im Folgenden finden Sie ein Beispiel für eine schlechte Maske, die eine Anomalie nicht genau verdeckt.

   

4. Wenn Sie weitere Bilder korrigieren müssen, wählen Sie Weiter und wiederholen Sie die Schritte 2 und 3.

5. Wählen Sie Senden und schließen, um die Aktualisierung der Bilder abzuschließen.