Wir aktualisieren den Amazon Machine Learning Learning-Service nicht mehr und akzeptieren keine neuen Benutzer mehr dafür. Diese Dokumentation ist für bestehende Benutzer verfügbar, wir aktualisieren sie jedoch nicht mehr. Weitere Informationen finden Sie unterWas Amazon Machine Learning.
Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Evaluation von ML-Modellen
Sie sollten ein Modell evaluieren, um festzustellen, ob es das Ziel in neuen und zukünftigen Daten gut voraussagen kann. Da künftigen Instances unbekannte Zielwerte haben, müssen Sie die Richtigkeitsmetrik des ML-Modells für Daten prüfen, deren Zielantwort Sie bereits kennen, und diese Bewertung als Proxy für die Voraussagerichtigkeit für zukünftige Daten verwenden.
Um ein Modell ordnungsgemäß zu bewerten, sollten Sie eine Stichprobe der Daten zurückhalten, die mit dem Ziel (Referenzdaten) aus der Schulungsdatenquelle gekennzeichnet wurden. Das Testen der Voraussagerichtigkeit eines ML-Modell mit denselben Daten, die für die Schulung verwendet wurden, ist nicht sinnvoll, weil sich Modelle an spezifische Schulungsdaten „erinnern” anstatt sie zu verallgemeinern. Sobald Sie die Schulung des ML-Modells abgeschlossen haben, senden Sie die dem Modell die zurückgehaltenen Beobachtungen, deren Zielwerte Sie kennen. Anschließend vergleichen Sie die vom ML-Modell zurückgegebenen Voraussagen mit dem bekannten Zielwert. Schließlich berechnen Sie eine Zusammenfassungsmetrik, die Ihnen sagt, wie gut die prognostizierten und tatsächlichen Werte übereinstimmen.
In Amazon ML bewerten Sie ein ML-Modell, indem SieErstellen einer Bewertungaus. Um eine Bewertung für ein ML-Modell zu erstellen, benötigen Sie ein zu bewertendes ML-Modell und gekennzeichnete Daten, die nicht für Schulungszwecke verwendet wurden. Erstellen Sie zuerst eine Datenquelle für die Bewertung, indem Sie mit den zurück gehaltenen Daten eine Amazon ML-Datenquelle erstellen. Die bei der Evaluation verwendeten Daten müssen dasselbe Schema aufweisen wie die in der Schulung verwendeten Daten, und sie müssen tatsächlichen Werte für die Zielvariable enthalten.
Wenn sich Ihre Daten in einer einzigen Datei oder in einem Verzeichnis befinden, können Sie sie mithilfe der Amazon ML-Konsole trennen. Der Standard-Pfad im Create ML-Modellassistenten trennt die eingegebenen Datenquelle und verwendet die ersten 70 % als Schulungsdatenquelle sowie die verbleibenden 30 % als Evaluationsdatenquelle. Sie können das Teilungsverhältnis auch anpassen, indem Sie die Option Custom im Create ML-Modellassistenten verwenden, mit der Sie ein zufälliges Beispiel von 70 % für Schulungen und die verbleibenden 30 % für die Evaluation verwenden können. Um weitere benutzerdefinierte Teilungsverhältnisse anzugeben, verwenden Sie die Zeichenfolge zur Neuerstellung von Daten in der Create Datasource-API. Sobald Sie über eine Evaluationsdatenquelle und ein ML-Modell verfügen, können Sie eine Bewertung erstellen und die Ergebnisse davon überprüfen.
Themen
Verhindern von Overfitting
Beim Erstellen und Schulen eines ML-Modells soll das Modell ausgewählt werden, das die besten Voraussagen liefert, das bedeutet, es wird das Modell mit den besten Einstellungen (ML-Modelleinstellungen oder Hyperparameter) gewählt. In Amazon Machine Learning können Sie vier Hyperparameter einstellen: Anzahl Durchläufe, Regularisation, Modellgröße und Shuffle-Typ. Wenn Sie jedoch Modellparametereinstellungen wählen, welche die „beste” Voraussageleistung für Evaluationsdaten produzieren, können Sie Ihr Modell leicht „überanpassen”. Overfitting tritt auf, wenn ein Modell über gelernte Muster verfügt, die bei der Schulung und in Evaluationsdatenquellen auftreten, diese aber nicht auf allgemein auf Daten angewendet werden können. Dies geschieht häufig, wenn die Schulungsdaten alle Daten bei der Evaluation verwendeten Daten umfassen. Ein überangepasstes Modell zeigt bei einer Evaluation eine hervorragende Leistung, versagt jedoch bei der Anwendung auf ungesehene Daten.
Um zu verhindern, dass ein überangepasstes Modell als beste Modell ausgewählt wird, können Sie zusätzliche Daten reservieren, um die Leistung des ML-Modells zu validieren. Sie können Ihre Daten beispielsweise in Blöcke von 60 Prozent für Schulungen, 20 Prozent für die Bewertung und weitere 20 Prozent für die Validierung aufteilen. Nachdem Sie die Modellparameter ausgewählt haben, die für die Bewertungsdaten gut funktionieren, führen Sie eine zweite Bewertung mit den Validierungsdaten durch, um zu sehen, wie gut die ML-Modell die Validierungsdaten verarbeitet. Wenn das Modell Ihren Erwartungen hinsichtlich der Validierungsdaten entspricht, passt es die Daten nicht übermäßig an.
Unter Verwendung einer dritten Gruppe von Daten für die Validierung können Sie geeignete ML-Modellparameter wählen, um eine Überanpassung zu verhindern. Durch das Zurückhalten von Daten für Evaluation und Validierung stehen jedoch weniger Daten für die Schulung zur Verfügung. Dies ist besonders bei geringen Datenmengen ein Problem, da stets so viele Daten wie möglich für die Schulung verwendet werden sollten. Um dieses Problem zu lösen, können Sie eine Cross-Validierung durchführen. Weitere Informationen zu Cross-Validierungen finden Sie unter Kreuzvalidierung.
