Auswertungswarnungen

Amazon ML bietet Einblicke, damit Sie prüfen können, ob Sie das Modell korrekt ausgewertet haben. Wenn eines der Validierungskriterien nicht von der Auswertung erfüllt wurde, gibt die Amazon ML-Konsole eine Warnung aus, aus der Sie wie nachfolgend erklärt erkennen können, in welcher Weise gegen die Kriterien verstoßen wurde.

• Auswertung des ML-Modells erfolgt mit zurückgehaltenen Daten

  Amazon ML benachrichtigt Sie, wenn Sie für die Schulung und Auswertung dieselbe Datenquelle verwenden. Wenn Sie Amazon ML verwenden, um Ihre Daten aufzuteilen, erfüllen Sie dieses Validierungskriterium. Wenn Sie Amazon ML nicht verwenden, um Ihre Daten aufzuteilen, stellen Sie sicher, dass Sie Ihr ML-Modell mit einer anderen Datenquelle als der Schulungsdatenquelle bewerten.

• Genügend Daten wurden für die Auswertung des Voraussagemodells verwendet

  Amazon ML warnt Sie, wenn die Anzahl der Beobachtungen/Datensätze in den Auswertungsdaten weniger als 10% der Anzahl an Beobachtungen in Ihrer Schulungsdatenquelle beträgt. Um Ihr Modell korrekt zu bewerten, ist es wichtig, ein ausreichend großes Datenbeispiel bereitzustellen. Mit diesem Kriterium wird überprüft, ob Sie genügend Daten verwenden. Die für die Auswertung Ihres ML-Modells notwendige Datenmenge ist subjektiv. 10% ist hier als vorläufiger Richtwert eingestellt.

• Schema abgeglichen

  Amazon ML warnt Sie, wenn das Schema für die Schulung und die Auswertung der Datenquelle nicht gleich sind. Wenn Sie über bestimmte Attribute verfügen, die nicht in der Datenquelle vorhanden sind, oder zusätzliche Attribute besitzen, zeigt Amazon ML diese Warnung an.

• Alle Datensätze aus Auswertungsdateien wurden für eine vorausschauende Modelleistungsbewertung verwendet

  Es ist wichtig zu wissen, ob alle für die Auswertung bereitgestellten Datensätze tatsächlich für die Auswertung des Modells verwendet wurden. Amazon ML warnt Sie, wenn einige Datensätze in der Auswertungsdatenquelle ungültig waren und nicht für die genaue metrische Berechnung verwendet wurden. Wenn beispielsweise die Zielvariable für einige der Beobachtungen in der Auswertungsdatenquelle fehlt, kann Amazon ML nicht prüfen, ob die Voraussagen des ML-Modells für diese Beobachtungen richtig sind. In diesem Fall beträgt werden die Datensätze mit fehlenden Zielwerten als ungültig betrachtet.

• Verteilung der Zielvariable

  Amazon ML zeigt die Verteilung die Verteilung des Zielattributs der Schulungs- und Auswertungsdatenquelle an, damit Sie prüfen können, ob das Ziel in beiden Datenquellen ähnlich verteilt wurde. Wenn das Modell mit einer Schulungsdatenverteilung geschult wurde, die von der Verteilung des Ziels in den Auswertungsdaten abweicht, kann die Qualität der Auswertung leiden, da sie mithilfe von Daten mit sehr unterschiedlichen Statistiken berechnet wurde. Die Daten sollten in den Schulungs- und Auswertungsdaten ähnlich verteilt sein, und diese Datasets sollten so gut wie möglich den Daten des Modells beim Treffen von Voraussagen entsprechen.

  Wenn diese Warnung ausgelöst wird, versuchen Sie, mit der zufälligen Verteilungsstrategie die Daten in Schulungs- und Auswertungsdatenquellen aufzuteilen. In seltenen Fällen kann eine Warnung über Verteilungsunterschiede ausgegeben werden, obwohl Sie Ihre Daten zufällig verteilt haben. Amazon ML verwendet ungefähre Datenstatistiken, um die Datenverteilungen auszuwerten, wodurch diese Warnung gelegentlich irrtümlich ausgelöst werden kann.