AWS Clean Rooms Metriken zur Bewertung von ML-Modellen

Clean Rooms ML berechnet den Erinnerungs - und den Relevanzwert, um festzustellen, wie gut Ihr Modell abschneidet. Recall vergleicht die Ähnlichkeit zwischen den Lookalike-Daten und den Trainingsdaten. Der Relevanzwert wird verwendet, um zu entscheiden, wie groß die Zielgruppe sein sollte, und nicht, ob das Modell gut abschneidet.

Der Recall ist ein unvoreingenommenes Maß dafür, wie ähnlich das Lookalike-Segment den Trainingsdaten ist. Die Rückrufaktion ist der Prozentsatz der Nutzer, die sich am ähnlichsten sind (standardmäßig die ähnlichsten 20%) aus einer Stichprobe von Trainingsdaten, die in der Startzielgruppe nach dem Job zur Zielgruppengenerierung enthalten sind. Die Werte liegen zwischen 0 und 1. Größere Werte deuten auf eine bessere Zielgruppe hin. Ein Wiedererkennungswert, der in etwa dem maximalen Prozentsatz der Bins entspricht, weist darauf hin, dass das Zielgruppenmodell einer zufälligen Auswahl entspricht.

Wir halten dies für eine bessere Bewertungsmetrik als Genauigkeit, Präzision und F1-Werte, da Clean Rooms ML bei der Erstellung seines Modells nicht genau als negativ eingestufte Nutzer eingestuft hat.

Der Relevanzwert auf Segmentebene ist ein Maß für die Ähnlichkeit mit Werten im Bereich von -1 (am wenigsten ähnlich) bis 1 (am ähnlichsten). Clean Rooms ML berechnet eine Reihe von Relevanzwerten für verschiedene Segmentgrößen, damit Sie die beste Segmentgröße für Ihre Daten ermitteln können. Die Relevanzwerte nehmen monoton ab, wenn die Segmentgröße zunimmt. Daher können sie mit zunehmender Segmentgröße den Ausgangsdaten weniger ähnlich sein. Wenn der Relevanzwert auf Segmentebene 0 erreicht, prognostiziert das Modell, dass alle Benutzer im Lookalike-Segment aus derselben Verteilung stammen wie die Ausgangsdaten. Durch eine Erhöhung der Ausgabegröße werden wahrscheinlich auch Benutzer im Lookalike-Segment berücksichtigt, die nicht aus derselben Verteilung stammen wie die Ausgangsdaten.

Die Relevanzwerte werden innerhalb einer einzelnen Kampagne normalisiert und sollten nicht für Vergleiche zwischen Kampagnen verwendet werden. Relevanzwerte sollten nicht als Einzelnachweis für Geschäftsergebnisse verwendet werden. Dies liegt daran, dass diese neben der Relevanz auch von mehreren komplexen Faktoren beeinflusst werden, wie z. B. der Inventarqualität, der Inventarart und dem Zeitpunkt der Werbung.

Relevanzwerte sollten nicht dazu verwendet werden, die Qualität des Saatguts zu beurteilen, sondern eher, ob sie erhöht oder verringert werden kann. Betrachten Sie die folgenden Beispiele:

• Durchweg positive Werte — Dies deutet darauf hin, dass es mehr Output-Benutzer gibt, die als ähnlich prognostiziert werden, als dass sie im Lookalike-Segment enthalten sind. Dies ist häufig bei Saatgutdaten der Fall, die Teil eines großen Marktes sind, z. B. bei allen, die im letzten Monat Zahnpasta gekauft haben. Wir empfehlen, sich kleinere Samendaten anzusehen, z. B. alle Personen, die im letzten Monat mehr als einmal Zahnpasta gekauft haben.

• Alle Werte sind negativ oder negativ für Ihre gewünschte Lookalike-Segmentgröße — Dies deutet darauf hin, dass Clean Rooms ML davon ausgeht, dass es in der gewünschten Lookalike-Segmentgröße nicht genügend ähnliche Benutzer gibt. Das kann daran liegen, dass die Startdaten zu spezifisch sind oder der Markt zu klein ist. Wir empfehlen, entweder weniger Filter auf die Saatgutdaten anzuwenden oder den Markt zu erweitern. Wenn es sich bei den ursprünglichen Ausgangsdaten beispielsweise um Kunden handelte, die einen Kinderwagen und einen Kindersitz gekauft haben, könnten Sie den Markt auf Kunden ausdehnen, die mehrere Babyartikel gekauft haben.

Die Anbieter von Schulungsdaten legen fest, ob die Relevanzwerte veröffentlicht werden und welche Felder für die Berechnung der Relevanzwerte verwendet werden.