AWS Clean Rooms Metriche di valutazione del modello ML

Clean Rooms ML calcola il punteggio di richiamo e pertinenza per determinare le prestazioni del modello. Recall confronta la somiglianza tra i dati simili e i dati di addestramento. Il punteggio di pertinenza viene utilizzato per decidere quanto deve essere numeroso il pubblico, non se il modello ha buone prestazioni.

Il richiamo è una misura imparziale della somiglianza tra il segmento simile e i dati di addestramento. Il richiamo è la percentuale di utenti più simili (per impostazione predefinita, il 20%) tratta da un campione di dati di formazione inclusi nel gruppo di utenti iniziali in base alla funzione di generazione di audience. I valori vanno da 0 a 1. Valori più alti indicano un pubblico migliore. Un valore di richiamo approssimativamente uguale alla percentuale massima di contenitori indica che il modello di audience è equivalente alla selezione casuale.

Riteniamo che questa sia una metrica di valutazione migliore rispetto all'accuratezza, alla precisione e ai punteggi F1, perché Clean Rooms ML non ha etichettato accuratamente gli utenti veri negativi durante la creazione del suo modello.

Il punteggio di pertinenza a livello di segmento è una misura della somiglianza con valori che vanno da -1 (meno simile) a 1 (più simile). Clean Rooms ML calcola una serie di punteggi di pertinenza per segmenti di varie dimensioni per aiutarti a determinare la dimensione del segmento migliore per i tuoi dati. I punteggi di pertinenza diminuiscono in modo monotono all'aumentare della dimensione del segmento; pertanto, all'aumentare della dimensione del segmento, può essere meno simile ai dati iniziali. Quando il punteggio di pertinenza a livello di segmento raggiunge 0, il modello prevede che tutti gli utenti del segmento «lookalike» abbiano la stessa distribuzione dei dati iniziali. È probabile che l'aumento delle dimensioni dell'output includa utenti del segmento dei lookalike che non hanno la stessa distribuzione dei dati iniziali.

I punteggi di pertinenza sono normalizzati all'interno di una singola campagna e non devono essere utilizzati per confrontare campagne diverse. I punteggi di pertinenza non devono essere utilizzati come elemento di prova univoco per qualsiasi risultato aziendale. Questo perché questi sono influenzati da molteplici fattori complessi oltre alla pertinenza, come la qualità dell'inventario, il tipo di inventario e la tempistica della pubblicità.

I punteggi di pertinenza non devono essere utilizzati per giudicare la qualità del seme, ma piuttosto per stabilire se è possibile aumentarla o diminuirla. Considerare i seguenti esempi:

• Tutti i punteggi positivi: ciò indica che ci sono più utenti di output considerati simili rispetto a quelli inclusi nel segmento dei lookalike. Questo è comune per i dati sulle sementi che fanno parte di un grande mercato, come tutti coloro che hanno acquistato dentifricio nel mese scorso. Consigliamo di esaminare i dati relativi ai semi più piccoli, ad esempio a tutti coloro che hanno acquistato il dentifricio più di una volta nell'ultimo mese.

• Tutti i punteggi negativi o negativi per la dimensione desiderata del segmento simile: ciò indica che Clean Rooms ML prevede che non ci siano abbastanza utenti simili nel segmento di riferimento desiderato. Ciò può essere dovuto al fatto che i dati iniziali sono troppo specifici o che il mercato è troppo piccolo. Consigliamo di applicare un minor numero di filtri ai dati relativi alle sementi o di ampliare il mercato. Ad esempio, se i dati iniziali erano relativi a clienti che avevano acquistato un passeggino e un seggiolino per auto, potresti espandere il mercato ai clienti che hanno acquistato più prodotti per bambini.

I fornitori di dati di formazione determinano se vengono esposti i punteggi di pertinenza e i contenitori in cui vengono calcolati i punteggi di pertinenza.