Metriche per la valutazione del modello

Dopo aver addestrato il modello, Amazon Rekognition Custom Labels restituisce metriche dei test del modello, che puoi utilizzare per valutare le prestazioni del modello. Questo argomento descrive le metriche a tua disposizione e come capire se il tuo modello addestrato ha buone prestazioni.

La console di Amazon Rekognition Custom Labels fornisce le seguenti metriche come riepilogo dei risultati di addestramento e come metriche per ciascuna etichetta:

• Precisione

• Recupero

• F1

Ogni metrica che forniamo è una metrica comunemente usata per valutare le prestazioni di un modello di apprendimento automatico. Amazon Rekognition Custom Labels restituisce le metriche per i risultati dei test sull'intero set di dati di test, insieme a metriche per ogni etichetta personalizzata. Puoi anche esaminare le prestazioni del tuo modello personalizzato addestrato per ogni immagine nel set di dati di test. Per ulteriori informazioni, consulta Accesso alle metriche di valutazione (Console).

Valutazione delle prestazioni del modello

Durante i test, Amazon Rekognition Custom Labels prevede se un'immagine di test contiene un'etichetta personalizzata. Il punteggio di affidabilità è un valore che quantifica la certezza della previsione del modello.

Se il punteggio di affidabilità per un'etichetta personalizzata supera il valore di soglia, l'output del modello includerà questa etichetta. Le previsioni possono essere classificate nei seguenti modi:

• Vero positivo – Il modello di Amazon Rekognition Custom Labels prevede correttamente la presenza dell'etichetta personalizzata nell'immagine di test. Vale a dire che l'etichetta prevista è anche un'etichetta "dati acquisiti sul campo" per quell'immagine. Ad esempio, Amazon Rekognition Custom Labels restituisce correttamente l'etichetta di un pallone da calcio quando in un'immagine è presente un pallone da calcio.

• Falso positivo – Il modello Amazon Rekognition Custom Labels prevede erroneamente la presenza di un'etichetta personalizzata in un'immagine di test. Vale a dire che l'etichetta prevista non è un'etichetta "dati acquisiti sul campo" per l'immagine. Ad esempio, Amazon Rekognition Custom Labels restituisce l'etichetta di un pallone da calcio, ma non esiste un'etichetta di pallone da calcio nei dati acquisiti sul campo di quell'immagine.

• Falso negativo – Il modello Amazon Rekognition Custom Labels non prevede la presenza di un'etichetta personalizzata nell'immagine, ma i "dati acquisiti sul campo" di quell'immagine includono questa etichetta. Ad esempio, Amazon Rekognition Custom Labels non restituisce un'etichetta personalizzata ‘pallone da calcio’ per un'immagine che contiene un pallone da calcio.

• Vero negativo – Il modello Amazon Rekognition Custom Labels prevede correttamente che un'etichetta personalizzata non sia presente nell'immagine di test. Ad esempio, Amazon Rekognition Custom Labels non restituisce un'etichetta per un pallone da calcio per un'immagine che non contiene un pallone da calcio.

La console fornisce l'accesso a valori di vero positivo, falso positivo e falso negativo per ogni immagine nel set di dati di test. Per ulteriori informazioni, consulta Accesso alle metriche di valutazione (Console).

Questi risultati di previsione vengono utilizzati per calcolare le seguenti metriche per ogni etichetta e un aggregato per l'intero set di test. Le stesse definizioni si applicano alle previsioni fatte dal modello a livello del riquadro di delimitazione, con la differenza per cui tutte le metriche vengono calcolate su ogni riquadro di delimitazione (previsione o dati acquisiti sul campo) in ogni immagine di test.

Intersection over Union (IoU) e rilevamento di oggetti

Intersection over Union (IoU) misura la percentuale di sovrapposizione tra due riquadri di delimitazione degli oggetti sulla loro area combinata. L'intervallo è compreso tra 0 (sovrapposizione minima) e 1 (sovrapposizione completa). Durante il test, un riquadro di delimitazione previsto è corretto quando l'IoU del riquadro di delimitazione dei dati acquisiti sul campo e del riquadro di delimitazione previsto è almeno 0,5.

Soglia presupposta

Amazon Rekognition Custom Labels calcola automaticamente un valore di soglia presupposta (0-1) per ciascuna delle tue etichette personalizzate. Non puoi impostare il valore di soglia presupposta per un'etichetta personalizzata. La soglia presupposta per ogni etichetta è il valore al di sopra del quale una previsione viene considerata come vera o falsa positiva. È impostata in base al set di dati di test. La soglia presupposta viene calcolata in base al miglior punteggio F1 ottenuto sul set di dati di test durante l'addestramento del modello.

È possibile ottenere il valore della soglia presupposta per un'etichetta dai risultati di addestramento del modello. Per ulteriori informazioni, consulta Accesso alle metriche di valutazione (Console).

Modifiche ai valori di soglia presupposta vengono in genere utilizzate per migliorare la precisione e il recupero di un modello. Per ulteriori informazioni, consulta Miglioramento di un modello Amazon Rekognition Custom Labels. Poiché non è possibile impostare la soglia presupposta di un modello per un'etichetta, è possibile ottenere gli stessi risultati analizzando un'immagine DetectCustomLabels e specificando il parametro di input MinConfidence. Per ulteriori informazioni, consulta Analisi di un'immagine con un modello addestrato.

Precisione

Amazon Rekognition Custom Labels fornisce metriche di precisione per ogni etichetta e una metrica di precisione media per l'intero set di dati di test.

La precisione è la frazione di previsioni corrette (veri positivi) rispetto a tutte le previsioni del modello (veri e falsi positivi) alla soglia presupposta per una singola etichetta. All'aumentare della soglia, il modello potrebbe fare meno previsioni. In generale, tuttavia, avrà un rapporto più elevato tra veri positivi e falsi positivi rispetto a una soglia inferiore. I valori di precisione possibili vanno da 0 a 1 e valori più alti indicano una precisione maggiore.

Ad esempio, quando il modello prevede la presenza di un pallone da calcio in un'immagine, con che frequenza tale previsione è corretta? Supponiamo che ci sia un'immagine con 8 palloni da calcio e 5 sassi. Se il modello prevede 9 palloni da calcio, 8 previsti correttamente e 1 falso positivo, la precisione di questo esempio è 0,89. Tuttavia, se il modello prevedeva 13 palloni da calcio nell'immagine con 8 previsioni corrette e 5 errate, la precisione risultante è inferiore.

Per ulteriori informazioni, consulta Precisione e recupero.

Recupero

Amazon Rekognition Custom Labels fornisce metriche di recupero medio per ogni etichetta e una metrica di recupero medio per l'intero set di dati di test.

Il recupero è la frazione delle etichette del set di test che sono state previste correttamente al di sopra della soglia presupposta. È una misura della frequenza con cui il modello è in grado di prevedere correttamente un'etichetta personalizzata quando è effettivamente presente nelle immagini del set di test. L'intervallo di recupero è da 0 a 1. Valori più alti indicano un recupero più elevato.

Ad esempio, se un'immagine contiene 8 palloni da calcio, quanti di essi vengono rilevati correttamente? In questo esempio in cui un'immagine ha 8 palloni da calcio e 5 sassi, se il modello rileva 5 palloni da calcio, il valore di recupero è 0,62. Se dopo il riaddestramento, il nuovo modello rileva 9 palloni da calcio, inclusi tutti gli 8 presenti nell'immagine, il valore di recupero è 1,0.

Per ulteriori informazioni, consulta Precisione e recupero.

F1

Amazon Rekognition Custom Labels utilizza la metrica del punteggio F1 per misurare le prestazioni medie del modello di ciascuna etichetta e le prestazioni medie del modello dell'intero set di dati di test.

Le prestazioni del modello sono una misura aggregata che tiene conto sia della precisione sia del recupero su tutte le etichette (ad esempio, punteggio F1 o precisione media). Il punteggio delle prestazioni del modello è compreso tra 0 e 1. Quanto più alto è il valore, migliori sono le prestazioni del modello in termini di recupero e precisione. In particolare, le prestazioni del modello per attività di classificazione vengono generalmente misurate in base al punteggio F1. Tale punteggio è la media armonica dei punteggi di precisione e recupero alla soglia presupposta. Ad esempio, per un modello con una precisione di 0,9 e un recupero di 1,0, il punteggio F1 è 0,947.

Un valore elevato per il punteggio F1 indica che il modello offre buone prestazioni in termini di precisione e recupero. Se il modello non ha buone prestazioni, ad esempio, con una precisione bassa di 0,30 e un recupero elevato di 1,0, il punteggio F1 è 0,46. Analogamente, se la precisione è elevata (0,95) e il recupero è basso (0,20), il punteggio F1 è 0,33. In entrambi i casi, il punteggio F1 è basso e indica problemi con il modello.

Per ulteriori informazioni, consulta punteggio F1.

Utilizzo delle metriche

Per un determinato modello che hai addestrato e a seconda dell'applicazione, è possibile fare un compromesso tra precisione e recupero utilizzando il parametro di input MinConfidence a DetectCustomLabels. Con un valore MinConfidence più alto, in genere si ottiene una maggiore precisione (previsioni più corrette dei palloni da calcio), ma un recupero inferiore (più palloni da calcio effettivi non saranno rilevati). Con un valore MinConfidence più basso, si ottiene un maggiore recupero (più palloni da calcio reali previsti correttamente), ma una precisione inferiore (un numero maggiore di queste previsioni sarà errato). Per ulteriori informazioni, consulta Analisi di un'immagine con un modello addestrato.

Le metriche ti informano anche sulle misure che potresti adottare per migliorare le prestazioni del modello, se necessario. Per ulteriori informazioni, consulta Miglioramento di un modello Amazon Rekognition Custom Labels.

Nota

DetectCustomLabels restituisce previsioni comprese tra 0 e 100, che corrispondono all'intervallo della metrica da 0 a 1.