Avvisi relativi alla valutazione

Amazon ML fornisce informazioni per consentire di convalidare la correttezza della valutazione del modello. Se la valutazione non soddisfa uno qualsiasi dei criteri di convalida, la console di Amazon ML avvisa l'utente visualizzando il criterio di convalida che è stato violato, come segue.

• La valutazione del modello ML è eseguita su dati utilizzati

  Amazon ML avvisa se si usa la stessa origine dati per l'addestramento e per la valutazione. Se si usa Amazon ML per dividere i dati, tale criterio di validità viene soddisfatto. Se non si utilizza Amazon ML per dividere i dati, assicurarsi di valutare il modello ML con un'origine dati diversa da quella utilizzata per l'addestramento.

• Sono stati utilizzati dati sufficienti per valutare il modello predittivo

  Amazon ML avvisa se il numero di osservazioni/record nella valutazione dei dati è inferiore al 10% del numero di osservazioni presenti nell'origine dati di addestramento. Per valutare correttamente il modello, è importante fornire un campione di dati sufficientemente grande. Questo criterio fornisce un controllo per informare l'utente se sta utilizzando dati troppo esigui. La quantità di dati richiesti per valutare il modello ML è soggettiva. In questo caso viene selezionato provvisoriamente il 10% in assenza di una misura migliore.

• Schema abbinato

  Amazon ML avvisa se lo schema dell'origine dati per l'addestramento e quello per la valutazione non coincidono. Se si hanno alcuni attributi che non esistono nell'origine dati di valutazione o se si hanno attributi aggiuntivi, Amazon ML visualizza questo avviso.

• Tutti i record dei file di valutazione sono stati utilizzati per la valutazione delle prestazioni del modello predittivo

  È importante sapere se tutti i record forniti per la valutazione siano stati effettivamente utilizzati per valutare il modello. Amazon ML avvisa se alcuni record dell'origine dati di valutazione non erano validi e non sono stati inclusi nel calcolo del parametro dell'accuratezza. Ad esempio, se manca la variabile di destinazione in alcune delle osservazioni dell'origine dati di valutazione, Amazon ML non è in grado di verificare se le previsioni del modello ML per tali osservazioni siano corrette. In questo caso, i record con valori di destinazione mancanti sono considerati non validi.

• Distribuzione della variabile di destinazione

  Amazon ML mostra la distribuzione dell'attributo di destinazione delle origini dati di addestramento e di valutazione, per consentire di verificare se la destinazione sia distribuita in modo analogo in entrambe le origini dati. Se il modello è stato addestrato su dati di addestramento con una distribuzione di destinazione diversa da quella della destinazione dei dati di valutazione, la qualità della valutazione potrebbe risentirne perché viene calcolata su dati con statistiche molto diverse. È consigliabile distribuire i dati di addestramento e quelli di valutazione in modo analogo e far sì che tali set di dati simulino quanto più possibile i dati che il modello incontrerà durante l'esecuzione delle previsioni.

  Se questo avviso viene attivato, provare a usare la strategia di divisione casuale per suddividere i dati in origini dati di addestramento e di valutazione. In rari casi, questo messaggio potrebbe erroneamente avvisare l'utente riguardo a differenze nella distribuzione di destinazione anche se i dati sono stati divisi in modo casuale. Amazon ML impiega statistiche di dati approssimative per valutare le distribuzioni dei dati e talvolta attiva questo avviso per errore.