Test delle copie shadow

Con Amazon SageMaker puoi valutare eventuali modifiche alla tua infrastruttura di servizio dei modelli confrontando le sue prestazioni con l'infrastruttura attualmente distribuita. Questa pratica è nota come shadow testing. Lo shadow testing può aiutarti a individuare potenziali errori di configurazione e problemi di prestazioni prima che abbiano un impatto sugli utenti finali. Con SageMaker, non è necessario investire nella creazione della propria infrastruttura di shadow testing, quindi puoi concentrarti sullo sviluppo di modelli.

Puoi utilizzare questa funzionalità per convalidare le modifiche a qualsiasi componente della tua variante di produzione, vale a dire il modello, il container o l'istanza, senza alcun impatto sull'utente finale. È utile in casi che includono, ma non si limitano a, ciò che segue:

• Stai valutando la possibilità di promuovere in produzione un nuovo modello convalidato offline ma, prima di prendere questa decisione, desideri valutare i parametri delle prestazioni operative, come latenza e tasso di errore.

• Stai valutando la possibilità di apportare modifiche al container dell'infrastruttura di servizio, per esempio con l’applicazione di patch alle vulnerabilità o l'aggiornamento a versioni più recenti, e desideri valutare l'impatto di queste modifiche prima di andare in produzione.

• Stai valutando la possibilità di modificare la tua istanza ML e desideri valutare le prestazioni della nuova istanza rispetto a richieste di inferenza in tempo reale.

La SageMaker console offre un'esperienza guidata per gestire il flusso di lavoro dello shadow testing. Puoi configurare i test delle copie shadow per un periodo di tempo predefinito, monitorare lo stato di avanzamento del test tramite una dashboard in tempo reale, eseguire le operazioni di pulizia al completamento e intervenire in base ai risultati. Seleziona una variante di produzione su cui desideri eseguire il test e distribuisce SageMaker automaticamente la nuova variante in modalità shadow e le indirizza una copia delle richieste di inferenza in tempo reale all'interno dello stesso endpoint. Solo le risposte della variante di produzione vengono restituite all'applicazione chiamante. Puoi scegliere di scartare o registrare le risposte della variante shadow per il confronto offline. Per ulteriori informazioni sulle varianti di produzione e sulle varianti shadow, consulta Convalida sicura dei modelli in produzione. Tieni presente che se l'endpoint utilizza una delle funzionalità elencate nella pagina Esclusioni, non puoi utilizzare i test delle copie shadow.

Consulta Crea un test delle copie shadow per istruzioni sulla creazione di un test delle copie shadow.