Best practice

Quando crei un esperimento di inferenza, considera quanto segue:

• Percentuale di campionamento del traffico: il campionamento del 100% delle richieste di inferenza consente di verificare che la variante shadow sia in grado di gestire il traffico di produzione quando viene promossa. Puoi iniziare con una percentuale di campionamento del traffico inferiore e collegarti man mano che acquisisci attendibilità nella tua variante, ma la best practice è quella di assicurarsi di aver aumentato il traffico al 100% prima della promozione.

• Tipo di istanza: a meno che non si utilizzino varianti shadow per valutare tipi o dimensioni di istanza alternativi, si consiglia di utilizzare lo stesso tipo, dimensione e numero di istanze in modo da avere la certezza che la variante shadow sia in grado di gestire il volume di richieste di inferenza dopo averla promossa.

• Dimensionamento automatico: per garantire che la variante shadow possa rispondere ai picchi nel numero di richieste di inferenza o ai cambiamenti nei modelli delle richieste di inferenza, consigliamo vivamente di configurare la scalabilità automatica sulle varianti shadow. Per informazioni su come configurare il dimensionamento automatico, consulta Ridimensionamento automatico dei modelli di SageMaker intelligenza artificiale di Amazon. Se hai configurato il dimensionamento automatico, puoi anche convalidare le modifiche alle policy di dimensionamento automatico senza influire sugli utenti.

• Monitoraggio dei parametri: dopo aver avviato un esperimento shadow e aver ricevuto un numero sufficiente di invocazioni, monitora la dashboard dei parametri per assicurarti che parametri come la latenza e il tasso di errore rientrino nei limiti accettabili. In questo modo puoi individuare tempestivamente eventuali errori di configurazione e adottare misure correttive. Per informazioni su come monitorare i parametri di un esperimento di inferenza in corso, consulta. Come visualizzare, monitorare e modificare gli shadow test