Valutazione con Inspect AI

Puoi valutare i tuoi modelli Amazon Nova personalizzati utilizzando Inspect AI, un framework di valutazione open source. Inspect AI supporta i benchmark standardizzati della comunità di ricerca sull'intelligenza artificiale, consentendoti di misurare le prestazioni dei modelli nell'ambito di attività di conoscenza, ragionamento, codifica e sicurezza.

Scegliete l'approccio di valutazione più adatto al vostro flusso di lavoro:

• Inspect AI SDK: esegui valutazioni in modo interattivo da un notebook o da un ambiente locale rispetto al tuo SageMaker endpoint di inferenza. Ideale per lo sviluppo, l'iterazione e i test rapidi.

• Ispeziona il contenitore AI: esegui valutazioni su larga scala come SageMaker Training Jobs. Ideale per le pipeline di valutazione della produzione, il concatenamento di più benchmark e i flussi di lavoro automatizzati.

Flusso di lavoro consigliato: inizia con l'SDK Inspect AI per creare e testare i tuoi benchmark di valutazione personalizzati utilizzando il prompt di onboarding dell'assistente AI, quindi esegui le valutazioni sulla tua soluzione di inferenza preferita. Una volta che i benchmark sono stati completamente convalidati, puoi passare senza problemi alla valutazione basata sul lavoro utilizzando il contenitore Inspect AI, senza bisogno di modifiche al codice. Basta spostare i file di benchmark e il file delle ricette su S3 e avviare il processo.

Argomenti

• Valuta con Inspect AI SDK

• Valuta con Inspect AI Container