Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Esecuzione dell'inferenza batch
Nota
L'inferenza in batch è disponibile nella versione di anteprima ed è soggetta a modifiche. L'inferenza in batch è attualmente disponibile solo tramite l'API. Accedi alle API in batch tramite i seguenti SDK.
Ti consigliamo di creare un ambiente virtuale per utilizzare l'SDK. Poiché le API di inferenza in batch non sono disponibili negli SDK più recenti, consigliamo di disinstallare l'ultima versione dell'SDK dall'ambiente virtuale prima di installare la versione con le API di inferenza in batch. Per un esempio guidato, consulta. Esempi di codice
Con l'inferenza in batch, puoi eseguire molteplici richieste di inferenza in modalità asincrona per elaborare un gran numero di richieste in modo efficiente, eseguendo l'inferenza sui dati memorizzati in un bucket S3. Puoi utilizzare l'inferenza in batch per migliorare le prestazioni dell'inferenza del modello su set di dati di grandi dimensioni.
Nota
L'inferenza in batch non è supportata per i modelli con provisioning.
Per visualizzare le quote per l'inferenza in batch, consulta Quote di inferenza in batch.
Amazon Bedrock supporta l'inferenza in batch nelle seguenti modalità.
-
Da testo a incorporamenti
-
Da testo a testo
-
Da testo a immagine
-
Da immagine a immagine
-
Dall'immagine agli incorporamenti
Per preparare i dati all'inferenza in batch, provvedi ad archiviarli in un bucket Amazon S3. Quindi, puoi eseguire e gestire i processi di inferenza batch utilizzando le API ModelInvocationJob.
Prima di poter eseguire l'inferenza in batch, devi ricevere le autorizzazioni per chiamare le API di inferenza in batch. Poi configuri un ruolo di servizio IAM Amazon Bedrock per disporre delle autorizzazioni per eseguire processi di inferenza in batch.
Puoi utilizzare le API di inferenza in batch scaricando e installando uno dei seguenti AWS pacchetti SDK.
Argomenti
- Configurazione delle autorizzazioni per l'inferenza in batch
- Formattazione e caricamento dei tuoi dati di inferenza
- Creazione di un processo di inferenza in batch
- Arresto di un processo di inferenza in batch
- Come ottenere dettagli su un processo di inferenza in batch
- Elencazione dei processi di inferenza in batch
- Esempi di codice
