Esecuzione di operazioni in batch su larga scala su oggetti Amazon S3 - Amazon Simple Storage Service

Esecuzione di operazioni in batch su larga scala su oggetti Amazon S3

Puoi utilizzare le operazioni in batch S3 per eseguire operazioni in batch su vasta scala su oggetti Amazon S3. Le operazioni in batch S3 possono eseguire una singola operazione su elenchi di oggetti Amazon S3 specificati. Un solo processo può eseguire l'operazione specificata su miliardi di oggetti contenenti exabyte di dati. Amazon S3 tiene traccia dell'avanzamento, invia notifiche e conserva un report di completamento dettagliato di tutte le operazioni, offrendo un'esperienza serverless verificabile e completamente gestita. Puoi utilizzare le operazioni in batch S3 tramite la AWS Management Console, AWS CLI, gli SDK Amazon o l’API REST.

Le operazioni in batch S3 permettono di copiare oggetti e impostare i tag dell'oggetto o le liste di controllo accessi (ACL). Puoi anche avviare ripristini di oggetti da Amazon S3 Glacier Flexible Retrieval o richiamare una funzione AWS Lambda per eseguire operazioni personalizzate utilizzando i tuoi oggetti. Puoi eseguire queste operazioni su un elenco personalizzato di oggetti oppure utilizzare un report di Amazon S3 Inventory per generare facilmente liste di oggetti. Poiché le operazioni in batch Amazon S3 utilizzano le stesse API di Amazon S3 che già utilizzi con Amazon S3, l'interfaccia ti sarà familiare.

Nozioni di base sulle operazioni in batch S3

Puoi utilizzare le operazioni in batch S3 per eseguire operazioni in batch su vasta scala su oggetti Amazon S3. Le operazioni in batch S3 possono eseguire una singola operazione su elenchi di oggetti Amazon S3 specificati.

Terminologia

In questa sezione vengono utilizzati i termini processo, operazione e attività, definiti di seguito:

Processo

Un processo è l'unità di lavoro di base per le operazioni in batch S3. Un processo include tutte le informazioni necessarie per eseguire l'operazione specificata sugli oggetti elencati nel file manifest Una volta fornite queste informazioni e richiesto l'inizio del processo, il processo esegue l'operazione specificata su ciascun oggetto del manifest.

Operazione

L'operazione è il tipo di operazione API, ad esempio la copia di oggetti, che desideri venga eseguita dal processo Batch Operations. Ogni processo esegue un singolo tipo di operazione in tutti gli oggetti specificati nel manifest.

Attività

Un'attività è l'unità di esecuzione per un processo. Un'attività rappresenta una singola chiamata a un'operazione API Amazon S3 o AWS Lambda per eseguire l'operazione del processo su un singolo oggetto. Nel corso del ciclo di vita di un processo, le operazioni in batch S3 creano un'unica attività per ogni oggetto specificato nel manifest.

Funzionamento di un processo Batch S3 Operations

Un processo è l'unità di lavoro di base per le operazioni in batch S3. Un processo include tutte le informazioni necessarie per eseguire l'operazione specificata su un elenco di oggetti. Per creare un processo, devi fornire alle operazioni in batch S3 un elenco di oggetti e specificare l'operazione da eseguire su tali oggetti.

Per informazioni sulle operazioni in batch supportate da S3, consulta Operazioni supportate dalle operazioni in batch S3.

Un processo in batch esegue l'operazione specificata su ciascun oggetto incluso nel manifest. Un manifest elenca gli oggetti che si desidera elaborare con un processo batch e viene memorizzato come oggetto in un bucket. Puoi utilizzare report in formato CSV (comma-separated values, valori separati da virgola) Inventario Amazon S3 come manifest per semplificare la creazione di elenchi di oggetti di grandi dimensioni presenti in un bucket. È anche possibile specificare un manifest in un formato CSV semplice che consente di eseguire operazioni batch su un elenco personalizzato di oggetti contenuti in un singolo bucket.

Dopo aver creato un processo, Amazon S3 elabora l'elenco di oggetti nel manifest ed esegue l'operazione specificata su ogni oggetto. Durante l'esecuzione di un processo, puoi monitorarne lo stato a livello di programmazione o tramite la console Amazon S3. È anche possibile configurare un processo affinché generi un rapporto di completamento al termine della sua esecuzione. Il rapporto di completamento descrive i risultati di ciascuna attività eseguita dal processo. Per ulteriori informazioni sul monitoraggio dei processi, consulta Gestione dei processi di operazioni in batch Amazon S3.