Esecuzione di operazioni sugli oggetti in blocco con le operazioni in batch - Amazon Simple Storage Service

Esecuzione di operazioni sugli oggetti in blocco con le operazioni in batch

È possibile utilizzare Operazioni in batch S3 per eseguire operazioni in batch su larga scala su oggetti Amazon S3. Le operazioni in batch S3 possono eseguire una singola operazione su elenchi di oggetti Amazon S3 specificati. Un solo processo può eseguire l'operazione specificata su miliardi di oggetti contenenti exabyte di dati. Amazon S3 tiene traccia dei progressi, invia notifiche e archivia un report dettagliato sul completamento di tutte le azioni, offrendo un'esperienza completamente gestita, verificabile e serverless. È possibile utilizzare Operazioni in batch S3 tramite la console Amazon S3, l'interfaccia AWS CLI, gli SDK AWS o REST API di Amazon S3.

Utilizza S3 Batch Operations per copiare gli oggetti e impostare i tag degli oggetti o le liste di controllo degli accessi (ACL). Puoi anche avviare ripristini di oggetti da Amazon S3 Glacier Flexible Retrieval o richiamare una funzione AWS Lambda per eseguire operazioni personalizzate utilizzando i tuoi oggetti. È possibile eseguire queste operazioni su un elenco personalizzato di oggetti, oppure utilizzare un rapporto Amazon S3 Inventory per generare facilmente elenchi di oggetti. Operazioni in batch Amazon S3 utilizza le stesse operazioni API di Amazon S3 già utilizzate con Amazon S3.

Nota

Per ulteriori informazioni sull'uso della classe di storage Amazon S3 Express One Zone con i bucket di directory, consulta S3 Express One Zone e Operazioni con i bucket di directory. Per ulteriori informazioni sull'utilizzo delle Operazioni in batch con S3 Express One Zone e bucket di directory, consulta Utilizzo di Operazioni in batch con i bucket di directory.

Nozioni di base su S3 Batch Operations

È possibile utilizzare Operazioni in batch S3 per eseguire operazioni in batch su larga scala su oggetti Amazon S3. S3 Batch Operations può eseguire una singola operazione o azione su elenchi di oggetti Amazon S3 specificati dall'utente.

Terminologia

In questa sezione si utilizzano i termini manifesto, processo, operazione e attività, definiti come segue:

Manifesto

Un manifesto è un oggetto Amazon S3 che contiene le chiavi dell'oggetto su cui si desidera che Amazon S3 agisca. Se si desidera creare un processo di Operazioni in batch, è necessario fornire un manifesto. Il manifesto generato dall'utente deve contenere il nome del bucket, la chiave dell'oggetto e, facoltativamente, la versione dell'oggetto per ogni oggetto. Se si fornisce un manifesto generato dall'utente, deve essere sotto forma di un report di Inventario Amazon S3 o di un file CSV.

È anche possibile fare in modo che Amazon S3 generi automaticamente un manifesto in base ai criteri di filtro degli oggetti specificati durante la creazione del processo. Questa opzione è disponibile per i processi di replica S3 Batch creati nella console di Amazon S3 o per qualsiasi tipo di processo creato tramite AWS Command Line Interface (AWS CLI), SDK AWS o REST API di Amazon S3.

Processo

Un processo è l'unità di lavoro di base per le operazioni in batch S3. Un processo include tutte le informazioni necessarie per eseguire l'operazione specificata sugli oggetti elencati nel file manifest Una volta fornite queste informazioni e richiesto l'inizio del processo, il processo esegue l'operazione specificata su ciascun oggetto del manifest.

Operazione

L'operazione è il tipo di operazione API, ad esempio la copia di oggetti, che desideri venga eseguita dal processo Batch Operations. Ogni processo esegue un singolo tipo di operazione in tutti gli oggetti specificati nel manifest.

Attività

Un'attività è l'unità di esecuzione per un processo. Un'attività rappresenta una singola chiamata a un'operazione API Amazon S3 o AWS Lambda per eseguire l'operazione del processo su un singolo oggetto. Nel corso del ciclo di vita di un processo, le operazioni in batch S3 creano un'unica attività per ogni oggetto specificato nel manifest.

Funzionamento di un processo Batch S3 Operations

Un processo è l'unità di lavoro di base per le operazioni in batch S3. Un processo include tutte le informazioni necessarie per eseguire l'operazione specificata su un elenco di oggetti. Per creare un processo, devi fornire alle operazioni in batch S3 un elenco di oggetti e specificare l'operazione da eseguire su tali oggetti.

Per informazioni sulle operazioni supportate da S3 Batch Operations, consulta Operazioni supportate dalle operazioni in batch S3.

Un processo batch esegue un'operazione specifica su ogni oggetto incluso nel suo manifesto. Un manifest elenca gli oggetti che si desidera che un processo batch elabori e viene memorizzato come oggetto in un bucket. Puoi utilizzare report in formato CSV (comma-separated values, valori separati da virgola) Catalogazione e analisi dei dati con Inventario S3 come manifest per semplificare la creazione di elenchi di oggetti di grandi dimensioni presenti in un bucket. È anche possibile specificare un manifest in un formato CSV semplice che consente di eseguire operazioni batch su un elenco personalizzato di oggetti contenuti in un singolo bucket.

Dopo aver creato un processo, Amazon S3 elabora l'elenco di oggetti nel manifest ed esegue l'operazione specificata su ogni oggetto. Durante l'esecuzione di un processo, puoi monitorarne lo stato a livello di programmazione o tramite la console Amazon S3. È anche possibile configurare un processo affinché generi un rapporto di completamento al termine della sua esecuzione. Il rapporto di completamento descrive i risultati di ciascuna attività eseguita dal processo. Per ulteriori informazioni sul monitoraggio dei processi, consulta Gestione dei processi S3 Batch Operations.

Tutorial su Operazioni in batch S3

La seguente esercitazione presenta le procedure complete end-to-end per alcune attività di Batch Operations.