Come funziona Amazon S3 File Gateway

Per utilizzare un S3 File Gateway, iniziate scaricando un'immagine VM per il gateway. È quindi possibile attivare il gateway da AWS Management Console o tramite l'API Storage Gateway. Puoi anche creare un S3 File Gateway utilizzando un' EC2 immagine Amazon.

Dopo l'attivazione di S3 File Gateway, crei e configuri la condivisione di file e la associ al tuo bucket Amazon Simple Storage Service (Amazon S3). In questo modo la condivisione è accessibile ai client che utilizzano il protocollo Network File System (NFS) o Server Message Block (SMB). I file scritti in una condivisione di file diventano oggetti in Amazon S3, con il percorso come chiave. Esiste una one-to-one mappatura tra file e oggetti e il gateway aggiorna in modo asincrono gli oggetti in Amazon S3 man mano che modifichi i file. Gli oggetti esistenti nel bucket Amazon S3 vengono visualizzati come file nel file system e la chiave diventa il percorso. Gli oggetti sono crittografati con Amazon S3, chiavi di crittografia lato server (SSE-S3). Tutti i trasferimenti di dati vengono eseguiti tramite HTTPS.

Quando si inviano richieste di caricamento di dati HTTPS ad Amazon S3, File Gateway compila l'MD5 intestazione Content- con il MD5 checksum dei dati caricati. L'uso di questa intestazione fa sì che Amazon S3 restituisca un errore in caso di mancata corrispondenza tra MD5 il checksum calcolato da Amazon S3 e il valore ricevuto da File Gateway. Se viene restituito un errore di questo tipo, File Gateway invia nuovamente la richiesta.

Il servizio ottimizza il trasferimento di dati tra il gateway e AWS utilizzando caricamenti paralleli multiparte o download per intervallo di byte, per utilizzare meglio la larghezza di banda disponibile. La cache locale viene gestita per fornire un accesso a bassa latenza ai dati a cui si accede di recente e ridurre i costi di uscita dei dati. CloudWatch le metriche forniscono informazioni sull'uso delle risorse sulla macchina virtuale e sul trasferimento dei dati da e verso. AWS CloudTrail tiene traccia di tutte le chiamate API.

Con lo storage S3 File Gateway, puoi eseguire attività come l'acquisizione di carichi di lavoro cloud su Amazon S3, l'esecuzione di backup e archiviazione, il tiering e la migrazione dei dati di storage sul cloud. AWS Il diagramma seguente fornisce una panoramica dell'implementazione dello storage di file per Storage Gateway.

S3 File Gateway converte i file in oggetti S3 durante il caricamento di file su Amazon S3. L'interazione tra le operazioni sui file eseguite sulle condivisioni di file su S3 File Gateway e gli oggetti S3 richiede un'attenta considerazione di alcune operazioni durante la conversione tra file e oggetti.

Le operazioni comuni sui file modificano i metadati dei file, il che comporta l'eliminazione dell'oggetto S3 corrente e la creazione di un nuovo oggetto S3. La tabella seguente mostra esempi di operazioni sui file e l'impatto sugli oggetti S3.

Operazione sui file	Impatto sugli oggetti S3	Implicazione della classe di archiviazione
Rinomina file	Sostituisce l'oggetto S3 esistente e crea un nuovo oggetto S3 per ogni file	Potrebbero essere applicati costi di cancellazione anticipata e costi di recupero
Rinomina cartella	Sostituisce tutti gli oggetti S3 esistenti e crea nuovi oggetti S3 per ogni cartella e file nella struttura delle cartelle	Potrebbero essere applicati costi di cancellazione anticipata e costi di recupero
Modifica le autorizzazioni file/folder	Sostituisce l'oggetto S3 esistente e crea un nuovo oggetto S3 per ogni file o cartella	Potrebbero essere applicati costi di cancellazione anticipata e costi di recupero
Cambia proprietà file/folder	Sostituisce l'oggetto S3 esistente e crea un nuovo oggetto S3 per ogni file o cartella	Potrebbero essere applicati costi di cancellazione anticipata e costi di recupero
Aggiungi a un file	Sostituisce l'oggetto S3 esistente e crea un nuovo oggetto S3 per ogni file	Potrebbero essere applicati costi di cancellazione anticipata e costi di recupero

Quando un file viene scritto su S3 File Gateway da un client NFS o SMB, File Gateway carica i dati del file su Amazon S3 seguiti dai relativi metadati (proprietà, timestamp, ecc.). Il caricamento dei dati del file crea un oggetto S3 e il caricamento dei metadati per il file aggiorna i metadati per l'oggetto S3. Questo processo crea un'altra versione dell'oggetto, ottenendo due versioni di un oggetto. Se S3 Versioning è attivato, entrambe le versioni verranno archiviate.

Quando un file viene modificato in S3 File Gateway da un client NFS o SMB dopo che è stato caricato su Amazon S3, S3 File Gateway carica i dati nuovi o modificati anziché caricare l'intero file. La modifica del file comporta la creazione di una nuova versione dell'oggetto S3.

Quando S3 File Gateway carica file di grandi dimensioni, potrebbe essere necessario caricare porzioni più piccole del file prima che il client abbia finito di scrivere su S3 File Gateway. Alcuni motivi includono la liberazione di spazio nella cache o un'elevata velocità di scrittura su una condivisione di file. Ciò può comportare la creazione di più versioni di un oggetto nel bucket S3.

È necessario monitorare il bucket S3 per determinare quante versioni di un oggetto esistono prima di configurare le politiche del ciclo di vita per spostare gli oggetti in classi di storage diverse. È necessario configurare la scadenza del ciclo di vita per le versioni precedenti per ridurre al minimo il numero di versioni di un oggetto nel bucket S3. L'uso della replica Same-Region (SRR) o della replica Cross-Region (CRR) tra i bucket S3 aumenterà lo storage utilizzato.