Comment fonctionne Amazon S3 File Gateway

Pour utiliser une passerelle de fichiers S3, vous devez commencer par télécharger une image de machine virtuelle pour la passerelle. Vous activez ensuite la passerelle depuis AWS Management Console ou via l'API Storage Gateway. Vous pouvez également créer une passerelle de fichiers S3 à l'aide d'une EC2 image Amazon.

Une fois la passerelle de fichiers S3 activée, vous créez et configurez votre partage de fichiers et associez ce partage à votre compartiment Amazon Simple Storage Service (Amazon S3). Cela rend le partage accessible aux clients à l'aide du protocole NFS (Network File System) ou SMB (Server Message Block). Les fichiers écrits sur un partage de fichiers deviennent des objets dans Amazon S3, avec le chemin comme clé. Il existe un one-to-one mappage entre les fichiers et les objets, et la passerelle met à jour les objets de manière asynchrone dans Amazon S3 lorsque vous modifiez les fichiers. Les objets existants dans le compartiment Amazon S3 apparaissent sous forme de fichiers dans le système de fichiers, et la clé devient le chemin. Les objets sont chiffrés avec des clés de chiffrement côté serveur Amazon S3 (SSE-S3). L'ensemble du transfert de données est effectué via HTTPS.

Lorsque vous envoyez des demandes de téléchargement de données HTTPS à Amazon S3, File Gateway remplit l'MD5 en-tête Content- avec la MD5 somme de contrôle des données en cours de téléchargement. L'utilisation de cet en-tête entraîne le renvoi d'un échec par Amazon S3 en cas de non-concordance entre la MD5 somme de contrôle calculée par Amazon S3 et la valeur reçue de la passerelle de fichiers. Si un tel échec est renvoyé, la passerelle de fichiers renvoie la demande.

Le service optimise le transfert de données entre la passerelle et AWS utilise des téléchargements parallèles en plusieurs parties ou des téléchargements par plage d'octets, afin de mieux utiliser la bande passante disponible. Le cache local est maintenu afin de fournir un accès à faible latence aux données récemment consultées et de réduire les frais de sortie de données. CloudWatch les métriques fournissent un aperçu de l'utilisation des ressources sur la machine virtuelle et du transfert de données vers et depuis AWS. CloudTrail suit tous les appels d'API.

Avec le stockage S3 File Gateway, vous pouvez effectuer des tâches telles que l'ingestion de charges de travail cloud vers Amazon S3, la réalisation de sauvegardes et d'archivage, la hiérarchisation et la migration des données de stockage vers le cloud. AWS Le schéma suivant fournit une vue d'ensemble du déploiement du stockage de fichiers pour Storage Gateway.

S3 File Gateway convertit les fichiers en objets S3 lors du chargement de fichiers sur Amazon S3. L'interaction entre les opérations de fichiers effectuées sur les partages de fichiers sur S3 File Gateway et les objets S3 nécessite que certaines opérations soient soigneusement prises en compte lors de la conversion entre fichiers et objets.

Les opérations courantes sur les fichiers modifient les métadonnées des fichiers, ce qui entraîne la suppression de l'objet S3 actuel et la création d'un nouvel objet S3. Le tableau suivant présente des exemples d'opérations sur les fichiers et leur impact sur les objets S3.

Fonctionnement du fichier	Impact sur un objet S3	Implication des classes de stockage
Renommer le fichier	Remplace l'objet S3 existant et crée un nouvel objet S3 pour chaque fichier	Des frais de suppression anticipée et des frais de récupération peuvent s'appliquer
Renommer le dossier	Remplace tous les objets S3 existants et crée de nouveaux objets S3 pour chaque dossier et chaque fichier de la structure de dossiers	Des frais de suppression anticipée et des frais de récupération peuvent s'appliquer
Modifier file/folder les autorisations	Remplace l'objet S3 existant et crée un nouvel objet S3 pour chaque fichier ou dossier	Des frais de suppression anticipée et des frais de récupération peuvent s'appliquer
Changer de file/folder propriétaire	Remplace l'objet S3 existant et crée un nouvel objet S3 pour chaque fichier ou dossier	Des frais de suppression anticipée et des frais de récupération peuvent s'appliquer
Ajouter à un fichier	Remplace l'objet S3 existant et crée un nouvel objet S3 pour chaque fichier	Des frais de suppression anticipée et des frais de récupération peuvent s'appliquer

Lorsqu'un fichier est écrit sur la passerelle de fichiers S3 par un client NFS ou SMB, la passerelle de fichiers télécharge les données du fichier sur Amazon S3, suivies de ses métadonnées (propriétés, horodatages, etc.). Le téléchargement des données du fichier crée un objet S3, et le téléchargement des métadonnées du fichier met à jour les métadonnées de l'objet S3. Ce processus crée une autre version de l'objet, ce qui donne lieu à deux versions d'un objet. Si le contrôle de version S3 est activé, les deux versions seront stockées.

Lorsqu'un fichier est modifié dans la passerelle de fichiers S3 par un client NFS ou SMB après son téléchargement sur Amazon S3, la passerelle de fichiers S3 télécharge les données nouvelles ou modifiées au lieu de télécharger le fichier dans son intégralité. La modification du fichier entraîne la création d'une nouvelle version de l'objet S3.

Lorsque la passerelle de fichiers S3 télécharge des fichiers plus volumineux, elle peut avoir besoin de télécharger de plus petits morceaux du fichier avant que le client n'ait fini d'écrire sur la passerelle de fichiers S3. Cela s'explique notamment par le fait de libérer de l'espace dans le cache ou d'augmenter le taux d'écriture sur un partage de fichiers. Cela peut entraîner la création de plusieurs versions d'un objet dans le compartiment S3.

Vous devez surveiller votre compartiment S3 pour déterminer le nombre de versions d'un objet existant avant de configurer des politiques de cycle de vie pour déplacer les objets vers différentes classes de stockage. Vous devez configurer l'expiration du cycle de vie pour les versions précédentes afin de minimiser le nombre de versions que vous avez pour un objet dans votre compartiment S3. L'utilisation de la réplication dans la même région (SRR) ou de la réplication entre régions (CRR) entre les compartiments S3 augmentera le stockage utilisé.