Gestion de S3 Intelligent-Tiering
Le classe de stockage S3 Intelligent-Tiering permet de réduire automatiquement les coûts de stockage grâce à trois niveaux d'accès à faible latence et à haut débit. Il offre également des fonctionnalités d'archivage en option vous permettant de bénéficier des coûts de stockage les plus bas dans le cloud pour les données accessibles sur une période allant de quelques minutes à plusieurs heures. La classe de stockage S3 Intelligent-Tiering prend en charge toutes les fonctions Amazon S3, y compris les suivantes :
-
S3 Inventory, pour vérifier le niveau d'accès des objets
-
Réplication S3, pour répliquer des données vers n'importe quelle Région AWS
-
S3 Storage Lens, pour afficher les métriques d'utilisation et d'activité du stockage
-
Chiffrement côté serveur, pour protéger les données objet
-
Verrouillage des objets S3, pour empêcher la suppression accidentelle de données
-
AWS PrivateLink, pour accéder à Amazon S3 via un point de terminaison privé dans un cloud privé virtuel (VPC)
Identification des objets du niveau d'accès S3 Intelligent-Tiering qui sont stockés dans
Pour obtenir la liste de vos objets et de leurs métadonnées correspondantes, y compris de leur niveau d'accès S3 Intelligent-Tiering, vous pouvez utiliser l'inventaire Amazon S3. L'inventaire S3 fournit des fichiers de sortie CSV, ORC ou Parquet qui répertorient vos objets et leurs métadonnées correspondantes. Vous pouvez recevoir ces rapports d'inventaire sur une base quotidienne ou hebdomadaire pour un compartiment Amazon S3 ou un préfixe partagé. (Le préfixe partagé fait référence aux objets dont les noms commencent par une chaîne commune.)
Affichage de l'état de l'archive d'un objet dans S3 Intelligent-Tiering
Vous pouvez configurer des notifications d'événements S3 afin d'être informé lorsqu'un objet de la classe de stockage S3 Intelligent-Tiering passe au niveau Archive Access ou Deep Archive Access. Pour en savoir plus, consultez Activation des notifications d'événement.
Amazon S3 peut publier des notifications d'événement dans une rubrique Amazon Simple Notification Service (Amazon SNS), une file d'attente Amazon Simple Queue Service (Amazon SQS) ou une fonction AWS Lambda. Pour de plus amples informations, veuillez consulter Notifications d'événements Amazon S3.
Le message suivant est un exemple de message envoyé par Amazon S3 pour publier un événement s3:IntelligentTiering
. Pour en savoir plus, consultez Structure des messages d'événements.
{ "Records":[ { "eventVersion":"2.3", "eventSource":"aws:s3", "awsRegion":"us-west-2", "eventTime":"1970-01-01T00:00:00.000Z", "eventName":"IntelligentTiering", "userIdentity":{ "principalId":"s3.amazonaws.com" }, "requestParameters":{ "sourceIPAddress":"s3.amazonaws.com" }, "responseElements":{ "x-amz-request-id":"C3D13FE58DE4C810", "x-amz-id-2":"FMyUVURIY8/IgAtTv8xRjskZQpcIZ9KG4V5Wp6S7S/JRWeUWerMUE5JgHvANOjpD" }, "s3":{ "s3SchemaVersion":"1.0", "configurationId":"testConfigRule", "bucket":{ "name":"mybucket", "ownerIdentity":{ "principalId":"A3NL1KOZZKExample" }, "arn":"arn:aws:s3:::mybucket" }, "object":{ "key":"HappyFace.jpg", "size":1024, "eTag":"d41d8cd98f00b204e9800998ecf8427e", } }, "intelligentTieringEventData":{ "destinationAccessTier": "ARCHIVE_ACCESS" } } ] }
Vous pouvez également utiliser une demande d'objet HEAD
pour afficher le statut d'archivage d'un objet. Si un objet est stocké dans la classe de stockage S3 Intelligent-Tiering et se trouve dans l'un des niveaux d'archivage, la réponse de l'objet HEAD
affiche le niveau d'archivage actuel. Pour afficher le niveau d'archivage, la demande utilise l'en-tête x-amz-archive-status.
La demande d'objet HEAD
suivante renvoie les métadonnées d'un objet (dans ce cas,
).my-image.jpg
HEAD /
my-image.jpg
HTTP/1.1 Host: bucket.s3.region
.amazonaws.com Date: Wed, 28 Oct 2009 22:32:00 GMT Authorization: AWS AKIAIOSFODNN7EXAMPLE:02236Q3V0RonhpaBX5sCYVf1bNRuU=
Vous pouvez également utiliser des demandes d'objet HEAD
pour surveiller le statut d'une demande restore-object
. Si la restauration de l'archive est en cours, la réponse de l'objet HEAD
inclut l'en-tête x-amz-restore.
L'exemple suivant de réponse d'objet HEAD
montre un objet archivé à l'aide de S3 Intelligent-Tiering avec une demande de restauration en cours.
HTTP/1.1 200 OK x-amz-id-2: FSVaTMjrmBp3Izs1NnwBZeu7M19iI8UbxMbi0A8AirHANJBo+hEftBuiESACOMJp x-amz-request-id: E5CEFCB143EB505A Date: Fri, 13 Nov 2020 00:28:38 GMT Last-Modified: Mon, 15 Oct 2012 21:58:07 GMT ETag: "1accb31fcf202eba0c0f41fa2f09b4d7" x-amz-storage-class: 'INTELLIGENT_TIERING' x-amz-archive-status: 'ARCHIVE_ACCESS' x-amz-restore: 'ongoing-request="true"' x-amz-restore-request-date: 'Fri, 13 Nov 2020 00:20:00 GMT' Accept-Ranges: bytes Content-Type: binary/octet-stream Content-Length: 300 Server: AmazonS3
Restauration des objets à partir des niveaux d'accès Archive et Deep Archive de S3 Intelligent-Tiering
Pour accéder aux objets des niveaux Archive Access et Deep Archive Access de S3 Intelligent-Tiering, vous devez lancer la demande de restauration, puis attendre que l'objet soit placé au niveau d'accès fréquent. Pour plus d'informations sur les objets archivés, consultez Utilisation des objets archivés.
Lorsque vous restaurez un objet depuis les niveaux d'accès Archive et Deep Archive, l'objet retourne au niveau d'accès Fréquent. Par la suite, si vous n'accédez pas à l'objet dans les 30 jours consécutifs, il sera automatiquement déplacé vers le niveau d'accès Peu fréquent. Ensuite, après un minimum de 90 jours consécutifs sans accès, l'objet passe au niveau Archive Access. Après un minimum de 180 jours consécutifs sans accès, l'objet passe au niveau Deep Archive Access. Pour de plus amples informations, veuillez consulter Fonctionnement de S3 Intelligent-Tiering.
Note
Lorsque vous restaurez un objet depuis S3 Intelligent-Tiering, aucun frais de récupération n'est facturé pour les récupérations Standard ou En bloc. Toutefois, les demandes de restauration ultérieures appelées sur un objet qui a déjà été restauré sont facturées en tant que demandes GET. Pour obtenir des informations sur la tarification, consultez Tarification Amazon S3
Le tableau suivant récapitule les vitesses de récupération des objets archivés.
Classe ou niveau de stockage | Accéléré | Standard (avec opérations par lot) | Standard (sans opérations par lot) | En bloc |
---|---|---|---|---|
Niveau Archive Access de S3 Intelligent-Tiering |
1 à 5 minutes |
Quelques minutes jusqu'à 5 heures |
3 à 5 heures |
5 à 12 heures |
Niveau Deep Archive Access de S3 Intelligent-Tiering |
Non disponible |
9-12 heures |
Dans les 12 heures |
Dans les 48 heures |
Note
Les récupérations accélérées sont une fonction premium disponible pour le niveau d'accès Archive de S3 Intelligent-Tiering et sont facturées au tarif des demandes et de la récupération accélérées.
Pour obtenir des informations sur la tarification Amazon S3, consultez Tarification Amazon S3
Vous pouvez restaurer un objet archivé à l'aide de la console Amazon S3, des opérations par lot S3, de l'API REST et de l'AWS Command Line Interface (AWS CLI).
Pour restaurer un objet à l'aide de la console Amazon S3
Connectez-vous à la AWS Management Console et ouvrez la console Amazon S3 à l'adresse https://console.aws.amazon.com/s3/
. -
Dans le panneau de navigation de gauche, choisissez Compartiments. Dans la liste Buckets (Compartiments), choisissez le nom du compartiment qui contient les objets que vous souhaitez restaurer.
-
Dans la liste Objets, cochez la case d'un ou de plusieurs objets que vous restaurez. Choisissez Actions, puis choisissez Restaurer depuis les niveaux Archive Access et Deep Archive Access de S3 Intelligent-Tiering.
-
Choisissez Restore (Restaurer).
Note
Les objets des niveaux Archive Access et Deep Archive Access de S3 Intelligent-Tiering sont restaurés automatiquement au niveau d'accès fréquent.
Pour restaurer des objets depuis les niveaux Archive Access et Deep Archive Access de S3 Intelligent-Tiering, utilisez la commande restore-object
.
L'exemple de commande suivant restaure l'objet
dans le compartiment dir1/example.obj
. Pour utiliser cet exemple de commande, remplacez DOC-EXAMPLE-BUCKET
par vos propres informations.user input
placeholders
aws s3api restore-object --bucket
DOC-EXAMPLE-BUCKET
--keydir1/example.obj
--restore-request '{}'
Pour surveiller le statut de votre demande restore-object
, vous pouvez utiliser l'exemple de commande suivant. Pour utiliser cet exemple de commande, remplacez
par vos propres informations.user input placeholders
aws s3api head-object --bucket
DOC-EXAMPLE-BUCKET
--keydir1/example.obj
Pour plus d'informations, consultez la section restore-object dans la référence des commandes AWS CLI.
Note
Contrairement aux classes de stockage S3 Glacier Flexible Retrieval et S3 Glacier Deep Archive, les demandes de restauration pour les objets S3 Intelligent-Tiering n'acceptent pas la valeur Days
.
Amazon S3 fournit une opération d'API pour vous permettre de lancer une restauration d'archive. Pour plus d'informations, veuillez consulter RestoreObject dans la Référence d'API Amazon Simple Storage Service.
Pour restaurer plusieurs objets archivés avec une seule demande, vous pouvez utiliser les opérations par lot S3. Vous fournissez à la fonctionnalité d'opérations par lot S3 une liste d'objets sur lesquels effectuer des opérations. La fonctionnalité des opérations par lot S3 appelle l'opération d'API respective pour effectuer l'opération spécifiée. Une tâche d'opérations par lot peut effectuer l'opération spécifiée sur des milliards d'objets contenant des exaoctets de données.
Pour créer une tâche d'opérations par lot, vous devez disposer d'un manifeste contenant uniquement les objets que vous souhaitez restaurer. Vous pouvez créer un manifeste à l'aide de S3 Inventory ou vous pouvez fournir un fichier CSV contenant les informations nécessaires. Pour de plus amples informations, veuillez consulter Spécification d'un manifeste.
Avant de créer et d'exécuter des tâches d'opérations par lot S3, vous devez accorder des autorisations à Amazon S3 pour effectuer des opérations par lot S3 en votre nom. Pour les autorisations requises, consultez Octroi d'autorisations pour les opérations par lot Simple Storage Service (Amazon S3).
Note
Les tâches d'opérations par lot peuvent fonctionner sur les objets de classe de stockage S3 Glacier Flexible Retrieval et S3 Glacier Deep Archive, ou sur les objets des niveaux de stockage Archive Access et Deep Archive Access de S3 Intelligent-Tiering. Les opérations par lot ne peuvent pas fonctionner sur les deux types d'objets archivés dans la même tâche. Pour restaurer des objets des deux types, vous devez créer des tâches Batch Operations.
Pour plus d'informations sur l'utilisation des opérations par lot pour restaurer des objets archivés, consultez Restauration d'objets à l'aide d'opérations par lot.
Pour créer une tâche d'opérations par lot Lancer une restauration d'objet S3
Connectez-vous à la AWS Management Console et ouvrez la console Amazon S3 à l'adresse https://console.aws.amazon.com/s3/
. -
Dans le panneau de navigation de gauche, choisissez Batch Operations (Opérations par lot).
-
Choisissez Create job (Créer une tâche).
-
Pour Région AWS, choisissez la Région dans laquelle vous souhaitez créer votre tâche.
-
Sous Format du manifeste, choisissez le type de manifeste à utiliser.
-
Si vous choisissez Rapport d'inventaire S3, entrez le chemin d'accès de l'objet
manifest.json
généré par Amazon S3 dans le cadre du rapport d'inventaire au format CSV. Si vous souhaitez utiliser une version de manifeste autre que la plus récente, saisissez l'ID de version de l'objetmanifest.json
. -
Si vous choisissez CSV, entrez le chemin vers un objet manifeste au format CSV. L'objet manifeste doit respecter le format décrit dans la console. Si vous souhaitez utiliser une version autre que la plus récente, vous pouvez éventuellement inclure l'ID de version de l'objet manifeste.
-
-
Choisissez Next (Suivant).
-
Dans la section Opération, choisissez Restaurer.
-
Dans la section Restaurer, pour Restaurer la source, choisissez Niveau Archive Access ou Deep Archive Access d'Intelligent-Tiering. Pour Niveau d'extraction, choisissez le niveau que vous souhaitez utiliser.
-
Choisissez Next (Suivant).
-
Sur la page Configurer des options supplémentaires, remplissez les sections suivantes :
-
Dans la section Options supplémentaires, fournissez une description de la tâche et spécifiez un numéro de priorité pour la tâche. Un nombre plus élevé indique une priorité plus élevée. Pour de plus amples informations, veuillez consulter Affectation d'une priorité de tâche.
-
Dans la section Rapport d'achèvement, sélectionnez si les opérations par lot doivent créer un rapport d'achèvement. Pour plus d'informations sur les rapports d'achèvement, consultez Rapports de fin de tâche.
-
Dans la section Autorisations, vous devez accorder des autorisations à Amazon S3 pour effectuer des opérations par lot en votre nom. Pour les autorisations requises, consultez Octroi d'autorisations pour les opérations par lot Simple Storage Service (Amazon S3).
-
(Facultatif) Dans la section Balises de tâche, ajoutez des balises dans les paires clé-valeur. Pour de plus amples informations, veuillez consulter Contrôle de l'accès et étiquetage des tâches à l'aide d'étiquettes.
Lorsque vous avez terminé, choisissez Suivant.
-
-
Sur la page Vérification, vérifiez les paramètres. Si vous devez apporter des modifications, choisissez Précédent. Sinon, choisissez Créer une tâche.
Pour plus d'informations sur les opérations par lot, consultez Restauration d'objets à l'aide d'opérations par lot et Création d'une tâche d'opérations par lot S3.
Vérification de l'état de restauration d'un objet
Vous pouvez vérifier la progression de la restauration de votre objet dans la page de détails de l'objet, dans la console Amazon S3, l'interface AWS CLI ou l'API REST. Pour de plus amples informations, veuillez consulter Vérification du statut de la restauration et de la date d'expiration.
Vous pouvez être notifié de la fin de la restauration d'objet en utilisant s3:ObjectRestore:Completed
avec la fonction Notifications d'événements Amazon S3.