Inventaire Amazon S3 - Amazon Simple Storage Service

Inventaire Amazon S3

L'inventaire Amazon S3 est l'un des outils qu'Amazon S3 fournit pour vous aider à gérer votre stockage. Vous pouvez l'utiliser pour contrôler et signaler le statut de réplication et de chiffrement de vos objets à des fins professionnelles, de conformité et d'obligations réglementaires. Vous pouvez également simplifier et accélérer les flux de travail et les tâches du big data à l'aide de l'inventaire Amazon S3, qui fournit une alternative planifiée à l'opération d'API List synchrone Amazon S3. Amazon S3 Inventory n'utilise pas l’API List pour auditer vos objets et n'affecte pas le taux de demande de votre compartiment.

L'inventaire Amazon S3 fournit des fichiers de sortie au format CSV (valeurs séparées par une virgule), Apache ORC (Optimized Row Columnar) ou Apache Parquet qui répertorient vos objets et leurs métadonnées correspondantes tous les jours ou toutes les semaines pour un compartiment S3 ou un préfixe partagé (c'est-à-dire des objets dont le nom commence par une chaîne commune). Si hebdomadaire, un rapport est généré tous les dimanches (UTC) après le rapport initial. Pour de plus amples informations sur la tarification de l'inventaire Amazon S3, veuillez consulter Tarification Amazon S3.

Vous pouvez configurer plusieurs listes d'inventaire d'un compartiment. Vous pouvez configurer la sélection des métadonnées d'objet à inclure dans l'inventaire, choisir de répertorier toutes les versions d'objet ou uniquement les versions actuelles, sélectionner l'emplacement où stocker la sortie de fichier de liste d'inventaire et décider s'il faut générer l'inventaire de manière quotidienne ou hebdomadaire. Vous pouvez également demander que le fichier de liste d'inventaire soit chiffré.

Vous pouvez interroger l'inventaire Amazon S3 utilisant SQL standard à l'aide d'Amazon Athena, d'Amazon Redshift Spectrum et d'autres outils tels que Presto, Apache Hive et Apache Spark. Vous pouvez utiliser Athena pour exécuter des requêtes sur vos fichiers d'inventaire. Vous pouvez utiliser Athena pour les requêtes d'inventaire Amazon S3 dans toutes les Régions où Athena est disponible.

Compartiments source et de destination

Le compartiment pour lequel l'inventaire répertorie les objets est appelé compartiment source. Le compartiment dans lequel le fichier de liste d'inventaire est stocké est appelé compartiment de destination.

Compartiment source

L'inventaire répertorie les objets qui sont stockés dans le compartiment source. Vous pouvez obtenir des listes d'inventaire d'un compartiment entier ou filtré par préfixe (nom de la clé d'objet).

Le compartiment source :

  • Contient les objets qui sont répertoriés dans l'inventaire.

  • Contient la configuration de l'inventaire.

Compartiment de destination

Les fichiers de liste d'inventaire Amazon S3 sont écrits dans le compartiment de destination. Vous pouvez spécifier un préfixe (nom de la clé d'objet) de destination dans la configuration de l'inventaire pour regrouper tous les fichiers de liste d'inventaire dans un emplacement commun au sein du compartiment de destination.

Le compartiment de destination :

  • Contient les listes de fichiers d'inventaire.

  • Contient les fichiers manifeste qui répertorient toutes les listes d'inventaire de fichiers stockées dans le compartiment de destination. Pour de plus amples informations, veuillez consulter Manifeste d'inventaire.

  • Doit avoir une stratégie de compartiment pour donner à Amazon S3 l'autorisation de vérifier la propriété du compartiment et l'autorisation d'écrire des fichiers dans le compartiment.

  • Doit se situer dans la même Région AWS que le compartiment source.

  • Peut être le même que le compartiment source.

  • Peut être détenu par un Compte AWS différent de celui possédant le compartiment source.

Liste d'inventaire Amazon S3

Un fichier de liste d'inventaire contient une liste des objets figurant dans le compartiment source et les métadonnées de chaque objet. Les listes d'inventaire sont stockées dans le compartiment de destination sous la forme d'un fichier CSV compressé avec GZIP, d'un fichier ORC (Optimized Row Columnar) Apache compressé avec ZLIB ou d'un fichier Apache Parquet compressé avec Snappy. Les objets sont triés par ordre croissant en fonction des noms de clé.

La liste d'inventaire contient une liste des objets dans un compartiment S3 et les métadonnées suivantes pour chaque objet répertorié :

  • Nom du compartiment – Le nom du compartiment pour lequel l'inventaire est effectué.

  • Nom de clé – Nom de la clé d'objet (ou clé) qui identifie de manière unique l'objet dans le compartiment. Lorsque vous utilisez le format de fichier CSV, le nom de clé est codé en URL et doit être décodé avant d'être utilisé.

  • ID de version – ID de version de l'objet. Lorsque vous activez la gestion des versions sur un compartiment, Amazon S3 attribue un numéro de version aux objets qui sont ajoutés au compartiment. Pour de plus amples informations, veuillez consulter Utilisation de la gestion des versions dans les compartiments S3. (Ce champ n'est pas inclus si la liste est uniquement pour la version actuelle des objets.)

  • IsLatest – Défini sur True si l'objet est la version actuelle de l'objet. (Ce champ n'est pas inclus si la liste est uniquement pour la version actuelle des objets.)

  • Taille – Taille de l'objet en octets.

  • Date de la dernière modification – Date de création de l'objet ou date de la dernière modification, la plus récente étant retenue.

  • ETag – La balise d'entité est un hachage de l'objet. ETag reflète les modifications uniquement appliquées au contenu d'un objet, pas ses métadonnées. ETag peut être une valeur de hachage MD5 des données de l'objet. Cela dépend de la façon dont l'objet a été créé et de la manière dont il est chiffré.

  • Classe de stockage – Classe de stockage utilisée pour stocker l'objet. Pour de plus amples informations, veuillez consulter Utilisation des classes de stockage Simple Storage Service (Amazon S3).

  • Indicateur de chargement partitionné – Défini sur True si l'objet a été chargé dans un chargement partitionné. Pour de plus amples informations, veuillez consulter Chargement et copie d'objets à l'aide d'un chargement partitionné.

  • Marqueur de suppression – Défini sur True, si l'objet est un marqueur de suppression. Pour de plus amples informations, veuillez consulter Utilisation de la gestion des versions dans les compartiments S3. (Ce champ est automatiquement ajouté à votre rapport si vous avez configuré celui-ci pour qu’il inclue toutes les versions de vos objets).

  • Statut de réplication – Défini sur PENDING, COMPLETED, FAILED ou REPLICA. Pour de plus amples informations, veuillez consulter Obtention d'informations sur le statut de la réplication.

  • Statut de chiffrement – Défini sur SSE-S3, SSE-C, SSE-KMS ou NOT-SSE. Le statut de chiffrement côté serveur pour SSE-S3, SSE-KMS et SSE avec des clés fournies par le client (SSE-C). Le statut NOT-SSE signifie que l'objet n'est pas chiffré avec le chiffrement côté serveur. Pour de plus amples informations, veuillez consulter Protection des données à l'aide du chiffrement.

  • Date de fin de conservation du verrouillage d'objet S3 – Date jusqu'à laquelle l'objet verrouillé ne peut pas être supprimé. Pour de plus amples informations, veuillez consulter Utilisation du verrouillage des objets S3.

  • Mode du verrouillage d'objet S3 – Défini sur Governance ou Compliance pour les objets qui sont verrouillés. Pour de plus amples informations, veuillez consulter Utilisation du verrouillage des objets S3.

  • Statut de suspension juridique du verrouillage d'objet S3 – Défini sur On si une suspension juridique a été appliquée à un objet. Sinon, elle est définie sur Off. Pour plus d'informations, consultez Utilisation du verrouillage des objets S3.

  • S3 Intelligent-Tiering access tier (niveau d'accès S3 Intelligent-Tiering) — niveau d'accès (fréquent ou peu fréquent) de l'objet s'il est stocké dans S3 Intelligent-Tiering. Pour plus d'informations, consultez Classe de stockage pour l'optimisation automatique des données avec des modèles d'accès inconnus ou irréguliers.

  • Statut de clé de compartiment S3 – Défini sur ENABLED ou DISABLED. Indique si l'objet utilise une clé de compartiment S3 pour le chiffrement côté serveur. Pour plus d'informations, consultez Utilisation de clés de compartiment Amazon S3..

  • Checksum Algorithm (Algorithme de total de contrôle) — indique l'algorithme utilisé pour créer la total de contrôle pour l'objet.

Nous vous recommandons de créer une stratégie de cycle de vie qui supprime les anciennes listes d'inventaire. Pour de plus amples informations, veuillez consulter Gestion du cycle de vie de votre stockage.

Cohérence de l'inventaire

Tous vos objets peuvent ne pas apparaître dans chaque liste d'inventaire. La liste d'inventaire fournit une cohérence à terme pour des requêtes PUT des deux nouveaux objets et de remplacement et de suppression. Les listes d'inventaire sont un instantané évolutif des éléments de compartiment, qui sont cohérents à terme (c'est-à-dire, la liste peut ne pas inclure les objets récemment ajoutés ou supprimés).

Pour valider l'état de l'objet avant de prendre des mesures sur l'objet, nous recommandons d'effectuer une demande d'API REST HEAD Object pour récupérer les métadonnées de l'objet ou de vérifier les propriétés de l'objet dans la console Amazon S3. Vous pouvez également vérifier les métadonnées d'objet avec la AWS CLI ou les kits SDK AWS. Pour de plus amples informations, veuillez consulter HeadObject dans la Référence d'API Amazon Simple Storage Service.

Pour plus d'informations sur l'utilisation de l'inventaire Amazon S3, consultez les rubriques suivantes.