Analyses Amazon S3 - Analyse de classe de stockage - Amazon Simple Storage Service

Analyses Amazon S3 - Analyse de classe de stockage

Grâce à l'analyse de classe de stockage Analyses Amazon S3, vous pouvez analyser des modèles d'accès au stockage pour décider à quel moment transférer les données appropriées vers la classe de stockage qui convient. Cette nouvelle fonction Analyses Amazon S3 observe les modèles d'accès aux données pour vous aider à déterminer le moment où passer du stockage STANDARD moins fréquemment utilisé à la classe de stockage STANDARD_IA (« IA » correspondant à « infrequent access », soit accès peu fréquents). Pour plus d'informations sur les classes de stockage, consultez Utilisation des classes de stockage Simple Storage Service (Amazon S3).

Une fois que l'analyse de classe de stockage a observé les modèles d'accès peu fréquents d'un ensemble filtré de données sur une période donnée, vous pouvez utiliser les résultats d'analyse pour vous aider à améliorer vos stratégies de cycle de vie. Vous pouvez configurer l'analyse de classe de stockage pour analyser tous les objets d'un compartiment. Ou, vous pouvez configurer des filtres pour regrouper des objets pour l'analyse par préfixe commun (c'est-à-dire des objets qui ont des noms qui commencent par une chaîne courante), par balises d'objets, ou par préfixe et balises. Vous trouverez très probablement qu'un filtrage par groupes d'objets est le meilleur moyen de tirer parti de l'analyse de classe de stockage.

Important

L'analyse de classe de stockage fournit uniquement des recommandations pour les classes standard à standard – Accès peu fréquent.

Vous pouvez avoir plusieurs filtres d'analyse de classe de stockage par compartiment, jusqu'à 1 000, et vous recevrez une analyse distincte pour chaque filtre. Plusieurs configurations de filtres vous permettent d'analyser des groupes spécifiques d'objets pour améliorer vos stratégies de cycle de vie qui transfèrent des objets vers STANDARD_IA.

L'analyse de classe de stockage affiche des visualisations de l'utilisation du stockage dans la console Amazon S3 qui sont mises à jour quotidiennement. Vous pouvez également exporter ces données d'utilisation quotidienne vers un compartiment S3 et les afficher dans une application de feuille de calcul ou avec des outils de business intelligence, comme Amazon QuickSight.

Il y a des coûts associés à l'analyse de la classe de stockage. Pour de plus amples informations sur la tarification, veuillez consulter Gestion et réplication Tarification Amazon S3.

Comment configurer une analyse de classe de stockage ?

Vous configurez l'analyse de classe de stockage en configurant les données d'objet que vous voulez analyser. Vous pouvez configurer l'analyse de classe de stockage pour effectuer les opérations suivantes :

  • Analyser l'ensemble des contenus d'un compartiment.

    Vous recevrez une analyse pour tous les objets du compartiment.

  • Analyser les objets regroupés par préfixe et balises.

    Vous pouvez configurer des filtres qui regroupent des objets pour l'analyse par préfixe, par balises d'objets ou par une combinaison de préfixe et de balises. Vous recevez une analyse distincte pour chaque filtre que vous configurez. Vous pouvez avoir plusieurs configurations de filtres par compartiment, jusqu'à 1 000.

  • Exporter les données d'analyse.

    Lorsque vous configurez l'analyse de classe de stockage pour un compartiment ou un filtre, vous pouvez choisir que les données d'analyse exportées soient exportées dans un fichier chaque jour. L'analyse du jour est ajoutée au fichier pour former un journal d'analyse historique du filtre configuré. Le fichier est mis à jour quotidiennement au lieu de destination de votre choix. Lors de la sélection des données à exporter, vous spécifiez un compartiment de destination et un préfixe de destination facultatif où le fichier est écrit.

Vous pouvez utiliser la console Amazon S3, l'API REST, la AWS CLI ou des kits SDK AWS pour configurer l'analyse de classe de stockage.

Comment utiliser l'analyse de classe de stockage ?

Vous utilisez l'analyse de classe de stockage pour observer vos modèles d'accès aux données dans le temps en vue de collecter des informations vous permettant d'améliorer la gestion du cycle de vie de votre stockage STANDARD_IA. Une fois qu'un filtre est configuré, vous commencez à voir l'analyse des données basée sur le filtre dans la console Amazon S3 dans les 24 à 48 heures. Toutefois, l'analyse de classe de stockage observe les modèles d'accès d'un ensemble filtré de données pendant 30 jours ou plus afin d'obtenir des informations pour l'analyse avant de fournir un résultat. L'analyse se poursuit après le résultat initial et met à jour le résultat à mesure que les modèles d'accès changent

Lorsque vous configurez un filtre pour la première fois, la console Simple Storage Service (Amazon S3) peut prendre du temps pour analyser vos données.

L'analyse de classe de stockage observe les modèles d'accès d'un ensemble filtré de données d'objet pendant 30 jours ou plus pour collecter suffisamment d'informations pour l'analyse. Une fois que l’analyse de classe de stockage a rassemblé suffisamment d’informations, un message indiquant que l’analyse a été complétée s’affiche dans la console Amazon S3.

Lors de l'analyse des objets faisant l'objet d'accès peu fréquents, la classe de stockage examine le jeu filtré d'objets regroupés en fonction de l'âge comme ils ont été téléchargés vers Amazon S3. L'analyse de classe de stockage détermine si la tranche d'âge fait l'objet d'accès peu fréquents en regardant les facteurs suivants de l'ensemble filtré de données :

  • Objets de la classe de stockage STANDARD de plus de 128 Ko.

  • Stockage total moyen à disposition par tranche d'âge.

  • Nombre moyen d'octets transférés (et non la fréquence) par tranche d'âge.

  • Les données d'exportation d'analyse incluent uniquement les demandes avec des données pertinentes pour l'analyse de classe de stockage. Cela peut entraîner des différences dans le nombre de demandes, et dans le total des octets de chargement et de demande par rapport à ce qui est affiché dans les métriques de stockage ou suivi dans vos propres système internes.

  • Les demandes GET et PUT en échec ne sont pas comptabilisées pour l'analyse. Cependant, vous voyez les demandes en échec dans les métriques de stockage.

Quelle quantité de données a été extraite du stockage ?

La console Amazon S3 affiche la quantité de stockage de l’ensemble de données filtré qui a été récupérée pour la période d’observation.

Quel pourcentage de données a été extrait du stockage ?

La console Amazon S3 affiche également le pourcentage de stockage de l’ensemble de données filtré qui a été récupéré pour la période d’observation.

Comme indiqué précédemment dans cette rubrique, lorsque vous exécutez l'analyse pour les objets faisant l'objet d'accès peu fréquents, l'analyse de classe de stockage examine le jeu filtré d'objets regroupés en fonction de l'âge comme ils ont été chargés dans Amazon S3. L'analyse de classe de stockage utilise les tranches d'âge d'objets prédéfinies suivantes :

  • Objets Amazon S3 ayant moins de 15 jours

  • Objets Amazon S3 ayant entre 15 et 29 jours

  • Objets Amazon S3 ayant entre 30 et 44 jours

  • Objets Amazon S3 ayant entre 45 et 59 jours

  • Objets Amazon S3 ayant entre 60 et 74 jours

  • Objets Amazon S3 ayant entre 75 et 89 jours

  • Objets Amazon S3 ayant entre 90 et 119 jours

  • Objets Amazon S3 ayant entre 120 et 149 jours

  • Objets Amazon S3 ayant entre 150 et 179 jours

  • Objets Amazon S3 ayant entre 180 et 364 jours

  • Objets Amazon S3 ayant entre 365 et 729 jours

  • Objets Amazon S3 ayant 730 jours et plus

Généralement, il faut environ 30 jours d'observation des modes d'accès pour collecter suffisamment d'informations pour un résultat d'analyse. Cette opération peut durer plus de 30 jours, selon le modèle d'accès unique de vos données. Toutefois, une fois qu'un filtre est configuré, vous commencez à voir l'analyse des données basée sur le filtre dans la console Amazon S3 dans les 24 à 48 heures. Vous pouvez voir quotidiennement l'analyse de l'accès aux objets réparti par tranche d'âge d'objets dans la console Amazon S3.

Quelle quantité de données du stockage fait l'objet d'accès peu fréquents ?

La console Amazon S3 affiche les modèles d’accès regroupés par groupes d’âge d’objets prédéfinis. Le texte Frequently accessed (Accès fréquent) ou Infrequently accessed (Accès peu fréquent) est conçu comme une aide visuelle pour vous aider dans le processus de création du cycle de vie.

Comment exporter des données d'analyse de classe de stockage ?

Vous pouvez choisir que le rapport d'analyse de classe de stockage soit au format de fichier plat CSV (valeurs séparées par une virgule). Les rapports sont mis à jour quotidiennement et sont basés sur les filtres de tranche d'âge d'objet que vous configurez. Lorsque vous utilisez la console Amazon S3, vous pouvez choisir l'option d'exportation des rapports quand vous créez un filtre. Lors de la sélection des données à exporter, vous spécifiez un compartiment de destination et un préfixe de destination facultatif où le fichier est écrit. Vous pouvez exporter les données vers un compartiment de destination d'un autre compte. Le compartiment de destination doit se trouver dans la même Région que le compartiment que vous configurez pour être analysé.

Vous devez créer une stratégie de compartiment sur le compartiment de destination pour octroyer des autorisations à Amazon S3 permettant de vérifier que le Compte AWS est bien le propriétaire du compartiment et d'écrire des objets dans le compartiment à l'emplacement défini. Pour un exemple de stratégie, consultez Octroi d'autorisations pour l'inventaire Amazon S3 et l'analytique Amazon S3.

Une fois les rapports d'analyse de classe de stockage configurés, vous commencez à obtenir le rapport exporté quotidiennement au bout de 24 heures. Passé ce délai, Amazon S3 continue de surveiller et de fournir des exportations quotidiennes.

Vous pouvez ouvrir le fichier CSV dans une application de feuille de calcul ou importer le fichier dans d'autres applications comme Amazon QuickSight. Pour de plus amples informations sur l'utilisation des fichiers Amazon S3 avec Amazon QuickSight, veuillez consulter Création d'un jeu de données en utilisant des fichiers Amazon S3 dans le Guide de l'utilisateur Amazon QuickSight.

Les données du fichier exporté sont triées par date dans la tranche d'âge d'objets, comme illustré dans les exemples suivants. Si la classe de stockage est STANDARD, la ligne contient également les données des colonnes ObjectAgeForSIATransition et RecommendedObjectAgeForSIATransition.


        Capture d'écran.

À la fin du rapport, la tranche d'âge d'objets est nommée ALL. Les lignes ALL contiennent les totaux cumulés de toutes les tranche d'âge pour cette journée, y compris pour les objets inférieurs à 128 Ko.


        Capture d'écran.

La section suivante décrit les colonnes utilisées dans le rapport.

Disposition du fichier exporté

Le tableau suivant décrit la disposition du fichier exporté.

Utilisez les barres de défilement pour voir le reste du tableau.

Disposition du fichier d'exportation de l'analyse de classe de stockage Amazon S3
Nom de la colonne Dimension/métrique Type de données Description
Date Dimension String Date du traitement de l'enregistrement. Le format est MM-JJ-AAAA.
ConfigId Dimension String

Valeur entrée comme nom du filtre lors de l'ajout de la configuration du filtre.

Filtre Dimension String

Valeurs complètes du filtre comme configuré lors de l'ajout de la configuration du filtre.

StorageClass Dimension String

Classe de stockage des données.

ObjectAge Dimension String

Tranche d'âge des objets dans le filtre. En plus des 12 différentes tranches d'âge (0-14 jours, 15-29 jours, 30-44 jours, 45-59 jours, 60-74 jours, 75-89 jours, 90-119 jours, 120-149 jours, 150-179 jours, 180-364 jours, 365-729 jours, 730 jours+) pour les objets de plus de 128 Ko, il existe une valeur supplémentaire ='ALL' qui représente toutes les tranches d'âge.

ObjectCount Métrique Integer

Nombre total d'objets comptabilisés par classe de stockage du jour. Cette valeur est uniquement renseignée pour AgeGroup='ALL' et correspond au nombre total d'objets pour toutes les tranches d'âge du jour.

DataUploaded_MB Métrique Nombre

Données totales en Mo téléchargées par classe de stockage du jour. Cette valeur est uniquement renseignée pour AgeGroup='ALL' et correspond au nombre total de téléchargements en Mo pour toutes les tranches d'âge du jour. (Notez que vous ne verrez pas l'activité de chargement d'objet partitionné dans vos données d'exportation, car les demandes de chargement partitionné ne disposent pas actuellement d'informations de classe de stockage.)

Storage_MB Métrique Nombre

Stockage total en Mo par classe de stockage du jour dans la tranche d'âge. Pour AgeGroup='ALL', la valeur correspond à la quantité globale de stockage en Mo pour toutes les tranches d'âge du jour.

DataRetrieved_MB Métrique Nombre

Données transférées en Mo par classe de stockage avec les demandes GET du jour dans la tranche d'âge. Pour AgeGroup='ALL', la valeur correspond à l'ensemble des données transférées en Mo avec les demandes GET du jour dans toutes les tranches d'âge.

GetRequestCount Métrique Integer

Nombre de demandes GET et PUT effectuées par classe de stockage du jour dans la tranche d'âge. Pour AgeGroup = « ALL », la valeur représente le nombre global de demandes GET et PUT pour toutes les tranches d'âge du jour.

Note

Mal nommée, la colonne GetRequestCount inclut également le nombre de demandes PUT effectuées par classe de stockage.

CumulativeAccessRatio Métrique Nombre

Ratio d'accès cumulé. Ce ratio est utilisé pour représenter l'utilisation/la quantité d'octets sur une tranche d'âge donnée pour déterminer si celle-ci est éligible pour une transition vers STANDARD_IA.

ObjectAgeForSIATransition Métrique Nombre entier en jours

Cette valeur n'existe que lorsque AgeGroup=’ALL’ et la classe de stockage = STANDARD. Elle présente l'âge observé pour la transition vers STANDARD_IA.

RecommendedObjectAgeForSIATransition Métrique Nombre entier en jours

Cette valeur n'existe que lorsque AgeGroup=’ALL’ et la classe de stockage = STANDARD. Elle présente l'âge des objets en jours à prendre en compte pour la transition vers STANDARD_IA après la stabilisation de ObjectAgeForSIATransition.