Analyses Amazon S3 - Analyse de classe de stockage

Grâce à l'analyse de classe de stockage Analyses Amazon S3, vous pouvez analyser des modèles d'accès au stockage pour décider à quel moment transférer les données appropriées vers la classe de stockage qui convient. Cette nouvelle fonction Analyses Amazon S3 observe les modèles d'accès aux données pour vous aider à déterminer le moment où passer du stockage STANDARD moins fréquemment utilisé à la classe de stockage STANDARD_IA (« IA » correspondant à « infrequent access », soit accès peu fréquents). Pour plus d'informations sur les classes de stockage, consultez Utilisation des classes de stockage Simple Storage Service (Amazon S3).

Une fois que l'analyse de classe de stockage a observé les modèles d'accès peu fréquents d'un ensemble filtré de données sur une période donnée, vous pouvez utiliser les résultats d'analyse pour vous aider à améliorer vos configurations de cycle de vie. Vous pouvez configurer l'analyse de classe de stockage pour analyser tous les objets d'un compartiment. Ou, vous pouvez configurer des filtres pour regrouper des objets pour l'analyse par préfixe commun (c'est-à-dire des objets qui ont des noms qui commencent par une chaîne courante), par balises d'objets, ou par préfixe et balises. Vous trouverez très probablement qu'un filtrage par groupes d'objets est le meilleur moyen de tirer parti de l'analyse de classe de stockage.

Important

L'analyse de classe de stockage fournit uniquement des recommandations pour les classes standard à standard – Accès peu fréquent.

Vous pouvez avoir plusieurs filtres d'analyse de classe de stockage par compartiment, jusqu'à 1 000, et vous recevrez une analyse distincte pour chaque filtre. Plusieurs configurations de filtres vous permettent d'analyser des groupes spécifiques d'objets pour améliorer vos configurations de cycle de vie qui transfèrent des objets vers STANDARD_IA.

L'analyse de classe de stockage affiche des visualisations de l'utilisation du stockage dans la console Amazon S3 qui sont mises à jour quotidiennement. Vous pouvez également exporter ces données d'utilisation quotidienne vers un compartiment S3 et les consulter dans un tableur ou à l'aide d'outils de business intelligence tels qu'Amazon QuickSight.

Il y a des coûts associés à l'analyse de la classe de stockage. Pour de plus amples informations sur la tarification, veuillez consulter Gestion et réplication Tarification Amazon S3.

Rubriques

• Comment configurer une analyse de classe de stockage ?
• Comment utiliser l'analyse de classe de stockage ?
• Comment exporter des données d'analyse de classe de stockage ?
• Configuration d’une analyse de classe de stockage

Comment configurer une analyse de classe de stockage ?

Vous configurez l'analyse de classe de stockage en configurant les données d'objet que vous voulez analyser. Vous pouvez configurer l'analyse de classe de stockage pour effectuer les opérations suivantes :

• Analyser l'ensemble des contenus d'un compartiment.

  Vous recevrez une analyse pour tous les objets du compartiment.

• Analyser les objets regroupés par préfixe et balises.

  Vous pouvez configurer des filtres qui regroupent des objets pour l'analyse par préfixe, par balises d'objets ou par une combinaison de préfixe et de balises. Vous recevez une analyse distincte pour chaque filtre que vous configurez. Vous pouvez avoir plusieurs configurations de filtres par compartiment, jusqu'à 1 000.

• Exporter les données d'analyse.

  Lorsque vous configurez l'analyse de classe de stockage pour un compartiment ou un filtre, vous pouvez choisir que les données d'analyse exportées soient exportées dans un fichier chaque jour. L'analyse du jour est ajoutée au fichier pour former un journal d'analyse historique du filtre configuré. Le fichier est mis à jour quotidiennement au lieu de destination de votre choix. Lors de la sélection des données à exporter, vous spécifiez un compartiment de destination et un préfixe de destination facultatif où le fichier est écrit.

Vous pouvez utiliser la console Amazon S3, l'API REST AWS CLI ou les AWS SDK pour configurer l'analyse des classes de stockage.

• Pour en savoir plus sur la configuration de l’analyse de classe de stockage dans la console Amazon S3, consultez Configuration d’une analyse de classe de stockage.

• Pour utiliser l'API Amazon S3, utilisez l'PutBucketAnalyticsConfigurationAPI REST, ou l'équivalent, à partir du AWS CLI ou AWS des SDK.

Comment utiliser l'analyse de classe de stockage ?

Vous utilisez l'analyse de classe de stockage pour observer vos modèles d'accès aux données dans le temps en vue de collecter des informations vous permettant d'améliorer la gestion du cycle de vie de votre stockage STANDARD_IA. Une fois qu'un filtre est configuré, vous commencez à voir l'analyse des données basée sur le filtre dans la console Amazon S3 dans les 24 à 48 heures. Toutefois, l'analyse de classe de stockage observe les modèles d'accès d'un ensemble filtré de données pendant 30 jours ou plus afin d'obtenir des informations pour l'analyse avant de fournir un résultat. L'analyse se poursuit après le résultat initial et met à jour le résultat à mesure que les modèles d'accès changent

Lorsque vous configurez un filtre pour la première fois, la console Simple Storage Service (Amazon S3) peut prendre du temps pour analyser vos données.

L'analyse de classe de stockage observe les modèles d'accès d'un ensemble filtré de données d'objet pendant 30 jours ou plus pour collecter suffisamment d'informations pour l'analyse. Une fois que l’analyse de classe de stockage a rassemblé suffisamment d’informations, un message indiquant que l’analyse a été complétée s’affiche dans la console Amazon S3.

Lors de l'analyse des objets faisant l'objet d'accès peu fréquents, la classe de stockage examine le jeu filtré d'objets regroupés en fonction de l'âge comme ils ont été téléchargés vers Amazon S3. L'analyse de classe de stockage détermine si la tranche d'âge fait l'objet d'accès peu fréquents en regardant les facteurs suivants de l'ensemble filtré de données :

• Objets de la classe de stockage STANDARD de plus de 128 Ko.

• Stockage total moyen à disposition par tranche d'âge.

• Nombre moyen d'octets transférés (et non la fréquence) par tranche d'âge.

• Les données d'exportation d'analyse incluent uniquement les demandes avec des données pertinentes pour l'analyse de classe de stockage. Cela peut entraîner des différences dans le nombre de demandes, et dans le total des octets de chargement et de demande par rapport à ce qui est affiché dans les métriques de stockage ou suivi dans vos propres système internes.

• Les demandes GET et PUT en échec ne sont pas comptabilisées pour l'analyse. Cependant, vous voyez les demandes en échec dans les métriques de stockage.

Quelle quantité de données a été extraite du stockage ?

La console Amazon S3 affiche la quantité de stockage de l’ensemble de données filtré qui a été récupérée pour la période d’observation.

Quel pourcentage de données a été extrait du stockage ?

La console Amazon S3 affiche également le pourcentage de stockage de l’ensemble de données filtré qui a été récupéré pour la période d’observation.

Comme indiqué précédemment dans cette rubrique, lorsque vous exécutez l'analyse pour les objets faisant l'objet d'accès peu fréquents, l'analyse de classe de stockage examine le jeu filtré d'objets regroupés en fonction de l'âge comme ils ont été chargés dans Amazon S3. L'analyse de classe de stockage utilise les tranches d'âge d'objets prédéfinies suivantes :

• Objets Amazon S3 ayant moins de 15 jours

• Objets Amazon S3 ayant entre 15 et 29 jours

• Objets Amazon S3 ayant entre 30 et 44 jours

• Objets Amazon S3 ayant entre 45 et 59 jours

• Objets Amazon S3 ayant entre 60 et 74 jours

• Objets Amazon S3 ayant entre 75 et 89 jours

• Objets Amazon S3 ayant entre 90 et 119 jours

• Objets Amazon S3 ayant entre 120 et 149 jours

• Objets Amazon S3 ayant entre 150 et 179 jours

• Objets Amazon S3 ayant entre 180 et 364 jours

• Objets Amazon S3 ayant entre 365 et 729 jours

• Objets Amazon S3 ayant 730 jours et plus

Généralement, il faut environ 30 jours d'observation des modes d'accès pour collecter suffisamment d'informations pour un résultat d'analyse. Cette opération peut durer plus de 30 jours, selon le modèle d'accès unique de vos données. Toutefois, une fois qu'un filtre est configuré, vous commencez à voir l'analyse des données basée sur le filtre dans la console Amazon S3 dans les 24 à 48 heures. Vous pouvez voir quotidiennement l'analyse de l'accès aux objets réparti par tranche d'âge d'objets dans la console Amazon S3.

Quelle quantité de données du stockage fait l'objet d'accès peu fréquents ?

La console Amazon S3 affiche les modèles d’accès regroupés par groupes d’âge d’objets prédéfinis. Le texte Frequently accessed (Accès fréquent) ou Infrequently accessed (Accès peu fréquent) est conçu comme une aide visuelle pour vous aider dans le processus de création du cycle de vie.

Comment exporter des données d'analyse de classe de stockage ?

Vous pouvez choisir que le rapport d'analyse de classe de stockage soit au format de fichier plat CSV (valeurs séparées par une virgule). Les rapports sont mis à jour quotidiennement et sont basés sur les filtres de tranche d'âge d'objet que vous configurez. Lorsque vous utilisez la console Amazon S3, vous pouvez choisir l'option d'exportation des rapports quand vous créez un filtre. Lors de la sélection des données à exporter, vous spécifiez un compartiment de destination et un préfixe de destination facultatif où le fichier est écrit. Vous pouvez exporter les données vers un compartiment de destination d'un autre compte. Le compartiment de destination doit se trouver dans la même Région que le compartiment que vous configurez pour être analysé.

Vous devez créer une politique de compartiment sur le compartiment de destination afin d'accorder des autorisations à Amazon S3 afin de vérifier à qui Compte AWS appartient le compartiment et d'écrire des objets dans le compartiment à l'emplacement défini. Pour un exemple de stratégie, consultez Accorder des autorisations pour l'inventaire S3 et les analyses S3..

Une fois les rapports d'analyse de classe de stockage configurés, vous commencez à obtenir le rapport exporté quotidiennement au bout de 24 heures. Passé ce délai, Amazon S3 continue de surveiller et de fournir des exportations quotidiennes.

Vous pouvez ouvrir le fichier CSV dans un tableur ou l'importer dans d'autres applications comme Amazon QuickSight. Pour plus d'informations sur l'utilisation des fichiers Amazon S3 avec Amazon QuickSight, consultez la section Création d'un ensemble de données à l'aide de fichiers Amazon S3 dans le guide de QuickSight l'utilisateur Amazon.

Les données du fichier exporté sont triées par date dans la tranche d'âge d'objets, comme illustré dans les exemples suivants. Si la classe de stockage est STANDARD, la ligne contient également les données des colonnes ObjectAgeForSIATransition et RecommendedObjectAgeForSIATransition.

À la fin du rapport, la tranche d'âge d'objets est nommée ALL. Les lignes ALL contiennent les totaux cumulés de toutes les tranche d'âge pour cette journée, y compris pour les objets inférieurs à 128 Ko.

La section suivante décrit les colonnes utilisées dans le rapport.

Disposition du fichier exporté

Le tableau suivant décrit la disposition du fichier exporté.

Utilisez les barres de défilement pour voir le reste du tableau.

Disposition du fichier d'exportation de l'analyse de classe de stockage Amazon S3
Nom de la colonne	Dimension/métrique	DataType	Description
Date	Dimension	String	Date du traitement de l'enregistrement. Le format est MM-JJ-AAAA.
ConfigId	Dimension	String	Valeur entrée comme nom du filtre lors de l'ajout de la configuration du filtre.
Filtre	Dimension	String	Valeurs complètes du filtre comme configuré lors de l'ajout de la configuration du filtre.
StorageClass	Dimension	String	Classe de stockage des données.
ObjectAge	Dimension	String	Tranche d'âge des objets dans le filtre. En plus des 12 différentes tranches d'âge (0-14 jours, 15-29 jours, 30-44 jours, 45-59 jours, 60-74 jours, 75-89 jours, 90-119 jours, 120-149 jours, 150-179 jours, 180-364 jours, 365-729 jours, 730 jours+) pour les objets de plus de 128 Ko, il existe une valeur supplémentaire ='ALL' qui représente toutes les tranches d'âge.
ObjectCount	Métrique	Integer	Nombre total d'objets comptabilisés par classe de stockage du jour. Cette valeur est uniquement renseignée pour AgeGroup='ALL' et correspond au nombre total d'objets pour toutes les tranches d'âge du jour.
DataUploaded_MB	Métrique	Nombre	Données totales en Mo téléchargées par classe de stockage du jour. Cette valeur est uniquement renseignée pour AgeGroup='ALL' et correspond au nombre total de téléchargements en Mo pour toutes les tranches d'âge du jour. (Notez que vous ne verrez pas l'activité de chargement d'objet partitionné dans vos données d'exportation, car les demandes de chargement partitionné ne disposent pas actuellement d'informations de classe de stockage.)
Storage_MB	Métrique	Nombre	Stockage total en Mo par classe de stockage du jour dans la tranche d'âge. Pour AgeGroup='ALL', la valeur correspond à la quantité globale de stockage en Mo pour toutes les tranches d'âge du jour.
DataRetrieved_MB	Métrique	Nombre	Données transférées en Mo par classe de stockage avec les demandes GET du jour dans la tranche d'âge. Pour AgeGroup='ALL', la valeur correspond à l'ensemble des données transférées en Mo avec les demandes GET du jour dans toutes les tranches d'âge.
GetRequestCount	Métrique	Integer	Nombre de demandes GET et PUT effectuées par classe de stockage du jour dans la tranche d'âge. Pour AgeGroup ='ALL', la valeur représente le nombre global de demandes GET et PUT pour tous les groupes d'âge du jour. Note La GetRequestCount colonne est mal étiquetée et inclut également le nombre de demandes PUT effectuées par classe de stockage.
CumulativeAccessRatio	Métrique	Nombre	Ratio d'accès cumulé. Ce ratio est utilisé pour représenter l'utilisation/la quantité d'octets sur une tranche d'âge donnée pour déterminer si celle-ci est éligible pour une transition vers STANDARD_IA.
ObjectAgeForTransition vers l'AIS	Métrique	Nombre entier en jours	Cette valeur n'existe que lorsque AgeGroup=’ALL’ et la classe de stockage = STANDARD. Elle présente l'âge observé pour la transition vers STANDARD_IA.
RecommendedObjectAgeForTransition vers l'AIS	Métrique	Nombre entier en jours	Cette valeur n'existe que lorsque AgeGroup=’ALL’ et la classe de stockage = STANDARD. Elle présente l'âge des objets en jours à prendre en compte pour la transition vers STANDARD_IA après la stabilisation de ObjectAgeForSIATransition.