Amazon S3 分析 – ストレージクラス分析 - Amazon Simple Storage Service

Amazon S3 分析 – ストレージクラス分析

Amazon S3 分析のストレージクラス分析を使用することにより、ストレージアクセスパターンを分析し、適切なデータをいつ適切なストレージクラスに移行すべきかを判断できます。この新しい Amazon S3 分析機能は、アクセス頻度の低い STANDARD ストレージをいつ STANDARD_IA (IA: 低頻度アクセス) ストレージクラスに移行すべきかを判断できるように、データアクセスパターンを確認します。ストレージクラスの詳細については、「Amazon S3 ストレージクラスの理解と管理」を参照してください。

ストレージクラス分析が、フィルタリングされたデータセットの低頻度アクセスパターンを一定期間監視すると、分析結果を使用してライフサイクル設定を改善できます。ストレージクラス分析を設定し、バケット内のすべてのオブジェクトを分析できます。または、共通のプレフィックス (つまり、共通の文字列で始まる名前を持つオブジェクト)、オブジェクトタグ、プレフィックスとタグの両方によってオブジェクトを分析のためにグループ化するフィルターを設定できます。多くの場合、ストレージクラス分析を有効活用するには、オブジェクトグループによるフィルタリングが最適な方法です。

重要

ストレージクラス分析では、標準~標準 IA クラスのレコメンデーションのみが提供されます。

バケットあたり複数のストレージクラス分析フィルター (最大 1,000 個) を設定でき、フィルターごとに別個の分析を受け取ります。複数のフィルター設定を使用すると、オブジェクトの特定のグループを分析し、オブジェクトを STANDARD_IA に移行するライフサイクル設定を改善できます。

ストレージクラス分析では、Amazon S3 コンソールにストレージの使用状況が可視化され、毎日更新されます。この日次の使用状況データを S3 バケットにエクスポートし、スプレッドシートアプリケーションで、または Amazon QuickSight などのビジネスインテリジェンスツールで表示することもできます。

ストレージクラスの分析に関連するコストがあります。料金については、「管理とレプリケーション」および「Amazon S3 の料金」を参照してください。

ストレージクラス分析をセットアップする方法

ストレージクラス分析は、分析するオブジェクトを設定することによりセットアップできます。ストレージクラス分析で以下の処理が行われるように設定できます。

  • バケットのコンテンツ全体を分析する。

    バケット内のすべてのオブジェクトの分析を受け取ります。

  • プレフィックスとタグによってグループ化されたオブジェクトを分析する。

    プレフィックス、オブジェクトタグ、プレフィックスとタグの組み合わせによってオブジェクトを分析のためにグループ化するフィルターを設定できます。設定したフィルターごとに別個の分析を受け取ります。バケットあたり複数のフィルター (最大 1,000 個) を設定できます。

  • 分析データをエクスポートする。

    バケットまたはフィルターのストレージクラス分析を設定するとき、分析データを毎日ファイルにエクスポートすることを選択できます。その日の分析がファイルに追加され、構成されたフィルターの履歴分析ログが形成されます。ファイルは、選択したエクスポート先で毎日更新されます。データのエクスポートを選択した場合、ファイルが書き込まれるエクスポート先バケットとオプションのエクスポート先プレフィックスを指定します。

Amazon S3 コンソール、REST API、AWS CLI、または AWS SDK を使用して、ストレージクラス分析を設定できます。

ストレージクラス分析を使用する方法

データアクセスパターンを一定期間監視し、STANDARD_IA ストレージのライフサイクル管理の改善に役立つ情報を収集するには、ストレージクラス分析を使用します。フィルターを設定すると、フィルターに基づくデータ分析が 24 ~ 48 時間 Amazon S3 コンソールに表示され始め続けます。ただし、ストレージクラス分析はフィルタリングされたデータセットのアクセスパターンを 30 日以上監視し、分析のために情報を収集してから結果を生成します。最初の結果の後も分析は実行され続け、アクセスパターンが変わると結果が更新されます。

最初にフィルターを設定するとき、Simple Storage Service (Amazon S3) コンソールではデータの分析に時間がかかることがあります。

ストレージクラス分析は、フィルタリングされたオブジェクトデータセットのアクセスパターンを 30 日以上監視し、分析のために十分な情報を収集します。ストレージクラス分析が十分な情報を収集した後、Amazon S3 コンソールに分析の完了を示すメッセージが表示されます。

アクセス頻度の低いオブジェクトの分析を実行すると、ストレージクラス分析は、Amazon S3 にアップロードされてからの経過時間に基づいてグループ化された、フィルタリングされたオブジェクトセットを監視します。ストレージクラス分析は、フィルタリングされたデータセットの以下の要素を監視することで、経過時間グループのアクセス頻度が低いかどうかを判断します。

  • STANDARD ストレージクラス内の 128 KB を超えるオブジェクト。

  • 経過時間グループごとの合計ストレージ量の平均。

  • 経過時間グループごとの平均転送 (アウト) バイト数 (頻度ではありません)。

  • 分析のエクスポートデータには、ストレージクラスの分析に関連するデータのリクエストのみが含まれます。これにより、リクエストの数、および合計アップロードバイト数およびリクエストバイト数と、ストレージメトリクスで表示される数またはお客様独自の内部システムによって追跡される値との比較で違いが生じる可能性があります。

  • 失敗した GET および PUT リクエストは分析でカウントされません。ただし、ストレージメトリクスには失敗したリクエストが含まれます。

取得したストレージの量。

Amazon S3 コンソールでは、フィルタリングされたデータセット内で観察期間内に取得されたストレージの量がグラフ化されます。

取得したストレージの割合。

Amazon S3 コンソールでは、フィルタリングされたデータセット内で観察期間内に取得されたストレージの割合もグラフ化されます。

このトピックですでに述べたように、アクセス頻度の低いオブジェクトの分析を実行すると、ストレージクラス分析は、Amazon S3 にアップロードされてからの経過時間に基づいてグループ化された、フィルタリングされたオブジェクトセットを監視します。ストレージクラス分析は、以下の定義済みオブジェクト経過時間グループを使用します。

  • 15 日未満経過の Amazon S3 オブジェクト

  • 15 ~ 29 日経過の Amazon S3 オブジェクト

  • 30 ~ 44 日経過の Amazon S3 オブジェクト

  • 45 ~ 59 日経過の Amazon S3 オブジェクト

  • 60 ~ 74 日経過の Amazon S3 オブジェクト

  • 75 ~ 89 日経過の Amazon S3 オブジェクト

  • 90 ~ 119 日経過の Amazon S3 オブジェクト

  • 120 ~ 149 日経過の Amazon S3 オブジェクト

  • 150~179 日経過の Amazon S3 オブジェクト

  • 180 ~ 364 日経過の Amazon S3 オブジェクト

  • 365 ~ 729 日経過の Amazon S3 オブジェクト

  • 730 日以上経過の Amazon S3 オブジェクト

通常は、分析結果の生成に十分な情報を収集するには、アクセスパターンの監視に約 30 日かかります。データ独自のアクセスパターンによっては、30 日より長くかかることもあります。ただし、フィルターを設定すると、フィルターに基づくデータ分析が 24 ~ 48 時間 Amazon S3 コンソールに表示され始め続けます。Amazon S3 コンソールでは、オブジェクト経過時間グループごとに分けられたオブジェクトアクセスの分析を毎日確認できます。

アクセス頻度の低いストレージの量。

Amazon S3 コンソールには、事前定義されたオブジェクトの経過時間グループごとにアクセスパターンがグループ分けされて表示されます。表示される [アクセスが頻繁] または [アクセスが頻繁ではない] というテキストは、ライフサイクルの作成プロセスに役立つ視覚補助として提供されています。

ストレージクラス分析データをエクスポートする方法

ストレージクラス分析が分析レポートをカンマ区切り値 (CSV) フラットファイルにエクスポートすることを選択できます。レポートは毎日更新され、設定したオブジェクト経過時間グループフィルターに基づいています。Amazon S3 コンソールを使用すると、フィルターの作成時にレポートのエクスポートオプションを選択できます。データのエクスポートを選択した場合、ファイルが書き込まれるエクスポート先バケットとオプションのエクスポート先プレフィックスを指定します。データは、別のアカウントのエクスポート先バケットにエクスポートできます。エクスポート先バケットは、分析対象として設定したバケットと同じリージョンにある必要があります。

AWS アカウント がバケットを所有していることを確認し、定義された場所にあるバケットにオブジェクトを書き込むには、Amazon S3 への許可を付与するバケットポリシーをエクスポート先バケットで作成する必要があります。ポリシーの例については、「S3 インベントリおよび S3 分析に対するアクセス許可の付与」を参照してください。

ストレージクラス分析レポートを設定すると、24 時間後からエクスポートされたレポートが毎日生成され始めます。その後、Amazon S3 はモニタリングを続けて、エクスポートを毎日行います。

CSV ファイルは、スプレッドシートアプリケーションで開くか、Amazon QuickSight など、他のアプリケーションにインポートできます。Amazon QuickSight での Amazon S3 ファイルの使用については、Amazon QuickSight ユーザーガイドの「Create a Data Set Using Amazon S3 Files」を参照してください。

エクスポートされたファイルのデータは、次の例に示すように、オブジェクトの経過時間グループ内の日付でソートされます。ストレージクラスが STANDARD の場合、行には ObjectAgeForSIATransition 列と RecommendedObjectAgeForSIATransition 列のデータも含まれます。

オブジェクトの経過日数グループ内で日付順に並べ替えられている、エクスポートされたストレージクラス分析データのスクリーンショット

レポートの最後に、オブジェクトの経過時間グループが ALL として示されます。ALL 行には、その日のすべての経過時間グループの累計 (128 KB 未満のオブジェクトを含む) が表示されます。

累積合計を含むすべての行を含む、エクスポートされたストレージクラス分析データのスクリーンショット

次のセクションでは、レポートで使用される列について説明します。

エクスポートされたファイルのレイアウト

次の表は、Amazon S3 ストレージクラス分析エクスポートファイルレイアウトを示しています。

スクロールバーを使用して、テーブルの残りの部分を確認します。

列名 ディメンション/メトリクス DataType 説明
日付 ディメンション 文字列 レコードが処理された日付。形式は MM-DD-YYYY です。
ConfigId ディメンション 文字列

フィルター設定を追加する際にフィルター名として入力する値。

フィルタ ディメンション 文字列

Filter フィールドは意図的に空の値に設定されます。

StorageClass ディメンション 文字列

データのストレージクラス。

ObjectAge ディメンション 文字列

フィルター内のオブジェクトの経過時間グループ。128 KB 以上のオブジェクトの場合、12 の異なる経過時間グループ (0-14 日、15-29 日、30-44 日、45-59 日、60-74 日、75-89 日、90-119 日、120-149 日、150-179 日、180-364 日、365-729 日、730 日以上) に加えて、別の「ALL」もあります。ALL は、すべての経過時間グループを表します。

ObjectCount メトリクス 整数

ストレージクラスごとにカウントされた、その日の合計オブジェクト数。この値は AgeGroup='ALL' にのみ入力され、その日すべての年齢層の合計オブジェクト数です。

DataUploaded_MB メトリクス

ストレージクラスごとに、その日にアップロードされた合計データ量 (MB)。この値は AgeGroup='ALL' にのみ入力され、その日すべての年齢層の合計アップロード数 (MB) です。(エクスポートデータにはマルチパートオブジェクトアップロードアクティビティは表示されません。これは、マルチパートアップロードリクエストには現在ストレージクラス情報がないためです。)

Storage_MB メトリクス 数値

経過時間グループ内のその日における、ストレージクラスごとの合計ストレージ容量 (MB)。AgeGroup='ALL' の場合、この値はその日のすべての経過時間グループの合計ストレージ容量 (MB) です。

DataRetrieved_MB メトリクス 数値

経過時間グループ内のその日に GET リクエストによって転送 (アウト) された、ストレージクラスごとのデータ量 (MB)。AgeGroup='ALL' の場合、この値はその日に GET リクエストによって転送 (アウト) された、すべての経過時間グループの合計データ量 (MB) です。

GetRequestCount メトリクス 整数

経過時間グループ内のその日に行われた、ストレージクラスごとの GET と PUT リクエスト数。AgeGroup='ALL' の場合、この値はその日のすべての経過時間グループで行われた合計 GET と PUT リクエスト数を表します。

注記

GetRequestCount カラムのラベルが間違っており、ストレージクラスごとに実行された PUT と PUT リクエストの数も含まれます。

CumulativeAccessRatio メトリクス 数値

累積アクセス率。この率は、経過時間グループが STANDARD_IA への移行対象かどうかを判断できるように、特定の経過時間グループでの使用状況/バイトヒートを表すために使用されます。

ObjectAgeForSIATransition メトリクス 整数 (日)

この値は、AgeGroup=’ALL’ およびストレージクラス = STANDARD の場合にのみ存在します。STANDARD_IA への移行のために監視された経過時間を表します。

RecommendedObjectAgeForSIATransition メトリクス 整数 (日)

この値は、AgeGroup=’ALL’ およびストレージクラス = STANDARD の場合にのみ存在します。ObjectAgeForSIATransition が安定した後、STANDARD_IA への移行のために考慮する必要があるオブジェクトの経過時間 (日) を表します。