Amazon S3 へのログデータのエクスポート
ロググループのログデータを Amazon S3 バケットにエクスポートし、このデータをカスタム処理や分析で使用したり、別のシステムに読み込んだりします。同じアカウントまたは別のアカウントのバケットにエクスポートできます。
以下の操作を行うことができます。
-
AWS Key Management Service (AWS KMS) の SSE-KMS によって暗号化された S3 バケットにログデータをエクスポートする
-
保持期間が設定されている S3 オブジェクトロックが有効になっている S3 バケットに、ログデータをエクスポートする
エクスポート処理を開始するには、エクスポートされたログデータを保存する S3 バケットを作成する必要があります。エクスポートしたファイルを S3 バケットに保存し、Amazon S3 ライフサイクルルールを定義すると、エクスポートしたファイルを自動的にアーカイブまたは削除することができます。
AES-256 または SSE-KMS で暗号化された S3 バケットへのエクスポートが可能です。DSSE-KMS で暗号化されたバケットへのエクスポートはサポートされていません。
複数のロググループからのログや、複数の時間範囲のログを同じ S3 バケットにエクスポートできます。エクスポートタスクごとにログデータを分割するためには、エクスポートされたすべてのオブジェクトに対する Amazon S3 キープレフィックスとして使用するプレフィックスを指定する必要があります。
注記
エクスポートされたファイル内のログデータのチャンクに対する時間ベースのソートは保証されません。Linux ユーティリティを使用して、エクスポートされたログフィールドデータをソートできます。例えば、次のユーティリティコマンドは、1 つのフォルダー内のすべての .gz ファイルのイベントをソートします。
find . -exec zcat {} + | sed -r 's/^[0-9]+/\x0&/' | sort -z
次のユーティリティコマンドは、複数のサブフォルダにある.gz ファイルをソートします。
find ./*/ -type f -exec zcat {} + | sed -r 's/^[0-9]+/\x0&/' | sort -z
さらに、別の stdout コマンドを使用して、ソートされた出力を別のファイルにパイプして保存することもできます。
ログデータは、エクスポートできるようになるまで最大 12時間かかる場合があります。エクスポートタスクは 24 時間後にタイムアウトします。エクスポートタスクがタイムアウトする場合は、エクスポートタスクを作成するときの時間範囲を短くしてください。
ほぼリアルタイムのログデータ分析については、CloudWatch Logs Insights を使用したログデータの分析 または サブスクリプションを使用したログデータのリアルタイム処理 を参照してください。
内容
概念
作業を開始する前に、エクスポートに関する以下の概念を理解してください。
- log group name
-
エクスポートタスクに関連付けられるロググループの名前。このロググループのログデータが、指定された S3 バケットにエクスポートされます。
- 開始日 (タイムスタンプ)
-
1970 年 1 月 1 日 00:00:00 UTC からの経過ミリ秒数で表されるタイムスタンプであり、指定は必須です。この時より後に取り込まれたロググループのすべてのログイベントがエクスポートされます。
- 終了日 (タイムスタンプ)
-
1970 年 1 月 1 日 00:00:00 UTC からの経過ミリ秒数で表されるタイムスタンプであり、指定は必須です。この時刻より前に取り込まれたロググループのすべてのログイベントがエクスポートされます。
- 送信先バケット
-
エクスポートタスクに関連付けられている S3 バケットの名前。このバケットは、指定されたロググループのログデータをエクスポートするために使用されます。
- 送信先プレフィックス
-
エクスポートされたすべてのオブジェクトの Amazon S3 キープレフィックスとして使用される、オプションの属性。バケット内でフォルダのような構成を作成するのに役立ちます。
