Amazon S3 へのログデータのエクスポート
ロググループのログデータを Amazon S3 バケットにエクスポートし、このデータをカスタム処理や分析で使用したり、別のシステムに読み込んだりします。
以下の操作を行うことができます。
-
AWS Key Management Service (AWS KMS) によって暗号化された S3 バケットにログデータをエクスポートする
-
保持期間が設定されている S3 オブジェクトロックが有効になっている S3 バケットに、ログデータをエクスポートする
エクスポート処理を開始するには、エクスポートされたログデータを保存する S3 バケットを作成する必要があります。エクスポートしたファイルを S3 バケットに保存し、Amazon S3 ライフサイクルルールを定義すると、エクスポートしたファイルを自動的にアーカイブまたは削除することができます。
AES-256 で暗号化された S3 バケットへのエクスポートが可能です。ただし、SSE-KMS で暗号化された S3 バケットへのエクスポートはサポートされていません。詳細については、「Amazon S3 のデフォルトバケット暗号化の有効化」を参照してください。
複数のロググループからのログや、複数の時間範囲のログを同じ S3 バケットにエクスポートできます。エクスポートタスクごとにログデータを分割するためには、エクスポートされたすべてのオブジェクトに対する Amazon S3 キープレフィックスとして使用するプレフィックスを指定する必要があります。
エクスポートされたファイル内のログデータのチャンクに対する時間ベースのソートは保証されません。Linux ユーティリティを使用して、エクスポートされたログフィールドデータをソートできます。
ログデータは、エクスポートできるようになるまで最大 12時間かかる場合があります。ほぼリアルタイムのログデータ分析については、CloudWatch Logs Insights を使用したログデータの分析 または サブスクリプションを使用したログデータのリアルタイム処理 を参照してください。
2019 年 2 月 15 日以降、Amazon S3 にエクスポートする機能を使用するには、送信先のバケットへの s3:PutObject アクセス権が発信者に必要です。
概念
作業を開始する前に、エクスポートに関する以下の概念を理解してください。
- log group name
-
エクスポートタスクに関連付けられるロググループの名前。このロググループのログデータが、指定された S3 バケットにエクスポートされます。
- 開始日 (タイムスタンプ)
-
1970 年 1 月 1 日 00:00:00 UTC からの経過ミリ秒数で表されるタイムスタンプであり、指定は必須です。この時より後に取り込まれたロググループのすべてのログイベントがエクスポートされます。
- 終了日 (タイムスタンプ)
-
1970 年 1 月 1 日 00:00:00 UTC からの経過ミリ秒数で表されるタイムスタンプであり、指定は必須です。この時刻より前に取り込まれたロググループのすべてのログイベントがエクスポートされます。
- 送信先バケット
-
エクスポートタスクに関連付けられている S3 バケットの名前。このバケットは、指定されたロググループのログデータをエクスポートするために使用されます。
- 送信先プレフィックス
-
エクスポートされたすべてのオブジェクトの Amazon S3 キープレフィックスとして使用される、オプションの属性。バケット内でフォルダのような構成を作成するのに役立ちます。
