Amazon S3 へのログデータのエクスポート - Amazon CloudWatch Logs
概念

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon S3 へのログデータのエクスポート

この章では、ロググループのログデータを Amazon S3 バケットにエクスポートし、このデータをカスタム処理や分析で使用したり、別のシステムの読み込んだりする方法を説明します。同じアカウントまたは別のアカウントのバケットにエクスポートできます。

以下の操作を行うことができます。

  • AWS Key Management Service （AWS KMS) で SSE-KMS によって暗号化された S3 バケットにログデータをエクスポートする

  • 保持期間が設定されている S3 Object Lock が有効になっている S3 バケットに、ログデータをエクスポートする

注記

Amazon S3 へのエクスポートは、標準ログクラスのロググループでのみサポートされます。ログクラスの詳細については、「ログクラス」を参照してください。

ログを継続的にアーカイブする方法として、Amazon S3 に定期的にエクスポートしないことをお勧めします。そのユースケースでは、代わりにサブスクリプションを使用することをお勧めします。サブスクリプションの詳細については、「」を参照してくださいサブスクリプションを使用したログデータのリアルタイム処理。

エクスポート処理を開始するには、エクスポートされたログデータを保存する S3 バケットを作成する必要があります。エクスポートしたファイルを S3 バケットに保存し、Amazon S3 ライフサイクルルールを定義すると、エクスポートしたファイルを自動的にアーカイブまたは削除することができます。

AES-256 または SSE-KMS で暗号化された S3 バケットへのエクスポートが可能です。DSSE-KMS で暗号化されたバケットへのエクスポートはサポートされていません。

複数のロググループからのログや、複数の時間範囲のログを同じ S3 バケットにエクスポートできます。エクスポートタスクごとにログデータを分割するためには、エクスポートされたすべてのオブジェクトに対する Amazon S3 キープレフィックスとして使用するプレフィックスを指定する必要があります。

注記

エクスポートされたファイル内のログデータのチャンクに対する時間ベースのソートは保証されません。Linux ユーティリティを使用して、エクスポートされたログフィールドデータをソートできます。例えば、次のユーティリティコマンドは、1 つのフォルダー内のすべての .gz ファイルのイベントをソートします。

find . -exec zcat {} + | sed -r 's/^[0-9]+/\x0&/' | sort -z

次のユーティリティコマンドは、複数のサブフォルダにある.gz ファイルをソートします。

find ./*/ -type f -exec zcat {} + | sed -r 's/^[0-9]+/\x0&/' | sort -z

さらに、別の stdout コマンドを使用して、ソートされた出力を別のファイルにパイプして保存することもできます。

ログデータは、エクスポートできるようになるまで最大 12時間かかる場合があります。エクスポートタスクは 24 時間後にタイムアウトします。エクスポートタスクがタイムアウトする場合は、エクスポートタスクを作成するときの時間範囲を短くしてください。

ほぼリアルタイムのログデータ分析については、CloudWatch Logs Insights を使用したログデータの分析 または サブスクリプションを使用したログデータのリアルタイム処理 を参照してください。

内容

概念

作業を開始する前に、エクスポートに関する以下の概念を理解してください。

log group name

エクスポートタスクに関連付けられるロググループの名前。このロググループのログデータが、指定された S3 バケットにエクスポートされます。

開始日 (タイムスタンプ)

1970 年 1 月 1 日 00:00:00 UTC からの経過ミリ秒数で表されるタイムスタンプであり、指定は必須です。この時間以降に取り込まれたロググループのすべてのログイベントがエクスポートされます。

終了日 (タイムスタンプ)

1970 年 1 月 1 日 00:00:00 UTC からの経過ミリ秒数で表されるタイムスタンプであり、指定は必須です。この時刻より前に取り込まれたロググループのすべてのログイベントがエクスポートされます。

送信先バケット

エクスポートタスクに関連付けられている S3 バケットの名前。このバケットは、指定されたロググループのログデータをエクスポートするために使用されます。

送信先プレフィックス

エクスポートされたすべてのオブジェクトの Amazon S3 キープレフィックスとして使用される、オプションの属性。バケット内でフォルダのような構成を作成するのに役立ちます。