AWS Data Pipelineでのログ記録とモニタリング - AWS Data Pipeline
AWS Data PipelineCloudTrailでの情報AWS Data Pipeline ログファイルエントリの概要

AWS Data Pipelineでのログ記録とモニタリング

AWS Data PipelineはAWS CloudTrailという、AWS Data Pipelineのユーザーやロール、またはAWSのサービスによって実行されたアクションを記録するサービスと統合しています。CloudTrailは、AWS Data PipelineのすべてのAPIコールをイベントとしてキャプチャします。キャプチャされた呼び出しには、AWS Data Pipelineコンソールの呼び出しと、AWS Data Pipeline API オペレーションへのコード呼び出しが含まれます。証跡を作成する場合は、AWS Data Pipelineのイベントなど、Amazon S3バケットへのCloudTrailイベントの継続的な配信を有効にすることができます。証跡を設定しない場合でも、CloudTrailコンソールの[Event history（イベント履歴）]で最新のイベントを表示できます。CloudTrailによって収集された情報を使用して、AWS Data Pipelineに対して行われた要求、要求が行われたIPアドレス、要求を行った人、要求が行われた日時、および追加の詳細を判別できます。

CloudTrailの詳細については、「AWS CloudTrailユーザーガイド」を参照してください。

AWS Data PipelineCloudTrailでの情報

CloudTrailは、アカウントを作成するとAWSアカウントで有効になります。AWS Data Pipelineでアクティビティが発生すると、そのアクティビティは[Event history（イベント履歴）]でAWSのその他のサービスのイベントと共にCloudTrailイベントに記録されます。最近のイベントは、AWSアカウントで表示、検索、ダウンロードできます。詳細については、「CloudTrailイベント履歴でのイベントの表示」を参照してください。

AWSのイベントなど、AWS Data Pipelineアカウントのイベントの継続的なレコードについては、追跡を作成します。追跡により、CloudTrailはログファイルをSimple Storage Service (Amazon S3) バケットに配信できます。デフォルトでは、コンソールで作成した追跡がすべてのAWSリージョンに適用されます。追跡は、AWSパーティションのすべてのリージョンからのイベントをログに記録し、指定したSimple Storage Service (Amazon S3) バケットにログファイルを配信します。さらに、CloudTrailログで収集したイベントデータをより詳細に分析し、それに基づく対応するためにその他のAWSのサービスを設定できます。詳細については、次を参照してください。

ログには、CloudTrailによってすべてのAWS Data Pipelineアクションが記録されます。これらのアクションについては、AWS Data Pipeline APIリファレンスのアクションの章を参照してください。例えば、CreatePipelineアクションを呼び出すと、CloudTrailログファイルにエントリが生成されます。

各イベントまたはログエントリには、リクエストの生成者に関する情報が含まれます。同一性情報は次の判断に役立ちます。

  • リクエストが、ルートとIAMロール認証情報のどちらを使用して送信されたか。

  • リクエストがロールまたはフェデレーションユーザーの一時的なセキュリティ認証情報を使用して行われたかどうか。

  • リクエストが、別のAWSのサービスによって送信されたかどうか。

詳細については、「CloudTrail userIdentity要素」を参照してください。

AWS Data Pipeline ログファイルエントリの概要

追跡は、指定したAmazon S3バケットにイベントをログファイルとして配信するように設定できます。CloudTrailのログファイルには、単一か複数のログエントリがあります。イベントはあらゆるソースからの単一のリクエストを表し、リクエストされたアクション、アクションの日時、リクエストのパラメータなどの情報が含まれます。CloudTrailログファイルは、パブリックAPIコールの順序付けられたスタックトレースではないため、特定の順序では表示されません。

CreatePipelineオペレーションを示すCloudTrailログエントリの例は、次のとおりです。


      {
  "Records": [
    {
      "eventVersion": "1.02",
      "userIdentity": {
        "type": "Root",
        "principalId": "123456789012",
        "arn": "arn:aws:iam::aws-account-id:role/role-name",
        "accountId": "role-account-id",
        "accessKeyId": "role-access-key"
      },
      "eventTime": "2014-11-13T19:15:15Z",
      "eventSource": "datapipeline.amazonaws.com",
      "eventName": "CreatePipeline",
      "awsRegion": "us-east-1",
      "sourceIPAddress": "72.21.196.64",
      "userAgent": "aws-cli/1.5.2 Python/2.7.5 Darwin/13.4.0",
      "requestParameters": {
        "name": "testpipeline",
        "uniqueId": "sounique"
      },
      "responseElements": {
        "pipelineId": "df-06372391ZG65EXAMPLE"
      },
      "requestID": "65cbf1e8-6b69-11e4-8816-cfcbadd04c45",
      "eventID": "9f99dce0-0864-49a0-bffa-f72287197758",
      "eventType": "AwsApiCall",
      "recipientAccountId": "role-account-id"
    }, 
      ...additional entries
  ]
}