本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用记录 AWS EMR API 调用 AWS CloudTrail
AWS EMR 与一项服务集成 AWS CloudTrail,该服务提供用户、角色或角色所采取的操作的记录。 AWS 服务 CloudTrail 将 AWS EMR 的所有 API 调用捕获为事件。捕获的调用包括来自 AWS EMR 控制台的调用和对 EMR API 操作的代码调用。 AWS 使用收集的信息 CloudTrail,您可以确定向 AWS EMR 发出的请求、发出请求的 IP 地址、发出请求的时间以及其他详细信息。
每个事件或日志条目都包含有关生成请求的人员信息。身份信息有助于您确定以下内容:
-
请求是使用根用户凭证还是用户凭证发出的。
-
请求是否代表 IAM Identity Center 用户发出。
-
请求是使用角色还是联合用户的临时安全凭证发出的。
-
请求是否由其他 AWS 服务发出。
CloudTrail 在您创建账户 AWS 账户 时在您的账户中处于活动状态,并且您自动可以访问 CloudTrail 活动历史记录。 CloudTrail 事件历史记录提供了过去 90 天中记录的管理事件的可查看、可搜索、可下载且不可变的记录。 AWS 区域有关更多信息,请参阅《AWS CloudTrail 用户指南》中的 “使用 CloudTrail 事件历史记录”。查看活动历史记录不 CloudTrail收取任何费用。
要持续记录 AWS 账户 过去 90 天内的事件,请创建跟踪或 CloudTrailLake 事件数据存储。
- CloudTrail 步道
-
跟踪允许 CloudTrail 将日志文件传输到 Amazon S3 存储桶。使用创建的所有跟踪 AWS Management Console 都是多区域的。您可以通过使用 AWS CLI创建单区域或多区域跟踪。建议创建多区域跟踪,因为您可以捕获账户 AWS 区域 中的所有活动。如果您创建单区域跟踪,则只能查看跟踪的 AWS 区域中记录的事件。有关跟踪的更多信息,请参阅《AWS CloudTrail 用户指南》中的为您的 AWS 账户创建跟踪和为组织创建跟踪。
通过创建跟踪,您可以免费将正在进行的管理事件的一份副本传送到您的 Amazon S3 存储桶,但会收取 Amazon S3 存储费用。 CloudTrail 有关 CloudTrail 定价的更多信息,请参阅AWS CloudTrail 定价
。有关 Amazon S3 定价的信息,请参阅 Amazon S3 定价 。 - CloudTrail 湖泊事件数据存储
-
CloudTrail L@@ ak e 允许您对事件运行基于 SQL 的查询。 CloudTrail Lake 将基于行的 JSON 格式的现有事件转换为 Apache ORC
格式。ORC 是一种针对快速检索数据进行优化的列式存储格式。事件将被聚合到事件数据存储中,它是基于您通过应用高级事件选择器选择的条件的不可变的事件集合。应用于事件数据存储的选择器用于控制哪些事件持续存在并可供您查询。有关 CloudTrail Lake 的更多信息,请参阅AWS CloudTrail 用户指南中的使用 AWS CloudTrail Lake。 CloudTrail 湖泊事件数据存储和查询会产生费用。创建事件数据存储时,您可以选择要用于事件数据存储的定价选项。定价选项决定了摄取和存储事件的成本,以及事件数据存储的默认和最长保留期。有关 CloudTrail 定价的更多信息,请参阅AWS CloudTrail 定价
。
AWS 中的 EMR 数据事件 CloudTrail
数据事件可提供对资源或在资源中所执行资源操作(例如,读取或写入 Amazon S3 对象)的相关信息。这些也称为数据层面操作。数据事件通常是高容量活动。默认情况下, CloudTrail 不记录数据事件。 CloudTrail 事件历史记录不记录数据事件。
记录数据事件将收取额外费用。有关 CloudTrail 定价的更多信息,请参阅AWS CloudTrail 定价
您可以使用 CloudTrail 控制台、 AWS CLI或 CloudTrail API 操作记录 AWS EMR 资源类型的数据事件。有关如何记录数据事件的更多信息,请参阅《AWS CloudTrail 用户指南》中的使用 AWS Management Console记录数据事件和使用 AWS Command Line Interface记录数据事件。
下表列出了您可以记录数据事件的 AWS EMR 资源类型。数据事件类型(控制台)列显示要从控制 CloudTrail 台上的数据事件类型列表中选择的值。res ources.type 值列显示该resources.type
值,您将在使用或配置高级事件选择器时指定该值。 AWS CLI CloudTrail APIs“ APIs 记录到的数据 CloudTrail” 列显示了 CloudTrail 针对该资源类型记录的 API 调用。
有关这些 API 操作的更多信息,请参阅 Amazon EMR WAL(EMRWAL)CLI 参考。Amazon EMR 记录了一些数据 API 操作 CloudTrail ,这些操作是您从不直接调用的 HBase 系统操作。EMRWAL CLI 参考中没有这些操作。
数据事件类型(控制台) | resources.type 值 | 数据 APIs 已记录到 CloudTrail |
---|---|---|
Amazon EMR 预写日志 Workspace |
AWS::EMRWAL::Workspace
|
|
您可以将高级事件选择器配置为在 eventName
、readOnly
和 resources.ARN
字段上进行筛选,从而仅记录那些对您很重要的事件。有关这些字段的更多信息,请参阅 AdvancedFieldSelector《AWS CloudTrail API 参考》中的 。
AWS 中的 EMR 管理事件 CloudTrail
管理事件提供有关对中的资源执行的管理操作的信息 AWS 账户。这些也称为控制面板操作。默认情况下, CloudTrail 记录管理事件。
AWS EMR 将所有 AWS EMR 控制平面操作记录为管理事件。有关 EMR 记录到的 AWS EMR 控制平面操作的列表, CloudTrail请参阅 AWS EMR API 参考。AWS
AWS EMR 事件示例
事件代表来自任何来源的单个请求,包括有关所请求的 API 操作、操作的日期和时间、请求参数等的信息。 CloudTrail 日志文件不是公共 API 调用的有序堆栈跟踪,因此事件不会按任何特定顺序出现。
以下示例显示了演示该RunJobFlow操作的 CloudTrail 日志条目。
{ "Records": [ { "eventVersion":"1.01", "userIdentity":{ "type":"IAMUser", "principalId":"EX_PRINCIPAL_ID", "arn":"arn:aws:iam::123456789012:user/temporary-user-xx-7M", "accountId":"123456789012", "userName":"temporary-user-xx-7M" }, "eventTime":"2018-03-31T17:59:21Z", "eventSource":"elasticmapreduce.amazonaws.com", "eventName":"RunJobFlow", "awsRegion":"us-west-2", "sourceIPAddress":"192.0.2.1", "userAgent":"aws-sdk-java/unknown-version Linux/xx Java_HotSpot(TM)_64-Bit_Server_VM/xx", "requestParameters":{ "tags":[ { "value":"prod", "key":"domain" }, { "value":"us-west-2", "key":"realm" }, { "value":"VERIFICATION", "key":"executionType" } ], "instances":{ "slaveInstanceType":"m5.xlarge", "ec2KeyName":"emr-integtest", "instanceCount":1, "masterInstanceType":"m5.xlarge", "keepJobFlowAliveWhenNoSteps":true, "terminationProtected":false }, "visibleToAllUsers":false, "name":"MyCluster", "ReleaseLabel":"emr-5.16.0" }, "responseElements":{ "jobFlowId":"j-2WDJCGEG4E6AJ" }, "requestID":"2f482daf-b8fe-11e3-89e7-75a3d0e071c5", "eventID":"b348a38d-f744-4097-8b2a-e68c9b424698" }, ...additional entries ] }
有关 CloudTrail 录音内容的信息,请参阅《AWS CloudTrail 用户指南》中的CloudTrail录制内容。