在 Athena for Spark 中启用申请方付款 Amazon S3 存储桶 - Amazon Athena
步骤 1：在 Amazon S3 存储桶上启用申请方付款并添加存储桶策略步骤 2：创建 IAM 策略并将其附加到 IAM 角色步骤 3：添加 Athena for Spark 会话属性

在 Athena for Spark 中启用申请方付款 Amazon S3 存储桶

将 Amazon S3 存储桶配置为申请方付款时，将对运行查询的用户账户收取与查询有关的数据访问和数据传输费用。有关更多信息，请参阅《Amazon S3 用户指南》中的使用申请方付款存储桶进行存储传输和使用。

在 Athena for Spark 中，申请方付款存储桶按会话启用，而不是按工作组启用。简而言之，启用申请方付款存储桶包括以下步骤：

  1. 在 Amazon S3 控制台中，启用存储桶属性中的申请方付款，然后添加存储桶策略以指定访问权限。

  2. 在 IAM 控制台中，创建允许访问存储桶的 IAM policy，然后将该策略附加到将用于访问申请方付款存储桶的 IAM 角色。

  3. 在 Athena for Spark 中，添加会话属性以启用申请方付款功能。

步骤 1：在 Amazon S3 存储桶上启用申请方付款并添加存储桶策略

在 Amazon S3 存储桶上启用申请方付款

  1. 通过以下网址打开 Simple Storage Service（Amazon S3）控制台：https://console.aws.amazon.com/s3/。

  2. 在存储桶列表中，选择要启用申请方付款的存储桶的链接。

  3. 在存储桶页面上，选择属性选项卡。

  4. 向下滚动到申请方付款部分，然后选择编辑。

  5. 在编辑申请方付款页面上，选择启用，然后选择保存更改。

  6. 选择权限选项卡。

  7. 在存储桶策略部分中，选择编辑。

  8. 在编辑存储桶策略页面中，将所需的存储桶策略应用于源存储桶。以下示例策略允许访问所有 AWS 主体（"AWS": "*"），但您的访问权限可以更加精细。例如，您可能只想在另一个账户中指定特定的 IAM 角色。

    {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Statement1",
            "Effect": "Allow",
            "Principal": {
                "AWS": "*"
            },
            "Action": "s3:*",
            "Resource": [
                "arn:aws:s3:::account_number-us-east-1-my-s3-requester-pays-bucket",
                "arn:aws:s3:::account_number-us-east-1-my-s3-requester-pays-bucket/*"
            ]
        }
    ]
}

步骤 2：创建 IAM 策略并将其附加到 IAM 角色

接下来，创建 IAM policy 以允许访问存储桶。然后，将该策略附加到将用于访问申请方付款存储桶的角色。

为申请方付款存储桶创建 IAM policy 并将该策略附加到角色

  1. 通过 https://console.aws.amazon.com/iam/ 打开 IAM 控制台。

  2. 在 IAM 控制台导航窗格中，选择策略。

  3. 选择创建策略。

  4. 选择 JSON。

  5. 在策略编辑器中，添加如下所示的策略：

    {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:*"
            ],
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::account_number-us-east-1-my-s3-requester-pays-bucket",
                "arn:aws:s3:::account_number-us-east-1-my-s3-requester-pays-bucket/*"
            ]
        }
    ]
}

  6. 选择下一步。

  7. 在审核和创建页面上，输入策略名称和可选描述，然后选择创建策略。

  8. 在导航窗格中，选择角色。

  9. 在角色页面中，查找要使用的角色，然后选择角色名称链接。

  10. 在权限策略部分中，选择添加权限、附加策略。

  11. 在其他权限策略部分中，选中您创建的策略对应的复选框，然后选择添加权限。

步骤 3：添加 Athena for Spark 会话属性

在为申请方付款配置 Amazon S3 存储桶和相关权限后，您可以在 Athena for Spark 会话中启用该功能。

在 Athena for Spark 会话中启用申请方付款存储桶

  1. 在笔记本编辑器中，从右上角的 Session（会话）菜单中选择 Edit session（编辑会话）。

  2. 展开 Spark 属性。

  3. 选择在 JSON 中编辑。

  4. 在 JSON 文本编辑器中，输入以下内容：

    {
  "spark.hadoop.fs.s3.useRequesterPaysHeader":"true"
}

  5. 选择保存。