使用 Lake Formation 启动 Amazon EMR 集群 - Amazon EMR

使用 Lake Formation 启动 Amazon EMR 集群

在使用 AWS Lake Formation 启动 Amazon EMR 集群之前,您必须完成开始前的准备工作中的先决条件。

当您使用 Lake Formation 启动 Amazon EMR 集群时,您必须指定以下项目。

启动集群后,请确保使用身份提供商更新的回调或单点登录 URL,以便将用户引导回集群的主节点。

示例:使用 AWS CLI 创建使用 Lake Formation 的 EMR 集群

下面的 AWS CLI 命令使用与 AWS Lake Formation 集成的 Zeppelin 在公有子网中启动 Amazon EMR 集群。它包括 EMR 与 Lake Formation 集成所需的 --kerberos-attributes--security-configurationInstanceProfile 的指定值。

aws emr create-cluster --region us-east-1 \ --release-label emr-5.31.0 \ --use-default-roles \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.xlarge \ InstanceGroupType=CORE,InstanceCount=1,InstanceType=m4.xlarge \ --applications Name=Zeppelin Name=Livy \ --kerberos-attributes Realm=EC2.INTERNAL,KdcAdminPassword=MyClusterKDCAdminPassword \ --ec2-attributes KeyName=EC2_KEY_PAIR,SubnetId=subnet-00xxxxxxxxxxxxx11,InstanceProfile=MyCustomEC2InstanceProfile \ --security-configuration security-configuration \ --name cluster-name

如果您在没有连接网络地址转换 (NAT) 网关的私有子网中启动集群,则需要同时添加 AWS Glue 数据目录和接口 VPC 终端节点,以便您的集群与 Lake Formation 集成。有关更多信息,请参阅 AWS Lake Formation 和接口 VPC 终端节点 (AWS PrivateLink)

更新身份提供商的回调或单点登录 URL

使用 Lake Formation 启动 Amazon EMR 集群后,您必须使用您的身份提供商更新回调或单点登录 URL,以便将用户引导回集群的主节点。

  1. 在 EMR 控制台中(https://console.aws.amazon.com/elasticmapreduce/)或使用 AWS CLI 找到主节点的公共 IP 地址和集群的主实例 ID。

  2. 在您的身份提供商(IdP)账户中设置回调 URL:

    • 使用 AD FS 作为 IdP 时,请完成以下步骤:

      1. 从 AD FS 管理控制台转到 Relying Party Trusts (信赖方信任)

      2. 右键单击您的信赖方信任的显示名称,然后选择 Properties (属性)

      3. Properties (属性) 窗口中,选择 Endpoints (终端节点) 选项卡。

      4. 选择您之前提供的临时 URL,然后选择 edit (编辑)

      5. Edit Endpoint (编辑终端节点) 窗口中,使用您主节点的正确 DNS 名称更新信任 URL。

      6. Add an Endpoint (添加终端节点) 窗口中,使用您的主节点公有 DNS 填写 Trusted URL (信任 URL) 框。例如:

        https://ec2-11-111-11-111.compute-1.amazonaws.com:8442/gateway/knoxsso/api/v1/websso?pac4jCallback=true&client_name=SAML2Client
      7. 选择 OK(确定)。

    • 使用 Auth0 作为 IdP 时,请完成以下步骤:

      1. 转至 https://auth0.com/ 并登录。

      2. 在左侧面板中,选择 Applications (应用程序)

      3. 选择您之前创建的应用程序。

      4. Settings (设置) 选项卡上,使用您的主节点公有 DNS 更新 Allowed Callback URLs (允许的回调 URL)

    • 使用 Okta 作为 IdP 时,请完成以下步骤:

      1. 转至 https://developer.okta.com/ 并登录。

      2. 在右上角,选择 Admin (管理员),然后选择 Applications (应用程序) 选项卡。

      3. 输入您的应用程序名称。

      4. 在您应用程序名称下的 General (常规) 选项卡上,选择 SAML Settings (SAML 设置),然后选择 Edit (编辑)

      5. Configure SAML (配置 SAML) 选项卡上,使用您的主节点公有 DNS 更新 Single-sign on URL (单点登录 URL)