EMR集群开启 AWS Outposts - Amazon EMR
先决条件限制网络连接注意事项在上创建 Amazon EMR 集群 AWS Outposts

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

EMR集群开启 AWS Outposts

从 Amazon EMR 5.28.0 开始，您可以在上创建和运行集群 EMR AWS Outposts. AWS Outposts 启用本机 AWS 本地设施中的服务、基础设施和运营模式。In AWS Outposts 环境，你可以使用同样的环境 AWS APIs、您在中使用的工具和基础架构 AWS 云。Amazon EMR on AWS Outposts 非常适合需要在靠近本地数据和应用程序的地方运行的低延迟工作负载。有关 AWS Outposts，请参阅 AWS Outposts 用户指南。

先决条件

以下是在上使用 Amaz EMR on 的先决条件 AWS Outposts:

  • 您必须已安装和配置 AWS Outposts 在您的本地数据中心中。

  • 您的 Outpost 环境和 Outpost 环境之间必须有可靠的网络连接 AWS 区域。

  • 您的 Outpost 中必须有足够的容量来容纳亚马逊EMR支持的实例类型。

限制

以下是使用亚马逊EMR的限制 AWS Outposts:

  • 按需实例是 Amazon EC2 实例唯一支持的选项。竞价型实例不适用于亚马EMR逊 AWS Outposts.

  • 如果您需要更多 Amazon EBS 存储卷，则仅支持通用GP2型 SSD ()。

  • 当你使用时 AWS Outposts 在 Amazon 5.28 到 6.x EMR 版本中，您只能使用将对象存储在 S3 存储桶中 AWS 区域 你指定的。在亚马逊 EMR 7.0.0 及更高版本中，亚马逊开启 EMR AWS Outposts 还支持 S3A 文件系统客户端，前缀s3a://。

  • Amaz EMR on 仅支持以下实例类型 AWS Outposts:

    实例类 实例类型
    通用型

    m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge
    计算优化

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge
    内存优化

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge
    存储优化

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

网络连接注意事项

  • 如果你的 Outpost 和它之间有网络连接 AWS 区域已丢失，您的集群将继续运行。但是，在恢复连接之前，您无法创建新集群或对现有集群执行新操作。如果实例出现故障，则不会自动替换该实例。此外，诸如向正在运行的集群添加步骤、检查步骤执行状态以及发送 CloudWatch 指标和事件之类的操作都将延迟。

  • 我们建议您在 Outpost 和 Outpost 之间提供可靠且高度可用的网络连接 AWS 区域。如果你的 Outpost 和它之间有网络连接 AWS 区域丢失的时间超过几个小时，已启用终止保护的集群将继续运行，已禁用终止保护的集群可能会被终止。

  • 如果网络连接会因日常维护而受到影响，我们建议主动启用终止保护。一般而言，连接中断意味着无法访问 Outpost 或客户网络本地的任何外部依赖关系。这包括 Amazon S3、用于一致性视图的 DynamoDB，以及如果将区域内实例用于EMRFS具有多个主节点的亚马逊RDS集群，则包括 A EMR mazon。

在上创建 Amazon EMR 集群 AWS Outposts

在上创建 Amazon EMR 集群 AWS Outposts 类似于在中创建 Amazon EMR 集群 AWS 云。当您在上创建 Amazon EMR 集群时 AWS Outposts，您必须指定与您的 Outpos EC2 t 关联的 Amazon 子网。

Amazon VPC 可以跨越一个中的所有可用区 AWS 区域。 AWS Outposts 是可用区的扩展，您可以将账户VPC中的 Amazon 扩展到多个可用区和相关的 Outpost 位置。在配置 Outpost 时，您可以将子网与其关联以将您的区域VPC环境扩展到您的本地设施。前哨实例和相关服务作为区域的一部分出现VPC，类似于具有关联子网的可用区。有关信息，请参阅。AWS Outposts 用户指南。

控制台

要在上创建新的 Amazon EMR 集群 AWS Outposts 随着 AWS Management Console，请指定与您的 Outpost 关联的 Amazon EC2 子网。

Console
要在上创建集群 AWS Outposts 使用控制台

  1. 登录 AWS Management Console，然后在 https://console.aws.amazon.com/em r 上打开亚马逊EMR控制台。

  2. EC2在左侧导航窗格的 “开” 下EMR，选择 “集群”，然后选择 “创建集群”。

  3. 在 Cluster configuration（集群配置）下，选择 Instance groups（实例组）或 Instance fleets（实例集）。然后，从选择实例类型下拉菜单中选择一种EC2实例类型，或者选择操作并选择添加EBS卷。Amazon EMR on AWS Outposts 支持有限的 Amazon EBS 卷和实例类型。

  4. 在 “网络” 下，选择具有以下格式的前哨站 ID 的EC2子网：op-123456789。

  5. 选择适用于集群的任何其他选项。

  6. 要启动集群，选择 Create cluster（创建集群）。

CLI
要在上创建集群 AWS Outposts 随着 AWS CLI

  • 要在上创建新的 Amazon EMR 集群 AWS Outposts 随着 AWS CLI，请指定与您的 Outpost 关联的EC2子网，如以下示例所示。Replace（替换） subnet-22XXXX01 使用您自己的 Amazon EC2 子网 ID。

    aws emr create-cluster \
--name "Outpost cluster" \
--release-label emr-7.2.0 \
--applications Name=Spark \
--ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \
--instance-type m5.xlarge --instance-count 3 --use-default-roles