EMR 上の クラスター AWS Outposts - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

EMR 上の クラスター AWS Outposts

Amazon 5EMR.28.0 以降では、 でEMRクラスターを作成して実行できます。 AWS Outposts. AWS Outposts ネイティブを有効にする AWS オンプレミス施設での サービス、インフラストラクチャ、運用モデル。In AWS Outposts 環境では、同じ を使用できます。 AWS APIsで使用する 、ツール、インフラストラクチャ AWS クラウド。EMR での Amazon AWS Outposts は、オンプレミスのデータやアプリケーションの近くで実行する必要がある低レイテンシーのワークロードに最適です。の詳細については、「」を参照してください。 AWS Outposts、「」を参照してください。 AWS Outposts ユーザーガイド

前提条件

で Amazon を使用するための前提条件を次に示しますEMR。 AWS Outposts:

  • をインストールして設定しておく必要があります AWS Outposts オンプレミスデータセンターの 。

  • Outpost 環境と の間に信頼性の高いネットワーク接続が必要です。 AWS リージョン。

  • Outpost で使用できる Amazon がEMRサポートするインスタンスタイプには十分な容量が必要です。

制限事項

で Amazon を使用する場合の制限事項を次に示しますEMR。 AWS Outposts:

  • オンデマンドインスタンスは、Amazon EC2インスタンスでサポートされている唯一のオプションです。スポットインスタンスは の Amazon EMRでは使用できません AWS Outposts.

  • 追加の Amazon EBSストレージボリュームが必要な場合は、汎用 SSD (GP2) のみがサポートされます。

  • を使用する場合 AWS Outposts Amazon EMRリリース 5.28 から 6.x では、 にオブジェクトを保存する S3 バケットのみを使用できます。 AWS リージョン 指定した 。Amazon 7EMR.0.0 以降では、Amazon EMR on AWS Outposts は、 でもサポートされています。S3A ファイルシステムクライアント、プレフィックス s3a://

  • の Amazon では、次のインスタンスタイプのみがサポートEMRされています。 AWS Outposts:

    インスタンスクラス インスタンスのタイプ
    汎用

    m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge

    コンピューティング最適化

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge

    メモリ最適化

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge

    ストレージの最適化

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

ネットワーク接続に関する考慮事項

  • Outpost とその 間のネットワーク接続 AWS リージョンが失われ、クラスターは引き続き実行されます。ただし、接続が復元されるまで、新しいクラスターを作成したり、既存のクラスターで新しいアクションを実行したりすることはできません。インスタンスに障害が発生した場合、インスタンスは自動的に置き換えられません。さらに、実行中のクラスターへのステップの追加、ステップの実行ステータスの確認、 CloudWatch メトリクスとイベントの送信などのアクションは遅延します。

  • Outpost と の間に、信頼性が高く可用性の高いネットワーク接続を提供することをお勧めします。 AWS リージョン。Outpost とその 間のネットワーク接続 AWS リージョンは数時間以上失われ、終了保護を有効にしたクラスターは引き続き実行され、終了保護を無効にしたクラスターは終了される可能性があります。

  • 定期的なメンテナンスによってネットワーク接続に影響が生じる場合は、事前に終了保護を有効にすることをお勧めします。より一般的には、接続の中断とは、Outpost またはカスタマーネットワークに対してローカルでない外部依存関係が利用できなくなることを意味します。これには、Amazon S3、EMRFS整合性ビューで使用される DynamoDB、および複数のプライマリノードを持つ Amazon EMRクラスターにリージョン内インスタンスが使用されRDSている場合の Amazon が含まれます。

での Amazon EMRクラスターの作成 AWS Outposts

での Amazon EMRクラスターの作成 AWS Outposts は、 で Amazon EMRクラスターを作成するのと似ています。 AWS クラウド。で Amazon EMRクラスターを作成する場合 AWS Outposts、Outpost に関連付けられた Amazon EC2サブネットを指定する必要があります。

Amazon VPCは、 内のすべてのアベイラビリティーゾーンにまたがることができます。 AWS リージョン。 AWS Outposts はアベイラビリティーゾーンの拡張であり、アカウントVPC内の Amazon を拡張して、複数のアベイラビリティーゾーンおよび関連する Outpost ロケーションにまたがることができます。Outpost を設定するときは、サブネットを関連付けて、リージョンVPC環境をオンプレミス施設に拡張します。Outpost インスタンスおよび関連サービスはVPC、関連付けられたサブネットを持つアベイラビリティーゾーンと同様に、リージョン の一部として表示されます。詳細については、「」を参照してください。AWS Outposts ユーザーガイド

コンソール

で新しい Amazon EMRクラスターを作成するには AWS Outposts と AWS Management Console、Outpost に関連付けられている Amazon EC2サブネットを指定します。

Console
でクラスターを作成するには AWS Outposts コンソールで
  1. にサインインする AWS Management Consoleで、https://console.aws.amazon.com/emr で Amazon EMRコンソールを開きます。

  2. 左側のナビゲーションペインの EMRでEC2クラスター を選択し、クラスターの作成 を選択します。

  3. [クラスターの設定] で、[インスタンスグループ] または [インスタンスフリート] を選択します。次に、「インスタンスタイプを選択」ドロップダウンメニューからEC2インスタンスタイプを選択するか、「アクション」を選択し、EBS「ボリュームを追加」を選択します。EMR での Amazon AWS Outposts では、Amazon EBSボリュームとインスタンスタイプが制限されています。

  4. ネットワーク で、Outpost ID が op-123456789 のEC2サブネットを選択します。

  5. クラスターに適用するその他のオプションを選択します。

  6. クラスターを起動するには、[クラスターの作成] を選択します。

CLI
でクラスターを作成するには AWS Outposts と AWS CLI
  • で新しい Amazon EMRクラスターを作成するには AWS Outposts と AWS CLI、次の例のように、Outpost に関連付けられているEC2サブネットを指定します。置換 subnet-22XXXX01 独自の Amazon EC2 サブネット ID を持つ 。

    aws emr create-cluster \ --name "Outpost cluster" \ --release-label emr-7.2.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles