AWS Outposts の EMR クラスター - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AWS Outposts の EMR クラスター

Amazon EMR バージョン 5.28.0 以降、AWS Outposts で EMR クラスターを作成および実行できます。AWS Outposts は、オンプレミスの施設でネイティブ AWS サービス、インフラストラクチャ、および運用モデルを有効にします。AWS Outposts 環境では、AWS クラウドで使用するのと同じ AWS API、ツール、インフラストラクチャを使用できます。AWS Outposts の Amazon EMR は、オンプレミスのデータやアプリケーションの近くで実行が必要な、低レイテンシーのワークロードに最適です。AWS Outposts の詳細については、AWS Outposts ユーザーガイドを参照してください。

前提条件

Amazon EMR を AWS Outposts で使用するための前提条件を次に示します。

  • オンプレミスのデータセンターに AWS Outposts をインストールして設定しておく必要があります。

  • Outpost 環境と AWS リージョンの間に信頼性の高いネットワーク接続が必要です。

  • Outpost で利用可能な EMR でサポートされているインスタンスタイプに、十分な容量が必要です。

制約事項

AWS Outposts で Amazon EMR を使用する際の制限事項を次に示します。

  • オンデマンドインスタンスは、Amazon EC2 インスタンスでサポートされる唯一のオプションです。スポットインスタンスは、AWS Outposts の Amazon EMR では使用できません。

  • 追加の Amazon EBS ストレージボリュームが必要な場合は、汎用 SSD (GP2) のみがサポートされます。

  • S3 は Outposts での Amazon EMR にサポートされている唯一のオプションです。Outposts での S3 は、AWS Outposts での Amazon EMR に対してサポートされていません。

  • AWS Outposts の Amazon EMR では、次のインスタンスタイプのみがサポートされています。

    インスタンスクラス インスタンスのタイプ
    汎用 m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge
    コンピューティング最適化

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.9xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge| c5d.9xlarge | c5d.18xlarge

    メモリ最適化

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge

    ストレージの最適化

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

ネットワーク接続に関する考慮事項

  • Outpost とその AWS リージョン間のネットワーク接続が失われた場合、クラスターは引き続き実行されます。ただし、接続が復元されるまで、新しいクラスターを作成したり、既存のクラスターで新しいアクションを実行したりすることはできません。インスタンスに障害が発生した場合、インスタンスは自動的に置き換えられません。さらに、実行中のクラスターへのステップの追加、ステップ実行ステータスの確認、送信などのアクション CloudWatch メトリックとイベントは遅延します。

  • Outpost と AWS リージョンの間で、信頼性と可用性の高いネットワーク接続を提供することをお勧めします。Outpost と、その AWS リージョン間のネットワーク接続が数時間以上失われた場合、終了保護を有効にしたクラスターは引き続き実行されます。終了保護を無効にしたクラスターは終了する可能性があります。

  • 定期的なメンテナンスによってネットワーク接続に影響が生じる場合は、事前に終了保護を有効にすることをお勧めします。より一般的には、接続の中断とは、Outpost またはカスタマーネットワークに対してローカルでない外部依存関係が利用できなくなることを意味します。これには、Simple Storage Service (Amazon S3)、EMRFS 整合性ビューで使用される DynamoDB、および複数のマスターノードを持つ EMR クラスターでリージョン内インスタンスが使用される場合の Amazon RDS が含まれます。

AWS Outposts での Amazon EMR クラスターの作成

AWS Outposts での Amazon EMR クラスターの作成は、AWS クラウドでの Amazon EMR クラスターの作成に似ています。AWS Outposts で Amazon EMR クラスターを作成するときは、Outpost に関連付けられた Amazon EC2 サブネットを指定する必要があります。

Amazon VPC は、AWS リージョンのすべてのアベイラビリティーゾーンにまたがることができます。AWS Outposts はアベイラビリティーゾーンの拡張機能であり、1 つのアカウントで Amazon VPC を拡張し、複数のアベイラビリティーゾーンおよび関連する Outpost ロケーションで利用することができます。Outpost を設定するとき、サブネットをそれに関連付けて、リージョン VPC 環境をオンプレミス施設に拡張します。Outpost インスタンスおよび関連サービスは、サブネットが関連付けられたアベイラビリティーゾーンと同様に、リージョンの VPC の一部として表示されます。詳細については、AWS Outposts ユーザーガイドを参照してください。

コンソール

AWS Management Consoleを使用して AWS Outposts で新しい Amazon EMR クラスターを作成するには、Outpost に関連付けられている Amazon EC2 サブネットを指定します。

  1. Amazon EMR コンソールを開きます。

  2. [Create cluster] (クラスターを作成) を選択します。

  3. [Go to advanced options] を選択します。

  4. [ソフトウェア設定] の [リリース] で、5.28.0 以降を選択します。

  5. [ハードウェア構成][EC2 サブネット] で、op-123456789 という形式の Outpost ID を持つ EC2 サブネットを選択します。

  6. ユニフォームインスタンスグループまたはインスタンスフリート用のインスタンスタイプを選択するか、Amazon EBS ストレージボリュームを追加します。AWS Outposts の Amazon EMR では、限られた Amazon EBS ボリュームタイプとインスタンスタイプがサポートされています。

AWS CLI

AWS CLI を使用して AWS Outposts で新しい Amazon EMR クラスターを作成するには、Outpost に関連付けられている EC2 サブネットを指定します。

次の例では、Outpost に Amazon EMR クラスターを作成します。subnet-22XXXX01 を、Outpost に関連付けられた EC2 サブネットに置き換えます。

aws emr create-cluster \ --name "Outpost cluster" \ --release-label emr-5.36.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles