VPC でクラスターを起動する - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

VPC でクラスターを起動する

Amazon EMR クラスターをホストするように設定されたサブネットが作成されたら、クラスターの作成時に関連するサブネット ID を指定して、そのサブネットでクラスターを起動します。

注記

Amazon EMR は、リリースバージョン 4.2 以降のプライベートサブネットをサポートします。

クラスターが起動されると、Amazon EMR は、クラスターが VPC プライベートサブネットまたはパブリックサブネット内で起動しているかどうかに基づいて、セキュリティグループを追加します。すべてのセキュリティグループは、ポート 8443 での進入が Amazon EMR サービスと通信することを許可しますが、IP アドレスの範囲はパブリックサブネットとプライベートサブネットとで異なります。Amazon EMR はこれらのセキュリティグループをすべて管理するため、追加の IP アドレスを追加する必要がある場合があります。AWS時間の経過とともに範囲。詳細については、「」を参照してくださいセキュリティグループによるネットワークトラフィックの制御

VPC 上のクラスターを管理するために、Amazon EMR はマスターノードにネットワークデバイスをアタッチし、このデバイスを通じて管理を行います。Amazon EC2 API アクションを使用して、このデバイスを確認できます。DescribeInstances。このデバイスをいずれかの方法で変更すると、クラスターに障害が発生する可能性があります。

Amazon EMR コンソールを使用して VPC 内でクラスターを起動するには

  1. で Amazon EMR コンソールを開きます。https://console.aws.amazon.com/elasticmapreduce/

  2. [クラスターの作成] を選択します。

  3. [Go to advanced options] を選択します。

  4. [Hardware Configuration (ハードウェア構成)] セクションの [Network (ネットワーク)] で、以前に作成した VPC ネットワークの ID を選択します。

  5. [EC2 Subnet (EC2 サブネット)] で、以前に作成したサブネットの ID を選択します。

    1. プライベートサブネットが、NAT インスタンスと S3 エンドポイントオプションで正しく構成されている場合、サブネット名と識別子の上に (EMR 対応) と表示されます。

    2. プライベートサブネットに NAT インスタンスまたは S3 エンドポイント (またはその両方) がない場合、[Add S3 endpoint and NAT instance (S3 エンドポイントおよび NAT インスタンスの追加)]、[Add S3 endpoint (S3 エンドポイントの追加)]、または [Add NAT instance (NAT インスタンスの追加)] を選択してこれを設定できます。NAT インスタンスおよび S3 エンドポイント用に必要なオプションを選択し、[設定] を選択します。

      重要

      Amazon EMR から NAT インスタンスを作成するには、ec2: CreateRoute が必要です。ec2:RevokeSecurityGroupEgress,ec2:AuthorizeSecurityGroupEgress,cloudformation:DescribeStackEventsおよびcloudformation:CreateStackアクセス許可。

      注記

      NAT デバイスに対して Amazon EC2 インスタンスを起動すると、追加のコストが発生します。

  6. クラスターの作成に進みます.

AWS CLI を使用して VPC 内でクラスターを起動するには

注記

AWS CLI は、NAT インスタンスを自動的に作成してプライベートサブネットに接続する方法は提供しません。ただし、サブネットで S3 エンドポイントを作成するには、Amazon VPCCLI コマンドを使用できます。コンソールを使用して NAT インスタンスを作成し、プライベートサブネットでクラスターを起動します。

VPC の設定が完了したら、を使用して、VPC 内で Amazon EMR クラスターを起動できます。create-clusterサブコマンドを--ec2-attributesパラメータ。クラスターに VPC サブネットを指定するには、--ec2-attributes パラメータを使用します。

  • 特定のサブネットにクラスターを作成するには、次のコマンドを入力し、MyKeyAmazon EC2 key pair 名前で、置き換えます。77XXXX03サブネット ID を使用します。

    aws Amazon EMR create-cluster --name "Test cluster" --release-label emr-4.2.0 --applications Name=Hadoop Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey,SubnetId=subnet-77XXXX03 --instance-type m5.xlarge --instance-count 3

    --instance-groups パラメータを使用せずにインスタンス数を指定すると、1 つのマスターノードが起動され、残りのインスタンスはコアノードとして起動されます。すべてのノードで、コマンドで指定したインスタンスタイプが使用されます。

    注記

    以前にデフォルトの Amazon EMR サービスロールと EC2 インスタンスプロファイルを作成していない場合は、「」aws Amazon EMR create-default-rolesと入力する前にそれらを作成してくださいcreate-clusterサブコマンド.

の Amazon EMR コマンドの使用方法については、「」を参照してください。AWS CLI「」を参照してください。AWS CLI