VPC をホストクラスターにセットアップする - Amazon EMR

VPC をホストクラスターにセットアップする

VPC でクラスターを起動する前に、VPC とサブネットを作成する必要があります。パブリックサブネットでは、インターネットゲートウェイを作成し、それをサブネットにアタッチする必要があります。以下の手順は、Amazon EMR クラスターをホストできる VPC を作成する方法を示しています。

Amazon EMR クラスター用のサブネットを持つ VPC を作成するには

  1. Amazon VPC コンソール (https://console.aws.amazon.com/vpc/) を開きます。

  2. ページの右上で、VPC の [AWS リージョン] を選択します。

  3. [VPC の作成] を選択します。

  4. [VPC の設定] ページで、[VPC など] を選択します。

  5. [名前タグの自動生成] で [自動生成] を有効にし、VPC の名前を入力します。これは、VPC およびサブネットを作成後に Amazon VPC コンソールにおいてそれらを識別するのに役立ちます。

  6. [IPv4 CIDR ブロック] フィールドに、VPC のプライベート IP アドレススペースを入力して、適切な DNS ホスト名に解決されるようにします。適切な DNS ホスト名に解決されなければ、Amazon EMR クラスターに障害が発生する場合があります。これには次の IP アドレス範囲が含まれています。

    • 10.0.0.0 – 10.255.255.255

    • 172.16.0.0 – 172.31.255.255

    • 192.168.0.0 – 192.168.255.255

  7. [Number of Availability Zones (AZs)] (アベイラビリティゾーンの数 (AZ)) で、サブネットを起動するアベイラビリティーゾーンの数を選択します。

  8. [パブリックサブネットの数] で、VPC に追加するパブリックサブネットの数を選択します。クラスターで使用するデータがインターネットで利用可能な場合は (例えば、Amazon S3 や Amazon RDS 内)、パブリックサブネットを使用する必要があるだけで、プライベートサブネットを追加する必要はありません。

  9. [Number of private subnets] (プライベートサブネットの数) で、VPC に追加するプライベートサブネットの数を選択します。アプリケーションのデータがご自身のネットワークに保存されている場合は (例えば、Oracle データベース内)、1 つまたは複数選択します。プライベートサブネットでの VPC の場合、すべての Amazon EC2 インスタンスは少なくとも Elastic Network Interface を介して Amazon EMR へのルートを持っている必要があります。コンソールでは、これは自動的に設定されます。

  10. [NAT ゲートウェイ] で、オプションで NAT ゲートウェイを追加することを選択します。インターネットと通信する必要があるプライベートサブネットがある場合にのみ必要です。

  11. オプションで、[VPC エンドポイント] で、Simple Storage Service (Amazon S3) のエンドポイントを自身のサブネットに追加することを選択します。

  12. [DNS ホスト名を有効化] と [DNS 解決を有効化] がオンになっていることを確認します。詳細については、「Using DNS with Your VPC」を参照してください。

  13. [VPC の作成] を選択します。

  14. ステータスウィンドウに、作業の進行状況が表示されます。作業が完了したら、[VPC を表示] を選択して [お使いの VPC] ページに移動します。ここにはデフォルトの VPC と作成したばかりの VPC が表示されます。デフォルト以外の VPC を作成した場合には、[Default VPC] 列に [No] と表示されます。

  15. VPC をドメイン名を含まない DNS エントリと関連付ける場合は、[DHCP オプションセット] に移動し、[DHCP オプションセットの作成] を選択し、ドメイン名は省略します。オプションセットを作成したら、新しい VPC に移動し、[アクション] メニューの [DHCP オプションセットの編集] を選択し、新しいオプションセットを選択します。DNS オプションセットを作成した後にコンソールを使用してドメイン名を編集することはできません。

    Hadoop と関連アプリケーションでは、ノードの完全修飾ドメイン名（FQDN）を解決できるようにすることを推奨します。DNS を適切に解決するには、パラメータが以下の値に設定されている DHCP オプション設定を含む VPC を設定します。

    • domain-name = ec2.internal

      リージョンが米国東部 (バージニア北部) の場合は、ec2.internal を使用します。その他のリージョンについては、region-name.compute.internal を使用します。us-west-2 での例では、us-west-2.compute.internal を使用します。AWS GovCloud (米国西部) リージョンの場合は、us-gov-west-1.compute.internal を使用します。

    • domain-name-servers = AmazonProvidedDNS

    詳細については、「Amazon VPC ユーザーガイド」の「DHCP オプションセット」を参照してください。

  16. VPC を作成した後は、[サブネット] ページに移動して、新しい VPC のサブネットの 1 つの [サブネット ID] を書き留めてください。VPC で Amazon EMR クラスターを起動するときにこの情報を使用してください。