クラスターハードウェアとネットワークを設定する

Amazon EMRクラスターを作成する際の重要な考慮事項は、Amazon EC2インスタンスとネットワークオプションの設定方法です。この章では、これらのオプションを詳しく説明したうえで、ベストプラクティスとガイドラインによって総括します。

• ノードタイプ – EMRクラスター内の Amazon EC2インスタンスは、ノードタイプ に整理されています。プライマリノード、コアノード、およびタスクノードの 3 つがあります。各ノードタイプは、クラスター上にインストールする分散アプリケーションにより定義される一連のロールを実行します。Hadoop MapReduce または Spark ジョブ中、例えば、コアノードとタスクノードのコンポーネントはデータを処理し、出力を Amazon S3 または に転送しHDFS、ステータスメタデータをプライマリノードに返します。単一ノードクラスターの場合、すべてのコンポーネントはプライマリノード上で実行されます。詳細については、「ノードタイプ (プライマリノード、コアノード、タスクノード) について理解する」を参照してください。

• EC2 インスタンス – クラスターを作成するときに、各タイプのノードが実行される Amazon EC2インスタンスを選択します。EC2 インスタンスタイプは、ノードの処理プロファイルとストレージプロファイルを決定します。クラスター内の個々のノードタイプのパフォーマンスプロファイルを決定するため、ノードの Amazon EC2インスタンスの選択は重要です。詳細については、「Amazon で使用するために Amazon EC2インスタンスタイプを設定する EMR」を参照してください。

• ネットワーク — パブリックサブネット、プライベートサブネット、または共有サブネットVPCを使用して、Amazon EMRクラスターを に起動できます。ネットワーク設定により、お客様とサービスがクラスターに接続して作業を実行する方法、クラスターがデータストアおよび AWS リソースに接続する方法、およびそれらの接続でトラフィックを制御するためのオプションが決定されます。詳細については、「VPC for Amazon でネットワークを設定する EMR」を参照してください。

• インスタンスのグループ化 – 各ノードタイプをホストするEC2インスタンスのコレクションは、インスタンスフリートまたは統一インスタンスグループ と呼ばれます。インスタンスグループの設定は、クラスターの作成時に選択します。この選択により、実行中にクラスターにノードを追加する方法が決定されます。この設定はすべてのノードタイプに適用されます。後で変更することはできません。詳細については、「インスタンスフリートまたはユニフォームインスタンスグループでクラスターを作成する」を参照してください。

  注記

  インスタンスフリート設定は、5.0.0 および 5.0.3 を除く Amazon EMRリリース 4.8.0 以降でのみ使用できます。