Amazon EMR 設定のベストプラクティス

Amazon EMR クラスターを設定するときは、インスタンスの追加、インスタンスグループの使用、スポットインスタンスの使用に関する以下のベストプラクティスを使用します。

インスタンスの追加

EMR クラスターを設定する場合、重要な考慮事項は、クラスターノードを表す EC2 インスタンスの適切な選択です。クラスターの実行中は、スポットインスタンスをオンデマンドインスタンスに変更するなど、インスタンスのタイプを変更することはできません。プライマリノードを変更するには、クラスターをシャットダウンして新しいノードを作成する必要があります。そのため、ダウンタイムを最小限に抑えるには、正しいインスタンスタイプを選択する必要があります。詳細については、「クラスター設定ガイドラインとベストプラクティス」を参照してください。

クラスターに EC2 インスタンスを追加する方法は、クラスターのインスタンスグループ設定とインスタンスフリート設定のどちらを使用するかに応じて、いくつかあります。

• EC2 インスタンスを手動で追加する

• インスタンスグループにタスクを手動で追加して、インスタンスを自動的に追加する

• 自動スケーリングを設定する

インスタンスグループ

設定に EC2 インスタンスを追加する場合は、インスタンスグループの使用を検討してください。インスタンスを手動で追加する場合は、既存のコアインスタンスグループとタスクインスタンスグループに同じタイプのインスタンスを追加できます。また、別のインスタンスタイプを使用できるタスクインスタンスグループを追加することもできます。

最後に、インスタンスグループの Amazon EMR で自動スケーリングを設定します。インスタンスは、指定した Amazon CloudWatch メトリクスの値に基づいて自動的に追加および削除できます。それ以外の場合は、インスタンスフリートを使用している場合、単一のタスクインスタンスフリートを追加します。次に、既存のコアインスタンスフリートとタスクインスタンスフリートのオンデマンドインスタンスとスポットインスタンスのターゲット容量を変更します。

スポットインスタンス

タスクノードでスポットインスタンスを使用します。タスクノードはデータを処理しますが、Hadoop Distributed File System (HDFS) に永続データを保持しません。スポット料金が最大スポット料金を超えたためにタスクノードがシャットダウンした場合、データは失われず、クラスターへの影響は最小限です。

タスクインスタンスグループをスポットインスタンスとして起動すると、Amazon EMR は最大スポット料金を使用して、できるだけ多くのタスクノードをプロビジョニングします。例えば、6 つのノードを持つタスクインスタンスグループをリクエストできます。上限スポット料金以下で使用できるスポットインスタンスが 5 つしかない場合、Amazon EMR は 5 つのノードを持つインスタンスグループを起動します。Amazon EMR は、可能であれば後で 6 番目のノードを追加します。詳細については、「クラスター設定ガイドラインとベストプラクティス」を参照してください。