Amazon EMR 設定のベストプラクティス

PDFRSS

Amazon EMR クラスターを設定する際には、インスタンスの追加、インスタンスグループの操作、スポットインスタンスの使用に関する以下のベストプラクティスを使用してください。

インスタンスを追加する

EMR クラスターを設定する際、重要な考慮事項は、クラスターノードを表す EC2 インスタンスを正しく選択することです。クラスターの実行中は、スポットインスタンスをオンデマンドインスタンスに変更するなど、インスタンスのタイプを変更することはできないことに注意してください。プライマリノードを変更するには、クラスターをシャットダウンして新しいノードを作成する必要があります。そのため、ダウンタイムを最小限に抑えるために、正しいインスタンスタイプを選択する必要があります。詳細については、を参照してください。クラスター構成のガイドラインとベストプラクティス。

クラスターに EC2 インスタンスを追加するには、クラスターのインスタンスグループ設定を使用するか、インスタンスフリート設定を使用するかによって、いくつかの方法があります。

• EC2 インスタンスを手動で追加

• インスタンスグループにタスクを手動で追加すると、インスタンスが自動的に追加されます

• 自動スケーリングを設定

インスタンスグループ

EC2 インスタンスを設定に追加するときは、インスタンスグループの使用を検討してください。インスタンスを手動で追加する場合、同じタイプのインスタンスを既存のコアインスタンスグループとタスクインスタンスグループに追加できます。また、別のインスタンスタイプを使用できるタスクインスタンスグループを追加することもできます。

最後に、Amazon EMR でインスタンスグループの自動スケーリングを設定します。インスタンスは Amazon の価値に基づいて自動的に追加および削除できますCloudWatch指定するメトリック。それ以外の場合、インスタンスフリートを使用している場合は、タスクインスタンスフリートを 1 つ追加してください。次に、既存のコアインスタンスとタスクインスタンス群のオンデマンドインスタンスとスポットインスタンスの目標容量を変更します。

スポットインスタンス

タスクノードでスポットインスタンスを使用する。タスクノードはデータを処理しますが、Hadoop 分散ファイルシステム (HDFS) に永続的なデータを保持しません。スポット価格が最大スポット価格を上回ったためにタスクノードがシャットダウンしても、データは失われず、クラスターへの影響は最小限に抑えられます。

タスクインスタンスグループをスポットインスタンスとして起動すると、Amazon EMR はお客様の最大スポット価格を使用して、できるだけ多くのタスクノードをプロビジョニングします。たとえば、6 つのノードを含むタスクインスタンスグループをリクエストできます。最大スポット価格以下で利用できるスポットインスタンスが 5 つしかない場合、Amazon EMR は 5 つのノードでインスタンスグループを起動します。Amazon EMR は、可能であれば 6 番目のノードを後で追加します。詳細については、を参照してください。クラスター構成のガイドラインとベストプラクティス。