翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
クラスターのスケールダウン
注記
スケールダウン動作オプションは、Amazon EMR リリース 5.10.0 以降でサポートされなくなりました。Amazon EC2 に秒単位の請求が導入されたため、Amazon EMR クラスターのデフォルトのスケールダウン動作は、タスクの完了時に終了するようになりました。
Amazon EMR リリース 5.1.0 から 5.9.1 のスケールダウン動作には、Amazon EC2 請求のインスタンス時間の境界での終了と、タスク完了時の終了の 2 つのオプションがあります。Amazon EMR リリース 5.10.0 以降、Amazon EC2 に秒単位の請求が導入されたため、インスタンス時間の境界での終了の設定は廃止されています。このオプションが使用できないバージョンでは、インスタンス時間の境界での終了を指定することはお勧めされていません。
警告
AWS CLI を使用して EC2InstanceIdsToTerminate とともに modify-instance-groups を発行すると、それらのインスタンスは、その設定やそこで実行中のアプリケーションのステータスにかかわらず、すぐに終了されます。この方法でインスタンスを削除すると、データ損失や、予測不可能なクラスター動作が発生する可能性があります。
タスク完了時の終了を指定すると、Amazon EMR は、Amazon EC2 インスタンスを削除する前にタスクを拒否リストに登録し、ノードから削除します。いずれの動作を指定しても、HDFS の破損につながる可能性があれば、Amazon EMR はコアインスタンスグループの Amazon EC2 インスタンスを削除しません。
タスクの完了時に終了
Amazon EMR では、ワークロードに影響を与えずにクラスターをスケールダウンできます。Amazon EMR は、データを失ったりジョブを中断したりすることなく、サイズ縮小処理中にコアノードとタスクノードの YARN、HDFS、およびその他のデーモンを適切に停止します。Amazon EMR は、グループに割り当てられた作業が完了し、アイドル状態の場合にのみインスタンスグループのサイズを縮小します。YARNNodeManager のグレースフルな廃止の場合、ノードが廃止を待つ時間を手動で調整できます。
この時間は、YARN-site 設定分類のプロパティを使用して設定します。Amazon EMR リリース 5.12.0 以降を使用して、YARN.resourcemanager.nodemanager-graceful-decommission-timeout-secsプロパティを指定します。以前の Amazon EMR リリースを使用して、YARN.resourcemanager.decommissioning.timeoutプロパティを指定します。
停止時間がタイムアウトした時点で実行中のコンテナーまたは YARN アプリケーションがあった場合、そのノードは強制的に停止され、実行中のコンテナーは YARN によって他のノードで再スケジュールされます。デフォルト値は 3,600 秒 (1 時間) です。このタイムアウトを任意に高い値に設定して、グレースフルリダクションの待機時間を長くすることができます。詳細については、Apache Hadoop ドキュメントの「Graceful Decommission of YARN Nodes
タスクノードグループ
Amazon EMR は、ステップやアプリケーションに対して実行されているタスクのないインスタンスをインテリジェントに選択し、それらのインスタンスを最初にクラスターから削除します。クラスター内のすべてのインスタンスが使用されている場合、Amazon EMR はそのインスタンスのタスクが完了するの待ってからクラスターから削除します。デフォルトの待機時間は 1 時間です。YARN.resourcemanager.decommissioning.timeoutこの値は設定で変更できます。Amazon EMR では、この新しい設定が動的に使用されます。クラスターサイズを小さくしながら Amazon EMR がタスクを終了しないように、これを任意に大きな数値に設定できます。
コアノードグループ
コアノードでは、インスタンスグループを減らすには YARNNodeManagerDataNode デーモンと HDFS デーモンの両方を廃止する必要があります。YARN の場合、グレースフルリダクションを使用すると、保留中または不完全なコンテナやアプリケーションがない場合にのみ、DECOMMISSIONED廃止対象としてマークされたノードが状態に移行します。停止作業開始時においてノードでコンテナーが実行されていない場合、停止作業は即終了します。
HDFS の場合、適切な削減を行うことで、HDFS のターゲット容量が既存のすべてのブロックに収まる大きさになります。ターゲット容量の大きさが十分でない場合、残りのノードが HDFS にある現在のデータを処理できるように、一部のコアインスタンスのみが停止されます。ノードが完全に停止されるよう、HDFS に十分な容量があるよう確認してください。また、インスタンスグループを減らす前に、書き込み I/O を最小限に抑えるようにしてください。書き込み I/O が多すぎると、サイズ変更操作の完了が遅れる可能性があります。
もう 1 つの制限は、デフォルトのレプリケーション係数です。dfs.replication内部/etc/hadoop/conf/hdfs-site。クラスターを作成するときに、Amazon EMR はクラスター内のインスタンス数に基づいて値を設定します。インスタンス数が 1～3、4～92 の場合は、Amazon EMR が 10 以上のクラスターの値を設定します。13
警告
-
ノードが 4 つ未満のクラスターで 1
dfs.replicationに設定すると、単一ノードがダウンした場合に HDFS データが失われる可能性があります。本番環境のワークロードには、少なくとも 4 つのコアノードを持つクラスターを使用することをお勧めします。 -
Amazon EMR では、クラスターが以下のコアノードをスケーリングすることはできません
dfs.replication。たとえば、コアノードの最小数が 2 の場合dfs.replication = 2。 -
Managed Scaling や Auto Scaling を使用する場合や、クラスターのサイズを手動で変更する場合は、2
dfs.replication以上に設定することをお勧めします。
グレースフルリダクションでは、コアノードを HDFS レプリケーション係数以下に削減することはできません。これは、レプリカが不十分な場合に HDFS がファイルを閉じることができるようにするためです。この制限を回避するには、NameNodeレプリケーション係数を下げてデーモンを再起動します。
Amazon EMR のスケールダウン動作を設定します。
注記
インスタンス時間のスケールダウン動作で終了するオプションは、Amazon EMR リリース 5.10.0 以降でサポートされなくなりました。次のスケールダウン動作オプションは、リリース 5.1.0 から 5.9.1 の Amazon EMR コンソールにのみ表示されます。
クラスターを作成するときに、AWS Management Console、AWS CLI、または Amazon EMR API を使用してスケールダウン動作を設定できます。
注記
Amazon EMR コンソールは、再設計され、使いやすくなりました。の古いコンソールと新しいコンソールエクスペリエンスの違いについては、「」を参照してくださいコンソールの新機能。
