Amazon EMR
管理ガイド

クラスターの終了を制御する

Amazon EMR を使用してクラスターを作成するときは、ステップの完了後に自動的に終了する一時的なクラスターを作成することを選択するか、ユーザーが意図的に終了するまで稼働し続ける長時間稼働クラスターを作成することができます。クラスターが終了すると、クラスター内のすべての Amazon EC2 インスタンスが終了し、インスタンスストアと EBS ボリュームを使用したり、復元したりできなくなります。Amazon S3 への書き込みとコストのバランス調整によってデータを管理および保持する戦略を策定するにあたっては、クラスターの終了について理解し、それを管理することが重要です。手動でクラスターを終了する方法については、「クラスターを終了する」を参照してください。

自動終了を使用すると、クラスターは起動して指定されたブートストラップアクションを実行してから、一般的にデータの入力、データの処理、そして出力の生成と保存を行うステップを実行します。ステップが完了すると、Amazon EMR はクラスターの Amazon EC2 インスタンスを自動的に終了します。これは、毎日のデータ処理など、定期的な処理タスクを実行するクラスターに効果的なモデルです。クラスターを自動終了すれば、データの処理に必要な時間分の料金だけが課金されるようになります。ステップの詳細については、「CLI およびコンソールを使用した手順の作業」を参照してください。

長時間稼働クラスターでも同じようにクラスターが起動します。自動的に終了するクラスターと同じようにステップを指定できますが、クラスターはステップの完了後も稼働し続けるため、料金が発生します。このモデルは、インタラクティブに、または自動的にデータのクエリを行ったり、クラスターでホストされているビッグデータアプリケーションと継続的にやり取りしたりする必要がある場合に効果的です。また、非常に大きいデータセットを定期的に処理したり、頻繁に処理したりするため、毎回新しいクラスターを起動してデータをロードするのが非効率である場合にも効果的です。長時間稼働クラスターでは、削除保護を有効にすることで偶発的なシャットダウンを回避できます。また、自動スケーリングやインスタンスフリートなどの機能を活用してクラスターのサイズを動的に調整し、ワークロードの需要に応じてパフォーマンスとコストのバランスを取ることができます。詳細については、「クラスターリソースのスケーリング」および「インスタンスフリートを構成する」を参照してください。

このセクションでは、削除保護と自動終了の仕組み、およびそれらが互いに、また他の Amazon EMR の機能やデータプロセスとどのように連携するのかについて説明します。