ステップ 2: 環境の確認
サービスの停止の確認
Amazon EMR は、内部で複数のAmazon Web Services を使用します。Amazon EC2 で仮想サーバーを稼働させ、Amazon S3 にデータとスクリプトを保存し、CloudWatch にメトリクスを報告します。これらのサービスを中断するイベントはまれですが、発生すると、Amazon EMR で問題が発生する恐れがあります。
次に進む前に、サービスヘルスダッシュボード
使用制限の確認
大規模なクラスターを起動する場合、多数のクラスターを同時起動した場合、または AWS アカウントアカウントが他のユーザーと共有されている場合は、AWS サービスの制限超過によってクラスターで障害が発生した可能性があります。
Amazon EC2 は、単一の AWS リージョンで実行される仮想サーバーインスタンスの数を、20 個までのオンデマンドインスタンスまたはリザーブドインスタンスに制限しています。20 ノードを超えるクラスターを起動するか、AWS アカウントでアクティブな EC2 インスタンスの総数が 20 を超えるクラスターを起動すると、必要な EC2 インスタンスがいずれも起動されず、クラスターの起動に失敗する可能性があります。この場合、Amazon EMR は EC2 QUOTA EXCEEDED エラーを返します。Amazon EC2 インスタンスの制限引き上げリクエスト
使用制限を超えるもう 1 つの原因は、クラスターが終了してからすべてのリソースを解放するまでの遅延です。設定によっては、1 つのクラスターが完全に終了して、割り当てられたリソースを解放するまでに 5～20 分かかることがあります。クラスターを起動しようとして EC2 QUOTA EXCEEDED エラーが発生する場合、そのエラーの原因として、最近終了したクラスターのリソースがまだ解放されていないことが考えられます。この場合は、Amazon EC2 クォータ増加リクエスト
Simple Storage Service (Amazon S3) では、アカウントで作成されるバケットの数を 100 までに制限しています。クラスターがこの制限を超える新しいバケットを作成すると、バケットの作成が失敗し、クラスターが失敗する恐れがあります。
Amazon VPC サブネット設定の確認
クラスターが Amazon VPC サブネットで起動された場合は、「ネットワークを設定する」の説明に従ってサブネットを設定する必要があります。さらに、クラスターを起動するサブネットに存在する空きの Elastic IP アドレスが、クラスター内の各ノードに 1 つずつ割り当てるのに十分であることを確認します。
クラスターの再起動
処理速度の低下は、一時的な条件で発生している可能性があります。クラスターの終了および再起動を検討し、パフォーマンスが改善されるか確認します。
