実行中のクラスター内のインスタンスグループの再設定 - Amazon EMR
インスタンスグループの再設定時の考慮事項コンソールでのインスタンスグループの再設定CLI を使用したインスタンスグループの再設定Java SDK を使用したインスタンスグループの再設定トラブルシューティング

実行中のクラスター内のインスタンスグループの再設定

Amazon EMR バージョン 5.21.0 以降では、実行中のクラスター内のインスタンスグループごとに、クラスターアプリケーションを再設定して追加の設定分類を指定できます。この実行には、Amazon EMR コンソール、AWS Command Line Interface (AWS CLI)、または AWS SDK を使用できます。

新しい Amazon EMR コンソールでインスタンスグループのアプリケーション設定を更新すると、新規設定と既存の設定がマージされ、有効な新規設定が作成されます。Amazon EMR が設定をマージできないという稀なケースでは、コンソールに警告が表示されます。

インスタンスグループの再設定リクエストを送信すると、Amazon EMR が新しい設定仕様にバージョン番号を割り当てます。CloudWatch イベントを表示することで、設定のバージョン番号やインスタンスグループの状態を追跡できます。詳細については、「CloudWatch イベントのモニタリング」を参照してください。

注記

クラスターの作成時に指定したクラスター設定に対して実行できるのは上書きのみであり、削除はできません。既存の設定と指定したファイルに差異がある場合、Amazon EMR は SSH を使用してクラスターに接続中に変更した設定などの手動で変更された設定を、指定したインスタンスグループのクラスターのデフォルト値にリセットします。

インスタンスグループの再設定時の考慮事項

再設定アクション

Amazon EMR コンソールを使用して再設定リクエストを送信すると、AWS Command Line Interface (AWS CLI)、または AWS SDK、Amazon EMR が既存のクラスター上の設定ファイルを確認します。既存の設定と指定したファイルに差異がある場合、Amazon EMR は再設定アクションを開始し、いくつかのアプリケーションを再起動し、SSH を使用してクラスターに接続中に変更した設定などの手動で変更された設定を、指定したインスタンスグループのクラスターのデフォルト値にリセットします。

注記

Amazon EMR は、インスタンスグループの再設定ごとに、デフォルトのアクションをいくつか実行します。これらのデフォルトのアクションが、ユーザーが行ったクラスターのカスタマイズと競合して、再設定に失敗することがあります。再設定失敗のトラブルシューティング方法については、インスタンスグループの再設定のトラブルシューティングを参照してください。

Amazon EMR は、リクエストで指定した設定分類に対する再設定アクションも開始します。これらのアクションの詳細なリストについては、使用している Amazon EMR のバージョンの「設定分類」セクションを参照してください。例えば、6.2.0 の設定分類です。

注記

Amazon EMR リリースガイドには、Amazon EMR バージョン 5.32.0 および 6.2.0 以降の再設定アクションのみが記載されています。

サービスの中断

Amazon EMR では、ローリングプロセスに従って、タスクインスタンスグループとコアインスタンスグループのインスタンスの再設定を行います。インスタンスグループ内のインスタンスのうち、一度に変更および再起動されるのはわずか 10% です。このプロセスは完了するまでに時間がかかりますが、実行中のクラスターでアプリケーションが失敗する可能性は低くなります。

YARN の再起動中に YARN ジョブを実行するには、複数のマスターノードを持つ Amazon EMR クラスターを作成するか、yarn-site 設定分類で yarn.resourcemanager.recovery.enabled を true に設定します。複数のマスターノードの使用方法については、高可用性 YARN ResourceManager を参照してください。

アプリケーションの検証

Amazon EMR は、再設定の再起動プロセスの後に、クラスター上の各アプリケーションが実行中であることを確認します。使用できないアプリケーションがある場合、再設定操作全体が失敗します。再設定操作に失敗した場合、Amazon EMR は、設定パラメータを前に機能していたバージョンに戻します。

注記

再設定の失敗を回避するため、クラスターに使用する予定のアプリケーションのみをインストールすることをお勧めします。再設定リクエストを送信する前に、すべてのクラスターアプリケーションが正常に稼働していることを確認することもお勧めします。

再設定のタイプ

インスタンスグループは、2 つの方法のいずれかで再設定できます。

  • 上書き: デフォルトの再設定方法です。5.35.0 および 6.6.0 より前の Amazon EMR リリースでは、この方法のみ使用できます。この方法で再設定すると、クラスター上のすべてのファイルが、新しく送信した設定セットで強制的に上書きされます。この方法では、再設定 API 以外で行った設定ファイル変更がすべて消去されます。

  • マージ: Amazon EMR リリース 5.35.0 および 6.6.0 以降でサポートされる再設定の方法です。ただし、バージョンに関係なく、Amazon EMR コンソールでは、この再設定は行えません。この方法で再設定すると、新しく送信した設定が、クラスターに既に存在する設定と統合されます。このオプションでは、送信した新しい設定のみが追加または変更されます。既存の設定は保持されます。

注記

Amazon EMR では、適切なサービス稼働に必要な Hadoop 設定の一部が継続的に上書きされます。

制約事項

実行中のクラスターのインスタンスグループを再設定するときは、次の制限を考慮してください。

  • 非 Yarn アプリケーションでは、アプリケーションが適切に設定されていない場合は特に、再起動中の失敗やクラスターの問題が発生する可能性があります。メモリや CPU 使用率が最大に近づいているクラスターは、再起動プロセス後に問題が発生する可能性があります。これは、マスターインスタンスグループに対して特にあてはまります。

  • インスタンスグループのサイズ変更中は、再設定リクエストを送信できません。インスタンスグループのサイズ変更中に再設定を開始した場合、インスタンスグループのサイズ変更が完了するまで再設定を開始することはできません。再設定中にサイズ変更を行う場合も同様です。

  • インスタンスグループを再設定後、Amazon EMR は、新しい設定を反映するためにアプリケーションを再起動します。再設定中にアプリケーションが使用されていると、ジョブが失敗したり、アプリケーションで予期しない動作が発生したりする可能性があります。

  • インスタンスグループの再設定に失敗した場合、Amazon EMR は、設定パラメータを前に機能していたバージョンに戻します。バージョンを戻せなかった場合は、新しい ModifyInstanceGroup リクエストを送信して、インスタンスグループを SUSPENDED 状態から復旧させる必要があります。

  • Phoenix 設定分類の再設定リクエストは、Amazon EMR バージョン 5.23.0 以降でのみサポートされていて、Amazon EMR バージョン 5.21.0 や 5.22.0 ではサポートされていません。

  • HBase 設定分類の再設定リクエストは、Amazon EMR バージョン 5.30.0 以降でのみサポートされていて、Amazon EMR バージョン 5.23.0 から 5.29.0 ではサポートされていません。

  • Amazon EMR バージョン 5.27.0 以降でのみ、複数のプライマリノードを持つ EMR クラスターでのアプリケーション再設定リクエストがサポートされています。

  • hdfs-encryption-zones 分類または Hadoop KMS 設定分類の再設定は、複数のプライマリノードを持つ Amazon EMR クラスターではサポートされていません。

  • Amazon EMR では現在、YARN ResourceManager の再起動を必要とする Capacity Scheduler の特定の再設定リクエストをサポートしていません。例えば、キューを完全に削除することはできません。

コンソールでのインスタンスグループの再設定

注記

Amazon EMR コンソールでは、マージタイプの再設定がサポートされていません。

  1. Amazon EMR コンソール (https://console.aws.amazon.com/emr) を開きます。

  2. [名前] の下のクラスター一覧で、再設定するアクティブなクラスターを選択します。

  3. クラスターのクラスター詳細ページを開き、[設定] タブに移動します。

  4. [フィルタ] ドロップダウンリストで、再設定するインスタンスグループを選択します。

  5. [再設定] ドロップダウンメニューで、[テーブルで編集する] と [JSON ファイルで編集する] のいずれかを選択します。

    • テーブルで編集する -- 設定分類テーブルで、既存の設定のプロパティと値を編集するか、[設定の追加] を選択して追加の設定分類を指定します。

    • JSON ファイルで編集する -- JSON に直接設定を入力するか、短縮構文 (シャドウテキストで示されている) を使用します。それ以外の方法として、JSON の Configurations オブジェクトとしてファイルの Amazon S3 URI を指定します。

    注記

    設定分類テーブルの [ソース] 列は、クラスター作成時と、このインスタンスグループ用の追加設定の指定時のどちらで設定を指定するかを示しています。インスタンスグループの設定は、両方のソースから編集することができます。最初のクラスター設定を削除することはできませんが、インスタンスグループの設定は上書きすることができます。

    また、ネストされた設定分類は、テーブルで直接追加または編集することもできます。たとえば、export の追加の hadoop-env サブ分類を指定するには、テーブルで hadoop.export 設定分類を追加します。次に、この分類の特定のプロパティおよび値を指定します。

  6. (オプション) [Apply this configuration to all active instance groups (この設定をすべてのアクティブインスタンスグループに適用する)] を選択します。

  7. 変更を保存します。

CLI を使用したインスタンスグループの再設定

modify-instance-groups コマンドを使用して、実行中のクラスター内のインスタンスグループに新しい設定を指定します。

注記

次の例では、<j-2AL4XXXXXX5T9> をクラスター ID に、<ig-1xxxxxxx9> をインスタンスグループ ID に置き換えてください。

例 - インスタンスグループの設定を置き換える

次の例では、instanceGroups.json という名前の設定 JSON ファイルを参照して、インスタンスグループの YARN NodeManager ディスクヘルスチェッカーのプロパティを編集します。

  1. 設定分類を準備し、コマンドを実行するのと同じディレクトリに instanceGroups.json として保存します。

    
[
   {
      "InstanceGroupId":"<ig-1xxxxxxx9>",
      "Configurations":[
         {
            "Classification":"yarn-site",
            "Properties":{
               "yarn.nodemanager.disk-health-checker.enable":"true",
               "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"100.0"
            },
            "Configurations":[]
         }
      ]
   }
]

  2. 以下のコマンドを実行します。

    aws emr modify-instance-groups --cluster-id <j-2AL4XXXXXX5T9> \
--instance-groups file://instanceGroups.json
例 - インスタンスグループに設定を追加する

インスタンスグループに設定を追加する場合は、そのインスタンスグループに対して前に指定した設定すべてを新しい ModifyInstanceGroup リクエストに含める必要があります。含めない場合、前に指定した設定が削除されます。

次の例では、YARN NodeManager 仮想メモリチェッカーのプロパティを追加します。設定には、値が上書きされないように YARN NodeManager ディスクヘルスチェッカーに対して前に指定した値も含められています。

  1. instanceGroups.json に次の内容を準備し、コマンドを実行するのと同じディレクトリに保存します。

    
[
   {
      "InstanceGroupId":"<ig-1xxxxxxx9>",
      "Configurations":[
         {
            "Classification":"yarn-site",
            "Properties":{
               "yarn.nodemanager.disk-health-checker.enable":"true",
               "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"100.0",
               "yarn.nodemanager.vmem-check-enabled":"true",
               "yarn.nodemanager.vmem-pmem-ratio":"3.0"
            },
            "Configurations":[]
         }
      ]
   }
]

  2. 以下のコマンドを実行します。

    aws emr modify-instance-groups --cluster-id <j-2AL4XXXXXX5T9> \
--instance-groups file://instanceGroups.json
例 — マージタイプの再設定を使用してインスタンスグループに設定を追加する

デフォルトの上書き再設定によってインスタンスグループに設定を追加する場合は、そのインスタンスグループに以前指定したすべての設定を、新しい ModifyInstanceGroup リクエストに含める必要があります。そうしない場合、上書きによって、以前指定した設定が削除されます。マージの再設定では、この操作は不要です。ただし、リクエストでは、新しい設定のみ指定する必要があります。

次の例では、YARN NodeManager 仮想メモリチェッカーのプロパティを追加します。これは、マージタイプの再設定であるため、YARN NodeManager ディスクヘルスチェッカーに以前指定した値は上書きされません。

  1. instanceGroups.json に次の内容を準備し、コマンドを実行するのと同じディレクトリに保存します。

    
[
   {"InstanceGroupId":"<ig-1xxxxxxx9>",
    "ReconfigurationType" :"MERGE",
      "Configurations":[
         {"Classification":"yarn-site",
            "Properties":{
               "yarn.nodemanager.vmem-check-enabled":"true",
               "yarn.nodemanager.vmem-pmem-ratio":"3.0"
            },
            "Configurations":[]
         }
      ]
   }
]

  2. 以下のコマンドを実行します。

    
aws emr modify-instance-groups --cluster-id <j-2AL4XXXXXX5T9> \
--instance-groups file://instanceGroups.json
例 - インスタンスグループの設定を削除する

インスタンスグループの設定を削除するには、前の設定を除外する新しい再設定リクエストを送信します。

注記

最初のクラスター設定に対して実行できるのは上書きのみです。この設定を削除することはできません。

例えば、前の例から YARN NodeManager ディスクヘルスチェッカーの設定を削除するには、次の内容の新しい instanceGroups.json を送信します。


[
   {
      "InstanceGroupId":"<ig-1xxxxxxx9>",
      "Configurations":[
         {
            "Classification":"yarn-site",
            "Properties":{
               "yarn.nodemanager.vmem-check-enabled":"true",
               "yarn.nodemanager.vmem-pmem-ratio":"3.0"
            },
            "Configurations":[]
         }
      ]
   }
]
注記

最後の再設定リクエストに含まれる設定をすべて削除するには、空の設定の配列を指定して再設定リクエストを送信します。例: 

[
   {
      "InstanceGroupId":"<ig-1xxxxxxx9>",
      "Configurations":[]
   }
]
例 — 1 つのリクエストでインスタンスグループの再設定とサイズ変更を実行する

同じリクエストでインスタンスグループの再設定とサイズ変更を行う方法を次の JSON 例に示します。


[
   {
      "InstanceGroupId":"<ig-1xxxxxxx9>",
      "InstanceCount":5,
      "EC2InstanceIdsToTerminate":["i-123"],
      "ForceShutdown":true,
      "ShrinkPolicy":{
         "DecommissionTimeout":10,
         "InstanceResizePolicy":{
            "InstancesToTerminate":["i-123"],
            "InstancesToProtect":["i-345"],
            "InstanceTerminationTimeout":20
         }
      },
      "Configurations":[
         {
            "Classification":"yarn-site",
            "Configurations":[],
            "Properties":{
               "yarn.nodemanager.disk-health-checker.enable":"true",
               "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"100.0"
            }
         }
      ]
   }
]

Java SDK を使用したインスタンスグループの再設定

注記

次の例では、<j-2AL4XXXXXX5T9> をクラスター ID に、<ig-1xxxxxxx9> をインスタンスグループ ID に置き換えてください。

次のコードスニペットでは、AWS SDK for Java を使用して、インスタンスグループに対する新しい設定を指定します。


AWSCredentials credentials = new BasicAWSCredentials("access-key", "secret-key");
AmazonElasticMapReduce emr = new AmazonElasticMapReduceClient(credentials);

Map<String,String> hiveProperties = new HashMap<String,String>();
hiveProperties.put("hive.join.emit.interval","1000");
hiveProperties.put("hive.merge.mapfiles","true");
        
Configuration configuration = new Configuration()
    .withClassification("hive-site")
    .withProperties(hiveProperties);
    
InstanceGroupModifyConfig igConfig = new InstanceGroupModifyConfig()
    .withInstanceGroupId("<ig-1xxxxxxx9>")
    .withReconfigurationType("MERGE");
    .withConfigurations(configuration);

ModifyInstanceGroupsRequest migRequest = new ModifyInstanceGroupsRequest()
    .withClusterId("<j-2AL4XXXXXX5T9>")
    .withInstanceGroups(igConfig);

emr.modifyInstanceGroups(migRequest);

次のコードスニペットでは、空の設定の配列を指定して、インスタンスグループに対して前に指定した設定を削除します。


List<Configuration> configurations = new ArrayList<Configuration>();

InstanceGroupModifyConfig igConfig = new InstanceGroupModifyConfig()
    .withInstanceGroupId("<ig-1xxxxxxx9>")
    .withConfigurations(configurations);

ModifyInstanceGroupsRequest migRequest = new ModifyInstanceGroupsRequest()
    .withClusterId("<j-2AL4XXXXXX5T9>")
    .withInstanceGroups(igConfig);

emr.modifyInstanceGroups(migRequest);

インスタンスグループの再設定のトラブルシューティング

インスタンスグループの再設定プロセスが失敗した場合、Amazon EMR は再設定を元に戻し、Amazon CloudWatch イベントを使用して失敗メッセージをログに記録します。イベントには、再設定失敗の簡単な概要が記載されます。ここに、再構成が失敗したインスタンスと、対応する失敗メッセージがリストされます。失敗メッセージの例を次に示します。

The reconfiguration operation for instance group ig-1xxxxxxx9 in Amazon EMR cluster j-2AL4XXXXXX5T9 (ExampleClusterName) 
failed at 2021-01-01 00:00 UTC and took 2 minutes to fail. Failed configuration version is example12345. 
Failure message: Instance i-xxxxxxx1, i-xxxxxxx2, i-xxxxxxx3 failed with message "This is an example failure message".

再設定失敗に関する詳細データを収集するには、ノードのプロビジョニングログを確認します。これは、次のようなメッセージを受信したときに特に有用です。

i-xxxxxxx1 failed with message “Unable to complete transaction and some changes were applied.”
On the node
ノードに接続してノードのプロビジョニングログにアクセスする

  1. SSH を使用して、再設定が失敗したノードに接続します。手順については、Amazon EC2 Linux インスタンス用ユーザーガイドの Linux インスタンスへの接続を参照してください。

  2. ノードのプロビジョニングログファイルが含まれる次のディレクトリに移動します。

    /mnt/var/log/provision-node/

  3. reports サブディレクトリを開き、再設定のノードのプロビジョニングレポートを検索します。reports ディレクトリでは、再設定のバージョン番号、Universally Unique Identifier (UUID)、Amazon EC2 インスタンスの IP アドレス、およびタイムスタンプによってログが整理されます。各レポートは、再設定プロセスに関する詳細情報が含まれる圧縮された YAML ファイルです。

    レポートファイルの名前とパスの例を次に示します。

    /reports/2/ca598xxx-cxxx-4xxx-bxxx-6dbxxxxxxxxx/ip-10-73-xxx-xxx.ec2.internal/202104061715.yaml.gz

  4. レポートは、次の例に示すように、zless などのファイルビューワーを使用して確認できます。

    zless 202104061715.yaml.gz
Amazon S3
Amazon S3 を使用してノードのプロビジョニングログにアクセスするには

  1. AWS Management Console にサインインし、Amazon S3 コンソール (https://console.aws.amazon.com/s3/) を開きます。

  2. ログファイルをアーカイブするようにクラスターを設定したときに指定した Amazon S3 バケットを開きます。

  3. ノードのプロビジョニングログファイルが含まれる次のフォルダに移動します。

    amzn-s3-demo-bucket/elasticmapreduce/<cluster id>/node/<instance id>/provision-node/

  4. reports フォルダを開き、再設定のノードのプロビジョニングレポートを検索します。reports フォルダでは、再設定のバージョン番号、Universally Unique Identifier (UUID)、Amazon EC2 インスタンスの IP アドレス、およびタイムスタンプによってログが整理されます。各レポートは、再設定プロセスに関する詳細情報が含まれる圧縮された YAML ファイルです。

    レポートファイルの名前とパスの例を次に示します。

    /reports/2/ca598xxx-cxxx-4xxx-bxxx-6dbxxxxxxxxx/ip-10-73-xxx-xxx.ec2.internal/202104061715.yaml.gz

  5. ログファイルを表示するには、Amazon S3 からローカルマシンにログファイルをテキストファイルとしてダウンロードします。手順については、「オブジェクトのダウンロード」を参照してください。

各ログファイルには、関連する再設定に関する詳細なプロビジョニングレポートが含まれています。エラーメッセージ情報を検索するには、レポートの err ログレベルを検索します。レポートの形式は、クラスターの Amazon EMR のバージョンによって異なります。

5.32.0 および 6.2.0 より前の Amazon EMR リリースバージョンのエラー情報を次の例に示します。

- !ruby/object:Puppet::Util::Log
      level: !ruby/sym err
      tags: 
        - err
      message: "Example detailed error message."
      source: Puppet
      time: 2021-01-01 00:00:00.000000 +00:00

Amazon EMR リリースバージョン 5.32.0 および 6.2.0 以降では、代わりに次の形式が使用されます。

- level: err
  message: 'Example detailed error message.'
  source: Puppet
  tags:
  - err
  time: '2021-01-01 00:00:00.000000 +00:00'
  file: 
  line: