実行中のクラスター内のインスタンスグループの再設定 - Amazon EMR
インスタンスグループの再設定時の考慮事項コンソールでのインスタンスグループの再設定CLI を使用したインスタンスグループの再設定Java SDK を使用したインスタンスグループの再設定トラブルシューティング

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

実行中のクラスター内のインスタンスグループの再設定

Amazon EMR バージョン 5.21.0 以降では、実行中のクラスター内のインスタンスグループごとに、クラスターアプリケーションを再設定して追加の設定分類を指定できます。この実行には、Amazon EMR コンソール、AWS Command Line Interface (AWS CLI)、または AWS SDK を使用できます。

新しい Amazon EMR コンソールでインスタンスグループのアプリケーション設定を更新すると、コンソールは新しい設定を既存の設定とマージして、新しいアクティブな設定を作成しようとします。Amazon EMR が設定をマージできないという珍しいケースでは、コンソールから警告が表示されます。

インスタンスグループの再設定リクエストを送信すると、Amazon EMR が新しい設定仕様にバージョン番号を割り当てます。 CloudWatch イベントを表示することで、設定のバージョン番号やインスタンスグループの状態を追跡できます。詳細については、「 CloudWatch イベントの監視」を参照してください。

注記

クラスターの作成時に指定したクラスター設定に対して実行できるのは上書きのみであり、削除はできません。既存の設定と指定したファイルに差異がある場合、Amazon EMR は SSH を使用してクラスターに接続中に変更した設定などの手動で変更された設定を、指定したインスタンスグループのクラスターのデフォルト値にリセットします。

インスタンスグループの再設定時の考慮事項

再設定アクション

Amazon EMR コンソールを使用して再設定リクエストを送信すると、AWS Command Line Interface (AWS CLI)、または AWS SDK、Amazon EMR が既存のクラスター上の設定ファイルを確認します。既存の設定と指定したファイルに差異がある場合、Amazon EMR は再設定アクションを開始し、いくつかのアプリケーションを再起動し、SSH を使用してクラスターに接続中に変更した設定などの手動で変更された設定を、指定したインスタンスグループのクラスターのデフォルト値にリセットします。

注記

Amazon EMR は、インスタンスグループの再設定ごとに、デフォルトのアクションをいくつか実行します。これらのデフォルトのアクションが、ユーザーが行ったクラスターのカスタマイズと競合して、再設定に失敗することがあります。再設定失敗のトラブルシューティング方法については、インスタンスグループの再設定のトラブルシューティングを参照してください。

Amazon EMR は、リクエストで指定した設定分類に対する再設定アクションも開始します。これらのアクションの詳細なリストについては、使用している Amazon EMR のバージョンの「設定分類」セクションを参照してください。例えば、6.2.0 の設定分類です。

注記

Amazon EMR リリースガイドには、Amazon EMR バージョン 5.32.0 および 6.2.0 以降の再設定アクションのみが記載されています。

サービスの中断

Amazon EMR では、ローリングプロセスに従って、タスクインスタンスグループとコアインスタンスグループのインスタンスの再設定を行います。インスタンスグループ内のインスタンスのうち、一度に変更および再起動されるのはわずか 10% です。このプロセスは完了するまでに時間がかかりますが、実行中のクラスターでアプリケーションが失敗する可能性は低くなります。

YARN の再起動中に YARN ジョブを実行するには、複数のマスターノードを持つ Amazon EMR クラスターを作成するか、yarn-site 設定分類で yarn.resourcemanager.recovery.enabled を true に設定します。複数のマスターノードの使用について詳しくは、「高可用性 YARN」を参照してください ResourceManager。

アプリケーションの検証

Amazon EMR は、再設定の再起動プロセスの後に、クラスター上の各アプリケーションが実行中であることを確認します。使用できないアプリケーションがある場合、再設定操作全体が失敗します。再設定操作に失敗した場合、Amazon EMR は、設定パラメータを前に機能していたバージョンに戻します。

注記

再設定の失敗を回避するため、クラスターに使用する予定のアプリケーションのみをインストールすることをお勧めします。再設定リクエストを送信する前に、すべてのクラスターアプリケーションが正常に稼働していることを確認することもお勧めします。

再構成のタイプ

インスタンスグループは次の 2 つの方法のいずれかで再構成できます。

  • 上書き。デフォルトの再構成方法で、5.35.0 および 6.6.0 より前の Amazon EMR リリースで使用できる唯一の方法です。この再構成方法では、クラスター上のすべてのファイルが、新しく送信された構成セットで無差別に上書きされます。このメソッドは、再構成 API の外部で行われた設定ファイルへの変更をすべて消去します。

  • マージ。Amazon EMR リリース 5.35.0 および 6.6.0 以降でサポートされる再構成方法。ただし、Amazon EMR コンソールではサポートされていません。この再設定方法では、新しく送信された設定を、クラスターにすでに存在する設定と統合します。このオプションでは、送信した新しい設定のみが追加または変更されます。既存の設定は保持されます。

注記

Amazon EMR は、サービスが正しく動作していることを確認するために必要な Hadoop 設定の一部を引き続き上書きしています。

機能制限

実行中のクラスターのインスタンスグループを再設定するときは、次の制限を考慮してください。

  • 非 Yarn アプリケーションでは、アプリケーションが適切に設定されていない場合は特に、再起動中の失敗やクラスターの問題が発生する可能性があります。メモリや CPU 使用率が最大に近づいているクラスターは、再起動プロセス後に問題が発生する可能性があります。これは、マスターインスタンスグループに対して特にあてはまります。

  • インスタンスグループのサイズ変更中は、再設定リクエストを送信できません。インスタンスグループのサイズ変更中に再設定を開始した場合、インスタンスグループのサイズ変更が完了するまで再設定を開始することはできません。再設定中にサイズ変更を行う場合も同様です。

  • インスタンスグループを再設定後、Amazon EMR は、新しい設定を反映するためにアプリケーションを再起動します。再設定中にアプリケーションが使用されていると、ジョブが失敗したり、アプリケーションで予期しない動作が発生したりする可能性があります。

  • インスタンスグループの再設定に失敗した場合、Amazon EMR は、設定パラメータを前に機能していたバージョンに戻します。バージョンを戻せなかった場合は、新しい ModifyInstanceGroup リクエストを送信して、インスタンスグループを SUSPENDED 状態から復旧させる必要があります。

  • Phoenix 設定分類の再設定リクエストは、Amazon EMR バージョン 5.23.0 以降でのみサポートされていて、Amazon EMR バージョン 5.21.0 や 5.22.0 ではサポートされていません。

  • HBase 設定分類の再設定リクエストは、Amazon EMR バージョン 5.30.0 以降でのみサポートされていて、Amazon EMR バージョン 5.23.0 から 5.29.0 ではサポートされていません。

  • Amazon EMR は、複数のプライマリノードを持つ Amazon EMR クラスターでのアプリケーション再構成リクエストを Amazon EMR バージョン 5.27.0 以降でのみサポートします。

  • hdfs-encryption-zones分類や Hadoop KMS 設定分類の再設定は、複数のプライマリノードがある Amazon EMR クラスターではサポートされていません。

  • Amazon EMR は現在、YARN の再起動を必要とするキャパシティスケジューラーの特定の再構成リクエストをサポートしていません。 ResourceManager例えば、キューを完全に削除することはできません。

コンソールでのインスタンスグループの再設定

注記

Amazon EMR コンソールはマージタイプの再構成をサポートしていません。

  1. Amazon EMR コンソール (https://console.aws.amazon.com/elasticmapreduce/) を開きます。

  2. [名前] の下のクラスター一覧で、再設定するアクティブなクラスターを選択します。

  3. クラスターのクラスター詳細ページを開き、[設定] タブに移動します。

  4. [フィルタ] ドロップダウンリストで、再設定するインスタンスグループを選択します。

  5. [再設定] ドロップダウンメニューで、[テーブルで編集する] と [JSON ファイルで編集する] のいずれかを選択します。

    • テーブルで編集する -- 設定分類テーブルで、既存の設定のプロパティと値を編集するか、[設定の追加] を選択して追加の設定分類を指定します。

    • JSON ファイルで編集する -- JSON に直接設定を入力するか、短縮構文 (シャドウテキストで示されている) を使用します。それ以外の方法として、JSON の Configurations オブジェクトとしてファイルの Amazon S3 URI を指定します。

    注記

    設定分類テーブルの [ソース] 列は、クラスター作成時と、このインスタンスグループ用の追加設定の指定時のどちらで設定を指定するかを示しています。インスタンスグループの設定は、両方のソースから編集することができます。最初のクラスター設定を削除することはできませんが、インスタンスグループの設定は上書きすることができます。

    また、ネストされた設定分類は、テーブルで直接追加または編集することもできます。たとえば、export の追加の hadoop-env サブ分類を指定するには、テーブルで hadoop.export 設定分類を追加します。次に、この分類の特定のプロパティおよび値を指定します。

  6. (オプション) [Apply this configuration to all active instance groups (この設定をすべてのアクティブインスタンスグループに適用する)] を選択します。

  7. 変更を保存します。

CLI を使用したインスタンスグループの再設定

modify-instance-groups コマンドを使用して、実行中のクラスター内のインスタンスグループに新しい設定を指定します。

注記

次の例では、<j-2AL4XXXXXX5T9>クラスター ID に置き換え、<ig-1xxxxxxx9>インスタンスグループ ID に置き換えます。

例 - インスタンスグループの設定を置き換える

次の例は、インスタンスグループの YARN instanceGroups.json NodeManager ディスクヘルスチェッカーのプロパティを編集するために呼び出される設定 JSON ファイルを参照しています。

  1. 設定分類を準備し、コマンドを実行するのと同じディレクトリに instanceGroups.json として保存します。

    
[
   {
      "InstanceGroupId":"<ig-1xxxxxxx9>",
      "Configurations":[
         {
            "Classification":"yarn-site",
            "Properties":{
               "yarn.nodemanager.disk-health-checker.enable":"true",
               "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"100.0"
            },
            "Configurations":[]
         }
      ]
   }
]

  2. 以下のコマンドを実行します。

    aws emr modify-instance-groups --cluster-id <j-2AL4XXXXXX5T9> \
--instance-groups file://instanceGroups.json
例 - インスタンスグループに設定を追加する

インスタンスグループに設定を追加する場合は、そのインスタンスグループに対して前に指定した設定すべてを新しい ModifyInstanceGroup リクエストに含める必要があります。含めない場合、前に指定した設定が削除されます。

次の例では、YARN NodeManager 仮想メモリチェッカーのプロパティを追加します。設定には、以前に指定した YARN NodeManager ディスクヘルスチェッカーの値も含まれているため、値が上書きされることはありません。

  1. instanceGroups.json に次の内容を準備し、コマンドを実行するのと同じディレクトリに保存します。

    
[
   {
      "InstanceGroupId":"<ig-1xxxxxxx9>",
      "Configurations":[
         {
            "Classification":"yarn-site",
            "Properties":{
               "yarn.nodemanager.disk-health-checker.enable":"true",
               "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"100.0",
               "yarn.nodemanager.vmem-check-enabled":"true",
               "yarn.nodemanager.vmem-pmem-ratio":"3.0"
            },
            "Configurations":[]
         }
      ]
   }
]

  2. 以下のコマンドを実行します。

    aws emr modify-instance-groups --cluster-id <j-2AL4XXXXXX5T9> \
--instance-groups file://instanceGroups.json
例 — Merge タイプの再構成でインスタンスグループに設定を追加します。

デフォルトの Overwrite 再構成方法を使用して構成を追加する場合は、そのインスタンスグループに対して以前に指定したすべての構成を新しいリクエストに含める必要があります。ModifyInstanceGroupそうしないと、Overwrite は以前に指定した設定を削除します。Merge の再設定ではこれを行う必要はありません。代わりに、リクエストには新しい設定のみが含まれていることを確認する必要があります。

次の例では、YARN NodeManager 仮想メモリチェッカーのプロパティを追加します。これは Merge タイプの再構成であるため、YARN NodeManager ディスクヘルスチェッカーに以前に指定した値は上書きされません。

  1. instanceGroups.json に次の内容を準備し、コマンドを実行するのと同じディレクトリに保存します。

    
[
   {"InstanceGroupId":"<ig-1xxxxxxx9>",
    "ReconfigurationType" :"MERGE",
      "Configurations":[
         {"Classification":"yarn-site",
            "Properties":{
               "yarn.nodemanager.vmem-check-enabled":"true",
               "yarn.nodemanager.vmem-pmem-ratio":"3.0"
            },
            "Configurations":[]
         }
      ]
   }
]

  2. 以下のコマンドを実行します。

    
aws emr modify-instance-groups --cluster-id <j-2AL4XXXXXX5T9> \
--instance-groups file://instanceGroups.json
例 - インスタンスグループの設定を削除する

インスタンスグループの設定を削除するには、前の設定を除外する新しい再設定リクエストを送信します。

注記

最初のクラスター設定に対して実行できるのは上書きのみです。この設定を削除することはできません。

たとえば、YARN NodeManager ディスクヘルスチェッカーの設定を前の例から削除するには、instanceGroups.json次の内容の新しい設定をサブミットします。


[
   {
      "InstanceGroupId":"<ig-1xxxxxxx9>",
      "Configurations":[
         {
            "Classification":"yarn-site",
            "Properties":{
               "yarn.nodemanager.vmem-check-enabled":"true",
               "yarn.nodemanager.vmem-pmem-ratio":"3.0"
            },
            "Configurations":[]
         }
      ]
   }
]
注記

最後の再設定リクエストに含まれる設定をすべて削除するには、空の設定の配列を指定して再設定リクエストを送信します。例: 

[
   {
      "InstanceGroupId":"<ig-1xxxxxxx9>",
      "Configurations":[]
   }
]
例 — 1 つのリクエストでインスタンスグループの再設定とサイズ変更を実行する

同じリクエストでインスタンスグループの再設定とサイズ変更を行う方法を次の JSON 例に示します。


[
   {
      "InstanceGroupId":"<ig-1xxxxxxx9>",
      "InstanceCount":5,
      "EC2InstanceIdsToTerminate":["i-123"],
      "ForceShutdown":true,
      "ShrinkPolicy":{
         "DecommissionTimeout":10,
         "InstanceResizePolicy":{
            "InstancesToTerminate":["i-123"],
            "InstancesToProtect":["i-345"],
            "InstanceTerminationTimeout":20
         }
      },
      "Configurations":[
         {
            "Classification":"yarn-site",
            "Configurations":[],
            "Properties":{
               "yarn.nodemanager.disk-health-checker.enable":"true",
               "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"100.0"
            }
         }
      ]
   }
]

Java SDK を使用したインスタンスグループの再設定

注記

次の例では、<j-2AL4XXXXXX5T9>クラスター ID に置き換え、<ig-1xxxxxxx9>インスタンスグループ ID に置き換えます。

次のコードスニペットでは、AWS SDK for Java を使用して、インスタンスグループに対する新しい設定を指定します。


AWSCredentials credentials = new BasicAWSCredentials("access-key", "secret-key");
AmazonElasticMapReduce emr = new AmazonElasticMapReduceClient(credentials);

Map<String,String> hiveProperties = new HashMap<String,String>();
hiveProperties.put("hive.join.emit.interval","1000");
hiveProperties.put("hive.merge.mapfiles","true");
        
Configuration configuration = new Configuration()
    .withClassification("hive-site")
    .withProperties(hiveProperties);
    
InstanceGroupModifyConfig igConfig = new InstanceGroupModifyConfig()
    .withInstanceGroupId("<ig-1xxxxxxx9>")
    .withReconfigurationType("MERGE");
    .withConfigurations(configuration);

ModifyInstanceGroupsRequest migRequest = new ModifyInstanceGroupsRequest()
    .withClusterId("<j-2AL4XXXXXX5T9>")
    .withInstanceGroups(igConfig);

emr.modifyInstanceGroups(migRequest);

次のコードスニペットでは、空の設定の配列を指定して、インスタンスグループに対して前に指定した設定を削除します。


List<Configuration> configurations = new ArrayList<Configuration>();

InstanceGroupModifyConfig igConfig = new InstanceGroupModifyConfig()
    .withInstanceGroupId("<ig-1xxxxxxx9>")
    .withConfigurations(configurations);

ModifyInstanceGroupsRequest migRequest = new ModifyInstanceGroupsRequest()
    .withClusterId("<j-2AL4XXXXXX5T9>")
    .withInstanceGroups(igConfig);

emr.modifyInstanceGroups(migRequest);

インスタンスグループの再設定のトラブルシューティング

インスタンスグループの再構成プロセスが失敗した場合、Amazon EMR は再構成を元に戻し、Amazon イベントを使用して失敗メッセージをログに記録します。 CloudWatch イベントには、再設定失敗の簡単な概要が記載されます。ここに、再構成が失敗したインスタンスと、対応する失敗メッセージがリストされます。失敗メッセージの例を次に示します。

The reconfiguration operation for instance group ig-1xxxxxxx9 in Amazon EMR cluster j-2AL4XXXXXX5T9 (ExampleClusterName) 
failed at 2021-01-01 00:00 UTC and took 2 minutes to fail. Failed configuration version is example12345. 
Failure message: Instance i-xxxxxxx1, i-xxxxxxx2, i-xxxxxxx3 failed with message "This is an example failure message".

再設定失敗に関する詳細データを収集するには、ノードのプロビジョニングログを確認します。これは、次のようなメッセージを受信したときに特に有用です。

i-xxxxxxx1 failed with message “Unable to complete transaction and some changes were applied.”
On the node
ノードに接続してノードのプロビジョニングログにアクセスする

  1. SSH を使用して、再設定が失敗したノードに接続します。手順については、Amazon EC2 Linux インスタンス用ユーザーガイドの Linux インスタンスへの接続を参照してください。

  2. ノードのプロビジョニングログファイルが含まれる次のディレクトリに移動します。

    /mnt/var/log/provision-node/

  3. reports サブディレクトリを開き、再設定のノードのプロビジョニングレポートを検索します。reports ディレクトリでは、再設定のバージョン番号、Universally Unique Identifier (UUID)、Amazon EC2 インスタンスの IP アドレス、およびタイムスタンプによってログが整理されます。各レポートは、再設定プロセスに関する詳細情報が含まれる圧縮された YAML ファイルです。

    レポートファイルの名前とパスの例を次に示します。

    /reports/2/ca598xxx-cxxx-4xxx-bxxx-6dbxxxxxxxxx/ip-10-73-xxx-xxx.ec2.internal/202104061715.yaml.gz

  4. レポートは、次の例に示すように、zless などのファイルビューワーを使用して確認できます。

    zless 202104061715.yaml.gz
Amazon S3
Amazon S3 を使用してノードのプロビジョニングログにアクセスするには

  1. AWS Management Console にサインインし、Amazon S3 コンソール (https://console.aws.amazon.com/s3/) を開きます。

  2. ログファイルをアーカイブするようにクラスターを設定したときに指定した Amazon S3 バケットを開きます。

  3. ノードのプロビジョニングログファイルが含まれる次のフォルダに移動します。

    DOC-EXAMPLE-BUCKET/elasticmapreduce/<cluster id>/node/<instance id>/provision-node/

  4. reports フォルダを開き、再設定のノードのプロビジョニングレポートを検索します。reports フォルダでは、再設定のバージョン番号、Universally Unique Identifier (UUID)、Amazon EC2 インスタンスの IP アドレス、およびタイムスタンプによってログが整理されます。各レポートは、再設定プロセスに関する詳細情報が含まれる圧縮された YAML ファイルです。

    レポートファイルの名前とパスの例を次に示します。

    /reports/2/ca598xxx-cxxx-4xxx-bxxx-6dbxxxxxxxxx/ip-10-73-xxx-xxx.ec2.internal/202104061715.yaml.gz

  5. ログファイルを表示するには、Amazon S3 からローカルマシンにログファイルをテキストファイルとしてダウンロードします。手順については、「オブジェクトのダウンロード」を参照してください。

各ログファイルには、関連する再設定に関する詳細なプロビジョニングレポートが含まれています。エラーメッセージ情報を検索するには、レポートの err ログレベルを検索します。レポートの形式は、クラスターの Amazon EMR のバージョンによって異なります。

5.32.0 および 6.2.0 より前の Amazon EMR リリースバージョンのエラー情報を次の例に示します。

- !ruby/object:Puppet::Util::Log
      level: !ruby/sym err
      tags: 
        - err
      message: "Example detailed error message."
      source: Puppet
      time: 2021-01-01 00:00:00.000000 +00:00

Amazon EMR リリースバージョン 5.32.0 および 6.2.0 以降では、代わりに次の形式が使用されます。

- level: err
  message: 'Example detailed error message.'
  source: Puppet
  tags:
  - err
  time: '2021-01-01 00:00:00.000000 +00:00'
  file: 
  line: