実行中のクラスター内のインスタンスグループの再設定 - Amazon EMR
インスタンスグループの再設定時の考慮事項コンソールでのインスタンスグループの再設定CLI を使用したインスタンスグループの再設定Java SDK を使用したインスタンスグループの再設定トラブルシューティング

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

実行中のクラスター内のインスタンスグループの再設定

Amazon EMR バージョン 5.21.0 以降では、実行中のクラスター内のインスタンスグループごとに、クラスターアプリケーションを再設定して追加の設定分類を指定できます。この実行には、Amazon EMR コンソール、AWS Command Line Interface (AWS CLI)、または AWS SDK を使用できます。インスタンスグループのアプリケーション設定を更新すると、Amazon EMR は新しい設定を既存の設定とマージして、新しいアクティブな設定を作成します。

インスタンスグループの再設定リクエストを送信すると、Amazon EMR が新しい設定仕様にバージョン番号を割り当てます。 CloudWatch イベントを表示することで、設定のバージョン番号やインスタンスグループの状態を追跡できます。詳細については、「 CloudWatch イベントのモニタリング」を参照してください。

注記

クラスターの作成時に指定したクラスター設定に対して実行できるのは上書きのみであり、削除はできません。既存の設定と指定したファイルに差異がある場合、Amazon EMR は SSH を使用してクラスターに接続中に変更した設定などの手動で変更された設定を、指定したインスタンスグループのクラスターのデフォルト値にリセットします。

インスタンスグループの再設定時の考慮事項

再設定アクション

Amazon EMR コンソールを使用して再設定リクエストを送信すると、AWS Command Line Interface (AWS CLI)、または AWS SDK、Amazon EMR が既存のクラスター上の設定ファイルを確認します。既存の設定と指定したファイルに差異がある場合、Amazon EMR は再設定アクションを開始し、いくつかのアプリケーションを再起動し、SSH を使用してクラスターに接続中に変更した設定などの手動で変更された設定を、指定したインスタンスグループのクラスターのデフォルト値にリセットします。

注記

Amazon EMR は、インスタンスグループの再設定ごとに、デフォルトのアクションをいくつか実行します。これらのデフォルトのアクションが、ユーザーが行ったクラスターのカスタマイズと競合して、再設定に失敗することがあります。再設定失敗のトラブルシューティング方法については、インスタンスグループの再設定のトラブルシューティングを参照してください。

Amazon EMR は、リクエストで指定した設定分類に対する再設定アクションも開始します。これらのアクションの詳細なリストについては、使用している Amazon EMR のバージョンの「設定分類」セクションを参照してください。例えば、6.2.0 の設定分類です。

注記

Amazon EMR リリースガイドには、Amazon EMR バージョン 5.32.0 および 6.2.0 以降の再設定アクションのみが記載されています。

サービスの中断

Amazon EMR では、ローリングプロセスに従って、タスクインスタンスグループとコアインスタンスグループのインスタンスの再設定を行います。インスタンスグループ内のインスタンスのうち、一度に変更および再起動されるのはわずか 10% です。このプロセスは完了するまでに時間がかかりますが、実行中のクラスターでアプリケーションが失敗する可能性は低くなります。

YARN の再起動中に YARN ジョブを実行するには、複数のマスターノードを持つ Amazon EMR クラスターを作成するか、yarn-site 設定分類で yarn.resourcemanager.recovery.enabled を true に設定します。複数のマスターノードの使用方法については、高可用性 YARN を参照してください ResourceManager。

アプリケーションの検証

Amazon EMR は、再設定の再起動プロセスの後に、クラスター上の各アプリケーションが実行中であることを確認します。使用できないアプリケーションがある場合、再設定操作全体が失敗します。再設定操作に失敗した場合、Amazon EMR は、設定パラメータを前に機能していたバージョンに戻します。

注記

再設定の失敗を回避するため、クラスターに使用する予定のアプリケーションのみをインストールすることをお勧めします。再設定リクエストを送信する前に、すべてのクラスターアプリケーションが正常に稼働していることを確認することもお勧めします。

再構成のタイプ

次の 2 つのいずれかにインスタンスグループを設定できます。

  • [上書き]。デフォルトの再設定方法で、5.35.0 と 6.6.0 より前の Amazon EMR リリースで使用できる唯一の方法です。この再構成方法では、クラスタ上のすべてのファイルが、新しく送信された構成セットで無差別に上書きされます。このメソッドは、再構成 API の外部で行われた設定ファイルへの変更をすべて消去します。

  • マージ。再構成方法は Amazon EMR リリース 5.35.0 と 6.6.0 以降でサポートされています。ただし、Amazon EMR コンソールではサポートされていません。この再構成方法では、新しく送信された構成を、クラスターにすでに存在する構成とマージします。このオプションは、送信した新しい構成を追加または変更するだけです。既存の構成は保持されます。

注記

Amazon EMR は、サービスを正しく実行するために必要な Hadoop の重要な設定の一部を引き続き上書きします。

機能制限

実行中のクラスターのインスタンスグループを再設定するときは、次の制限を考慮してください。

  • 非 Yarn アプリケーションでは、アプリケーションが適切に設定されていない場合は特に、再起動中の失敗やクラスターの問題が発生する可能性があります。メモリや CPU 使用率が最大に近づいているクラスターは、再起動プロセス後に問題が発生する可能性があります。これは、マスターインスタンスグループに対して特にあてはまります。

  • インスタンスグループのサイズ変更中は、再設定リクエストを送信できません。インスタンスグループのサイズ変更中に再設定を開始した場合、インスタンスグループのサイズ変更が完了するまで再設定を開始することはできません。再設定中にサイズ変更を行う場合も同様です。

  • インスタンスグループを再設定後、Amazon EMR は、新しい設定を反映するためにアプリケーションを再起動します。再設定中にアプリケーションが使用されていると、ジョブが失敗したり、アプリケーションで予期しない動作が発生したりする可能性があります。

  • インスタンスグループの再設定に失敗した場合、Amazon EMR は、設定パラメータを前に機能していたバージョンに戻します。バージョンを戻せなかった場合は、新しい ModifyInstanceGroup リクエストを送信して、インスタンスグループを SUSPENDED 状態から復旧させる必要があります。

  • Phoenix 設定分類の再設定リクエストは、Amazon EMR バージョン 5.23.0 以降でのみサポートされていて、Amazon EMR バージョン 5.21.0 や 5.22.0 ではサポートされていません。

  • HBase 設定分類の再設定リクエストは、Amazon EMR バージョン 5.30.0 以降でのみサポートされていて、Amazon EMR バージョン 5.23.0 から 5.29.0 ではサポートされていません。

  • Amazon EMR は、Amazon EMR バージョン 5.27.0 以降でのみ、複数のプライマリノードを持つ Amazon EMR クラスターでのアプリケーションの再設定リクエストをサポートします。

  • 複数のプライマリノードを持つ Amazon EMR クラスターでは、hdfs-encryption-zones分類または Hadoop KMS 設定分類の再設定はサポートされていません。

  • Amazon EMR では現在、YARN の再起動を必要とする Capacity Scheduler の特定の再設定リクエストをサポートしていません ResourceManager。例えば、キューを完全に削除することはできません。

コンソールでのインスタンスグループの再設定

注記

Amazon EMR コンソールはマージタイプの再構成をサポートしていません。

  1. Amazon EMR コンソール (https://console.aws.amazon.com/elasticmapreduce/) を開きます。

  2. [名前] の下のクラスター一覧で、再設定するアクティブなクラスターを選択します。

  3. クラスターのクラスター詳細ページを開き、[設定] タブに移動します。

  4. [フィルタ] ドロップダウンリストで、再設定するインスタンスグループを選択します。

  5. [再設定] ドロップダウンメニューで、[テーブルで編集する] と [JSON ファイルで編集する] のいずれかを選択します。

    • テーブルで編集する -- 設定分類テーブルで、既存の設定のプロパティと値を編集するか、[設定の追加] を選択して追加の設定分類を指定します。

    • JSON ファイルで編集する -- JSON に直接設定を入力するか、短縮構文 (シャドウテキストで示されている) を使用します。それ以外の方法として、JSON の Configurations オブジェクトとしてファイルの Amazon S3 URI を指定します。

    注記

    設定分類テーブルの [ソース] 列は、クラスター作成時と、このインスタンスグループ用の追加設定の指定時のどちらで設定を指定するかを示しています。インスタンスグループの設定は、両方のソースから編集することができます。最初のクラスター設定を削除することはできませんが、インスタンスグループの設定は上書きすることができます。

    また、ネストされた設定分類は、テーブルで直接追加または編集することもできます。たとえば、export の追加の hadoop-env サブ分類を指定するには、テーブルで hadoop.export 設定分類を追加します。次に、この分類の特定のプロパティおよび値を指定します。

  6. (オプション) [Apply this configuration to all active instance groups (この設定をすべてのアクティブインスタンスグループに適用する)] を選択します。

  7. 変更を保存します。

CLI を使用したインスタンスグループの再設定

modify-instance-groups コマンドを使用して、実行中のクラスター内のインスタンスグループに新しい設定を指定します。

注記

次の例では、<j-2AL4XXXXXX5T9>クラスター ID に置き換え、<ig-1xxxxxxx9>インスタンスグループ ID に置き換えます。

例 - インスタンスグループの設定を置き換える

次の例では、インスタンスグループの YARNinstanceGroups.jsonNodeManager ディスクヘルスチェッカーのプロパティを編集するために呼び出される設定 JSON ファイルを参照しています。

  1. 設定分類を準備し、コマンドを実行するのと同じディレクトリに instanceGroups.json として保存します。

    
[
   {
      "InstanceGroupId":"<ig-1xxxxxxx9>",
      "Configurations":[
         {
            "Classification":"yarn-site",
            "Properties":{
               "yarn.nodemanager.disk-health-checker.enable":"true",
               "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"100.0"
            },
            "Configurations":[]
         }
      ]
   }
]

  2. 以下のコマンドを実行します。

    aws emr modify-instance-groups --cluster-id <j-2AL4XXXXXX5T9> \
--instance-groups file://instanceGroups.json
例 - インスタンスグループに設定を追加する

インスタンスグループに設定を追加する場合は、そのインスタンスグループに対して前に指定した設定すべてを新しい ModifyInstanceGroup リクエストに含める必要があります。含めない場合、前に指定した設定が削除されます。

次の例では、YARN NodeManager 仮想メモリチェッカーのプロパティを追加します。設定には、値が上書きされないように YARN NodeManager ディスクヘルスチェッカーに対して前に指定した値も含められています。

  1. instanceGroups.json に次の内容を準備し、コマンドを実行するのと同じディレクトリに保存します。

    
[
   {
      "InstanceGroupId":"<ig-1xxxxxxx9>",
      "Configurations":[
         {
            "Classification":"yarn-site",
            "Properties":{
               "yarn.nodemanager.disk-health-checker.enable":"true",
               "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"100.0",
               "yarn.nodemanager.vmem-check-enabled":"true",
               "yarn.nodemanager.vmem-pmem-ratio":"3.0"
            },
            "Configurations":[]
         }
      ]
   }
]

  2. 以下のコマンドを実行します。

    aws emr modify-instance-groups --cluster-id <j-2AL4XXXXXX5T9> \
--instance-groups file://instanceGroups.json
例 — Merge タイプの再構成でインスタンスグループに設定を追加

デフォルトの上書き再設定方法を使用して設定を追加する場合は、ModifyInstanceGroupそのインスタンスグループに対して前に指定した設定すべてを新しいリクエストに含める必要があります。それ以外の場合は、上書きによって以前に指定した構成が削除されます。Merge の再構成ではこれを行う必要はありません。代わりに、リクエストに新しい設定のみが含まれている必要があります。

次の例では、YARN NodeManager 仮想メモリチェッカーのプロパティを追加します。これは Merge タイプの再構成であるため、YARN NodeManager ディスクヘルスチェッカーに以前に指定した値が上書きされることはありません。

  1. instanceGroups.json に次の内容を準備し、コマンドを実行するのと同じディレクトリに保存します。

    
[
   {"InstanceGroupId":"<ig-1xxxxxxx9>",
    "ReconfigurationType" :"MERGE",
      "Configurations":[
         {"Classification":"yarn-site",
            "Properties":{
               "yarn.nodemanager.vmem-check-enabled":"true",
               "yarn.nodemanager.vmem-pmem-ratio":"3.0"
            },
            "Configurations":[]
         }
      ]
   }
]

  2. 以下のコマンドを実行します。

    
aws emr modify-instance-groups --cluster-id <j-2AL4XXXXXX5T9> \
--instance-groups file://instanceGroups.json
例 - インスタンスグループの設定を削除する

インスタンスグループの設定を削除するには、前の設定を除外する新しい再設定リクエストを送信します。

注記

最初のクラスター設定に対して実行できるのは上書きのみです。この設定を削除することはできません。

例えば、前の例から YARN NodeManager ディスクヘルスチェッカーの設定を削除するには、instanceGroups.json次の内容の新規を送信します。


[
   {
      "InstanceGroupId":"<ig-1xxxxxxx9>",
      "Configurations":[
         {
            "Classification":"yarn-site",
            "Properties":{
               "yarn.nodemanager.vmem-check-enabled":"true",
               "yarn.nodemanager.vmem-pmem-ratio":"3.0"
            },
            "Configurations":[]
         }
      ]
   }
]
注記

最後の再設定リクエストに含まれる設定をすべて削除するには、空の設定の配列を指定して再設定リクエストを送信します。例: 

[
   {
      "InstanceGroupId":"<ig-1xxxxxxx9>",
      "Configurations":[]
   }
]
例 — 1 つのリクエストでインスタンスグループの再設定とサイズ変更を実行する

同じリクエストでインスタンスグループの再設定とサイズ変更を行う方法を次の JSON 例に示します。


[
   {
      "InstanceGroupId":"<ig-1xxxxxxx9>",
      "InstanceCount":5,
      "EC2InstanceIdsToTerminate":["i-123"],
      "ForceShutdown":true,
      "ShrinkPolicy":{
         "DecommissionTimeout":10,
         "InstanceResizePolicy":{
            "InstancesToTerminate":["i-123"],
            "InstancesToProtect":["i-345"],
            "InstanceTerminationTimeout":20
         }
      },
      "Configurations":[
         {
            "Classification":"yarn-site",
            "Configurations":[],
            "Properties":{
               "yarn.nodemanager.disk-health-checker.enable":"true",
               "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"100.0"
            }
         }
      ]
   }
]

Java SDK を使用したインスタンスグループの再設定

注記

次の例では、<j-2AL4XXXXXX5T9>クラスター ID に置き換え、<ig-1xxxxxxx9>インスタンスグループ ID に置き換えます。

次のコードスニペットでは、AWS SDK for Java を使用して、インスタンスグループに対する新しい設定を指定します。


AWSCredentials credentials = new BasicAWSCredentials("access-key", "secret-key");
AmazonElasticMapReduce emr = new AmazonElasticMapReduceClient(credentials);

Map<String,String> hiveProperties = new HashMap<String,String>();
hiveProperties.put("hive.join.emit.interval","1000");
hiveProperties.put("hive.merge.mapfiles","true");
        
Configuration configuration = new Configuration()
    .withClassification("hive-site")
    .withProperties(hiveProperties);
    
InstanceGroupModifyConfig igConfig = new InstanceGroupModifyConfig()
    .withInstanceGroupId("<ig-1xxxxxxx9>")
    .withReconfigurationType("MERGE");
    .withConfigurations(configuration);

ModifyInstanceGroupsRequest migRequest = new ModifyInstanceGroupsRequest()
    .withClusterId("<j-2AL4XXXXXX5T9>")
    .withInstanceGroups(igConfig);

emr.modifyInstanceGroups(migRequest);

次のコードスニペットでは、空の設定の配列を指定して、インスタンスグループに対して前に指定した設定を削除します。


List<Configuration> configurations = new ArrayList<Configuration>();

InstanceGroupModifyConfig igConfig = new InstanceGroupModifyConfig()
    .withInstanceGroupId("<ig-1xxxxxxx9>")
    .withConfigurations(configurations);

ModifyInstanceGroupsRequest migRequest = new ModifyInstanceGroupsRequest()
    .withClusterId("<j-2AL4XXXXXX5T9>")
    .withInstanceGroups(igConfig);

emr.modifyInstanceGroups(migRequest);

インスタンスグループの再設定のトラブルシューティング

インスタンスグループの再設定プロセスが失敗した場合、Amazon EMR は再設定を元に戻し、Amazon CloudWatch イベントを使用して失敗メッセージをログに記録します。イベントには、再設定失敗の簡単な概要が記載されます。ここに、再構成が失敗したインスタンスと、対応する失敗メッセージがリストされます。失敗メッセージの例を次に示します。

The reconfiguration operation for instance group ig-1xxxxxxx9 in Amazon EMR cluster j-2AL4XXXXXX5T9 (ExampleClusterName) 
failed at 2021-01-01 00:00 UTC and took 2 minutes to fail. Failed configuration version is example12345. 
Failure message: Instance i-xxxxxxx1, i-xxxxxxx2, i-xxxxxxx3 failed with message "This is an example failure message".

再設定失敗に関する詳細データを収集するには、ノードのプロビジョニングログを確認します。これは、次のようなメッセージを受信したときに特に有用です。

i-xxxxxxx1 failed with message “Unable to complete transaction and some changes were applied.”
On the node
ノードに接続してノードのプロビジョニングログにアクセスする

  1. SSH を使用して、再設定が失敗したノードに接続します。手順については、Amazon EC2 Linux インスタンス用ユーザーガイドの Linux インスタンスへの接続を参照してください。

  2. ノードのプロビジョニングログファイルが含まれる次のディレクトリに移動します。

    /mnt/var/log/provision-node/

  3. reports サブディレクトリを開き、再設定のノードのプロビジョニングレポートを検索します。reports ディレクトリでは、再設定のバージョン番号、Universally Unique Identifier (UUID)、Amazon EC2 インスタンスの IP アドレス、およびタイムスタンプによってログが整理されます。各レポートは、再設定プロセスに関する詳細情報が含まれる圧縮された YAML ファイルです。

    レポートファイルの名前とパスの例を次に示します。

    /reports/2/ca598xxx-cxxx-4xxx-bxxx-6dbxxxxxxxxx/ip-10-73-xxx-xxx.ec2.internal/202104061715.yaml.gz

  4. レポートは、次の例に示すように、zless などのファイルビューワーを使用して確認できます。

    zless 202104061715.yaml.gz
Amazon S3
Amazon S3 を使用してノードのプロビジョニングログにアクセスするには

  1. AWS Management Console にサインインし、Amazon S3 コンソール (https://console.aws.amazon.com/s3/) を開きます。

  2. ログファイルをアーカイブするようにクラスターを設定したときに指定した Amazon S3 バケットを開きます。

  3. ノードのプロビジョニングログファイルが含まれる次のフォルダに移動します。

    DOC-EXAMPLE-BUCKET/elasticmapreduce/<cluster id>/node/<instance id>/provision-node/

  4. reports フォルダを開き、再設定のノードのプロビジョニングレポートを検索します。reports フォルダでは、再設定のバージョン番号、Universally Unique Identifier (UUID)、Amazon EC2 インスタンスの IP アドレス、およびタイムスタンプによってログが整理されます。各レポートは、再設定プロセスに関する詳細情報が含まれる圧縮された YAML ファイルです。

    レポートファイルの名前とパスの例を次に示します。

    /reports/2/ca598xxx-cxxx-4xxx-bxxx-6dbxxxxxxxxx/ip-10-73-xxx-xxx.ec2.internal/202104061715.yaml.gz

  5. ログファイルを表示するには、Amazon S3 からローカルマシンにログファイルをテキストファイルとしてダウンロードします。手順については、「オブジェクトのダウンロード」を参照してください。

各ログファイルには、関連する再設定に関する詳細なプロビジョニングレポートが含まれています。エラーメッセージ情報を検索するには、レポートの err ログレベルを検索します。レポートの形式は、クラスターの Amazon EMR のバージョンによって異なります。

5.32.0 および 6.2.0 より前の Amazon EMR リリースバージョンのエラー情報を次の例に示します。

- !ruby/object:Puppet::Util::Log
      level: !ruby/sym err
      tags: 
        - err
      message: "Example detailed error message."
      source: Puppet
      time: 2021-01-01 00:00:00.000000 +00:00

Amazon EMR リリースバージョン 5.32.0 および 6.2.0 以降では、代わりに次の形式が使用されます。

- level: err
  message: 'Example detailed error message.'
  source: Puppet
  tags:
  - err
  time: '2021-01-01 00:00:00.000000 +00:00'
  file: 
  line: