Tez の設定

Tez をカスタマイズするには、値を設定して、tez-site 設定分類を使用します。これにより、tez-site.xml 設定ファイルが設定されます。詳細については、Apache Tez Documentation を参照してください。TezConfigurationHive または Pig を変更して Tez 実行エンジンを使用するには、必要に応じて hive-site と pig-properties 設定分類を使用します。次に例を示します。

例: Tez のルートログインレベルを変更して Tez を Hive や Pig の実行エンジンとして設定する

次に示す create-cluster コマンドの例では、Tez、Hive、および Pig がインストールされたクラスターを作成します。このコマンドでは、Amazon S3 に格納されているファイル myConfig.json を参照します。そのファイルは tez-site 分類のプロパティを指定して tez.am.log.level を DEBUG に設定し、hive-site と pig-properties 設定分類を使用して Hive や Pig の実行エンジンを Tez に設定します。

注記

読みやすくするために、Linux 行連続文字 (\) が含まれています。Linux コマンドでは、これらは削除することも、使用することもできます。Windows の場合、削除するか、キャレット (^) に置き換えてください。

aws emr create-cluster --release-label emr-5.36.0 \
--applications Name=Tez Name=Hive Name=Pig --ec2-attributes KeyName=myKey \
--instance-type m5.xlarge --instance-count 3 \
--configurations https://s3.amazonaws.com/mybucket/myfolder/myConfig.json --use-default-roles

myConfig.json のコンテンツの例を以下に示します。

[
    {
      "Classification": "tez-site",
      "Properties": {
        "tez.am.log.level": "DEBUG"
      }
    },
    {
      "Classification": "hive-site",
      "Properties": {
        "hive.execution.engine": "tez"
      }
    },
    {
      "Classification": "pig-properties",
      "Properties": {
        "exectype": "tez"
      }
    }
  ]

注記

Amazon EMR バージョン 5.21.0 以降では、実行中のクラスター内のインスタンスグループごとに、クラスター設定を上書きして追加の設定分類を指定できます。これを行うには、Amazon EMR コンソール、AWS Command Line Interface (AWS CLI)、または AWS SDK を使用します。詳細については、「実行中のクラスター内のインスタンスグループの設定を指定する」を参照してください。