Tez の設定 - Amazon EMR

Tez の設定

Tez をカスタマイズするには、値を設定して、tez-site 設定分類を使用します。これにより、tez-site.xml 設定ファイルが設定されます。詳細については、Apache Tez ドキュメントの TezConfiguration を参照してください。Hive または Pig を変更して Tez 実行エンジンを使用するには、必要に応じて hive-sitepig-properties 設定分類を使用します。次に例を示します。

例: Tez のルートログインレベルを変更して Tez を Hive や Pig の実行エンジンとして設定する

次に示す create-cluster コマンドの例では、Tez、Hive、および Pig がインストールされたクラスターを作成します。このコマンドでは、Amazon S3 に格納されているファイル myConfig.json を参照します。そのファイルは tez-site 分類のプロパティを指定して tez.am.log.levelDEBUG に設定し、hive-sitepig-properties 設定分類を使用して Hive や Pig の実行エンジンを Tez に設定します。

注記

読みやすくするために、Linux 行連続文字 (\) が含まれています。Linux コマンドでは、これらは削除することも、使用することもできます。Windows の場合、削除するか、キャレット (^) に置き換えてください。

aws emr create-cluster --release-label emr-5.36.1 \ --applications Name=Tez Name=Hive Name=Pig --ec2-attributes KeyName=myKey \ --instance-type m5.xlarge --instance-count 3 \ --configurations https://s3.amazonaws.com/mybucket/myfolder/myConfig.json --use-default-roles

myConfig.json のコンテンツの例を以下に示します。

[ { "Classification": "tez-site", "Properties": { "tez.am.log.level": "DEBUG" } }, { "Classification": "hive-site", "Properties": { "hive.execution.engine": "tez" } }, { "Classification": "pig-properties", "Properties": { "exectype": "tez" } } ]
注記

Amazon EMR バージョン 5.21.0 以降では、実行中のクラスター内のインスタンスグループごとに、クラスター設定を上書きして追加の設定分類を指定できます。これを行うには、Amazon EMR コンソール、AWS Command Line Interface (AWS CLI)、または AWS SDK を使用します。詳細については、「実行中のクラスター内のインスタンスグループの設定を指定する」を参照してください。