Configuration de Tez

Vous pouvez personnaliser Tez en définissant des valeurs à l'aide de la classification de configuration tez-site, qui configure les paramètres dans le fichier de configuration tez-site.xml. Pour plus d'informations, consultez la page ConfigurationTez dans la documentation Apache Tez. Pour modifier Hive ou Pig afin d'utiliser le moteur d'exécution Tez, utilisez les classifications de configuration hive-site et pig-properties correspondantes. Des exemples sont présentés ci-après.

Exemple : Personnalisation du niveau d'enregistrement racine de Tez et Configuration de Tez comme moteur d'exécution pour Hive et Pig

L'exemple de commande create-cluster ci-dessous crée un cluster avec Tez, Hive et Pig installés. La commande fait référence à un fichier stocké dans Amazon S3, myConfig.json, qui spécifie les propriétés pour la classification tez-site qui définit tez.am.log.level sur DEBUG et définit le moteur d'exécution Tez pour Hive et Pig en utilisant les classifications de configuration hive-site et pig-properties.

Note

Les caractères de continuation de ligne Linux (\) sont inclus pour des raisons de lisibilité. Ils peuvent être supprimés ou utilisés dans les commandes Linux. Pour Windows, supprimez-les ou remplacez-les par un caret (^).

aws emr create-cluster --release-label emr-5.36.1 \
--applications Name=Tez Name=Hive Name=Pig --ec2-attributes KeyName=myKey \
--instance-type m5.xlarge --instance-count 3 \
--configurations https://s3.amazonaws.com/mybucket/myfolder/myConfig.json --use-default-roles

Vous trouverez ci-dessous des exemples de contenus myConfig.json.

[
    {
      "Classification": "tez-site",
      "Properties": {
        "tez.am.log.level": "DEBUG"
      }
    },
    {
      "Classification": "hive-site",
      "Properties": {
        "hive.execution.engine": "tez"
      }
    },
    {
      "Classification": "pig-properties",
      "Properties": {
        "exectype": "tez"
      }
    }
  ]

Note

Avec la version 5.21.0 et ultérieures d'Amazon EMR, vous permet de remplacer les configurations de cluster et de spécifier des classifications de configuration supplémentaires pour chaque groupe d'instances dans un cluster en cours d'exécution. Pour ce faire, vous pouvez utiliser la console Amazon EMR, le AWS Command Line Interface (AWS CLI) ou le AWS SDK. Pour plus d'informations, consultez Fourniture d'une configuration pour un groupe d'instances dans un cluster en cours d'exécution.