Apache Pig
Apache Pig est une bibliothèque Apache open source qui s'exécute au-dessus de Hadoop. Elle fournit un langage de script que vous pouvez utiliser pour transformer des ensembles de données volumineux, sans avoir à écrire de code complexe en langage informatique de niveau inférieur, comme Java. La bibliothèque prend des commandes de type SQL écrites dans un langage appelé Pig Latin et les convertit en travaux Tez basés sur des DAG (Directed Acyclic Graphs, graphes acycliques dirigés) ou des programmes MapReduce. Pig fonctionne avec des données structurées et non structurées dans différents formats. Pour plus d'informations sur Pig, consultez la page http://pig.apache.org/
Vous pouvez exécuter les commandes Pig de façon interactive ou en mode de traitement par lots. Pour utiliser Pig de façon interactive, créez une connexion SSH vers le nœud maître et envoyez des commandes à l'aide du shell Grunt. Pour utiliser Pig en mode de traitement par lots, écrivez vos scripts Pig, chargez-les sur Amazon S3 et envoyez-les en tant qu'étapes du cluster. Pour plus d'informations sur la soumission d'un travail à un cluster, consultez Soumission de travail à un cluster dans le Guide de gestion d'Amazon EMR.
Lorsque vous utilisez Pig pour écrire une sortie dans une table HCatalog dans Amazon S3, désactivez l'écriture directe Amazon EMR en définissant les propriétés mapred.output.direct.NativeS3FileSystem et mapred.output.direct.EmrFileSystem sur false. Pour de plus amples informations, veuillez consulter Utilisation de HCatalog. Dans un script Pig, vous pouvez utiliser les commandes SET mapred.output.direct.NativeS3FileSystem false et SET mapred.output.direct.EmrFileSystem false.
Le tableau suivant répertorie la version de Pig incluse dans la dernière version d'Amazon EMR série 6.x, ainsi que les composants qu'Amazon EMR installe avec Pig.
Pour connaître la version des composants installés avec Pig dans cette version, consultez les versions des composants de la version 6.14.0.
Informations sur la version de Pig pour emr-6.14.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Étiquette de version Amazon EMR | Version de Pig | Composants installés avec Pig | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-6.14.0 |
Pig 0.17.0 |
emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, pig-client, tez-on-yarn, tez-on-worker |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Le tableau suivant répertorie la version de Pig incluse dans la dernière version d'Amazon EMR série 5.x, ainsi que les composants qu'Amazon EMR installe avec Pig.
Pour connaître la version des composants installés avec Pig dans cette version, consultez les versions des composants de la version 6.14.0.
Informations sur la version de Pig pour emr-5.36.1 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Étiquette de version Amazon EMR | Version de Pig | Composants installés avec Pig | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-5.36.1 |
Pig 0.17.0 |
emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, pig-client, tez-on-yarn |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Rubriques
