Apache Pig - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Apache Pig

Apache Pig adalah open-source Apache perpustakaan yang berjalan di atas Hadoop, menyediakan bahasa scripting yang dapat Anda gunakan untuk mengubah set data yang besar tanpa harus menulis kode kompleks dalam bahasa komputer tingkat yang lebih rendah seperti Java. Perpustakaan mengambil perintah SQL seperti ditulis dalam bahasa yang disebut Pig Latin dan mengkonversi perintah tersebut menjadi pekerjaan Tez berdasarkan grafik asiklik diarahkan (DAG) atau MapReduce program. Pig bekerja dengan data terstruktur dan tidak terstruktur dalam berbagai format. Untuk informasi selengkapnya tentang Pig, lihat http://pig.apache.org/.

Anda dapat menjalankan perintah Pig secara interaktif atau dalam mode batch. Untuk menggunakan Pig interaktif, membuat koneksi SSH ke node master dan mengirimkan perintah menggunakan shell Grunt. Untuk menggunakan Pig dalam modus batch, menulis script Pig Anda, meng-upload mereka ke Amazon S3, dan mengirimkannya sebagai langkah cluster. Untuk informasi lebih lanjut tentang mengirimkan pekerjaan ke cluster, lihat Kirim pekerjaan ke cluster di Amazon EMR.

Bila Anda menggunakan Pig untuk menulis output ke tabel HCatalog di Amazon S3, menonaktifkan Amazon EMR menulis langsung dengan menetapkan mapred.output.direct.NativeS3FileSystem dan mapred.output.direct.EmrFileSystem properti untuk false. Untuk informasi selengkapnya, lihat Menggunakan HCatalog. Dalam script Pig, Anda dapat menggunakan SET mapred.output.direct.NativeS3FileSystem false dan SET mapred.output.direct.EmrFileSystem false Perintah.

Tabel berikut mencantumkan versi Pig yang tercakup dalam rilis terbaru dari Amazon EMR seri 6.x, bersama dengan komponen yang diinstal Amazon EMR dengan Pig.

Untuk versi komponen yang diinstal dengan Pig dalam rilis ini, lihat Rilis 6.8.0 Versi Komponen.

Informasi versi Pig untuk emr-6.8.0
Amazon EMR Label Rilis Versi Pig Komponen Dipasang Dengan Babi

emr-6.8.0

Pig 0.17.0

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, pig-client, tez-on-yarn

Tabel berikut mencantumkan versi Pig yang tercakup dalam rilis terbaru dari Amazon EMR 5.x series, bersama dengan komponen yang diinstal Amazon EMR dengan Pig.

Untuk versi komponen yang diinstal dengan Pig dalam rilis ini, lihat Rilis 5.36.0 Versi Komponen.

Informasi versi Pig untuk emr-5.36.0
Amazon EMR Label Rilis Versi Pig Komponen Dipasang Dengan Babi

emr-5.36.0

Pig 0.17.0

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, pig-client, tez-on-yarn