Pertimbangan untuk menggunakan Pig di Amazon EMR 4.x - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pertimbangan untuk menggunakan Pig di Amazon EMR 4.x

Pig versi 0.14.0 diinstal pada klaster yang dibuat menggunakan versi rilis Amazon EMR 4.x. Babi di-upgrade ke versi 0.16.0 di Amazon EMR 5.0.0. Perbedaan signifikan dibahas di bawah ini.

Mesin eksekusi default yang berbeda

Pig versi 0.14.0 pada versi rilis Amazon EMR 4.x menggunakan MapReduce sebagai mesin eksekusi default. Pig 0.16.0 dan kemudian menggunakan Apache Tez. Anda dapat secara eksplisit mengatur exectype=mapreduce di klasifikasi konfigurasi pig-properties untuk menggunakan MapReduce.

Membuang Pig user-defined function (UDF)

UDF kustom yang tersedia dalam versi rilis Pig on Amazon EMR 4.x dihapus mulai dari Pig 0.16.0. Sebagian besar UDF memiliki fungsi setara yang dapat Anda gunakan sebagai gantinya. Daftar tabel berikut membuang UDF dan fungsi yang setara. Untuk informasi selengkapnya, lihat Fungsi Built-in di situs Apache Pig.

Membuang UDF Fungsi padanan

FORMAT_DT(dtformat, date)

GetHour(date), GetMinute(date), GetMonth(date), GetSecond(date), GetWeek(date), GetYear(date), GetDay(date)

EXTRACT(string, pattern)

REGEX_EXTRACT_ALL(string, pattern)

REPLACE(string, pattern, replacement)

REPLACE(string, pattern, replacement)

DATE_TIME()

ToDate()

DURATION(dt, dt2)

WeeksBetween(dt, dt2), YearsBetween(dt, dt2), SecondsBetween(dt, dt2), MonthsBetween(dt, dt2), MinutesBetween(dt, dt2), HoursBetween(dt, dt2)

EXTRACT_DT(format, date)

GetHour(date), GetMinute(date), GetMonth(date), GetSecond(date), GetWeek(date), GetYear(date), GetDay(date)

OFFSET_DT(date, duration)

AddDuration(date, duration), SubtractDuration(date, duration)

PERIOD(dt, dt2)

WeeksBetween(dt, dt2), YearsBetween(dt, dt2), SecondsBetween(dt, dt2), MonthsBetween(dt, dt2), MinutesBetween(dt, dt2), HoursBetween(dt, dt2)

CAPITALIZE(string)

UCFIRST(string)

CONCAT_WITH()

CONCAT()

INDEX_OF()

INDEXOF()

LAST_INDEX_OF()

LAST_INDEXOF()

SPLIT_ON_REGEX()

STRSPLT()

UNCAPITALIZE()

LCFIRST()

UDF berikut dijatuhkan tanpa setara: FORMAT (), LOCAL_DATE (), LOCAL_TIME (), CENTER (), LEFT_PAD (), REPEAT (), REPLACE_ONCE (), RIGHT_PAD (), STRIP (), STRIP_END (), STRIP_START (), SWAP_CASE ().

Perintah Grunt yang dihentikan

Beberapa perintah Grunt dihentikan dimulai dengan Pig 0.16.0. Tabel berikut mencantumkan perintah Grunt di Pig 0.14.0 dan perintah padanan dalam versi saat ini, jika berlaku.

Pig 0.14.0 dan padanan perintah Grunt saat ini
Perintah Grunt Pig 0.14.0 Perintah Grunt Pig di versi 0.16.0 dan setelahnya

cat <non-hdfs-path>)

fs -cat <non-hdfs-path>;

cd <non-hdfs-path>;

Tanpa padanan

ls <non-hdfs-path>; fs -ls <non-hdfs-path>;

move <non-hdfs-path> <non-hdfs-path>;

fs -mv <non-hdfs-path> <non-hdfs-path>;

copy <non-hdfs-path> <non-hdfs-path>;

fs -cp <non-hdfs-path> <non-hdfs-path>;

copyToLocal <non-hdfs-path> <local-path>;

fs -copyToLocal <non-hdfs-path> <local-path>;

copyFromLocal <local-path> <non-hdfs-path>;

fs -copyFromLocal <local-path> <non-hdfs-path>;

mkdir <non-hdfs-path>;

fs -mkdir <non-hdfs-path>;

rm <non-hdfs-path>;

fs -rm -r -skipTrash <non-hdfs-path>;

rmf <non-hdfs-path>;

fs -rm -r -skipTrash <non-hdfs-path>;

Kemampuan yang dihapus untuk direktori home non-HDFS

Pig 0.14.0 pada versi rilis Amazon EMR 4.x memiliki dua mekanisme untuk mengizinkan pengguna selain pengguna hadoop, yang tidak memiliki direktori home, untuk menjalankan skrip Pig. Mekanisme pertama adalah fallback otomatis yang mengatur direktori kerja awal ke direktori root jika direktori home tidak ada. Mekanisme kedua adalah properti pig.initial.fs.name yang mengizinkan Anda untuk mengubah direktori kerja awal.

Mekanisme-mekanisme tersebut tidak tersedia mulai dari Amazon EMR versi 5.0.0, dan pengguna harus memiliki direktori home di HDFS. Ini tidak berlaku untuk pengguna hadoop karena direktori home disediakan saat peluncuran. Skrip dijalankan menggunakan default langkah jar Hadoop ke pengguna Hadoop kecuali pengguna lain secara eksplisit ditentukan menggunakan command-runner.jar.