Bangun binari menggunakan Amazon EMR

Anda dapat menggunakan Amazon EMR sebagai lingkungan membangun untuk mengompilasi program yang digunakan dalam klaster Anda. Program yang Anda gunakan dengan Amazon EMR harus dikompilasi pada sistem yang menjalankan versi Linux yang sama yang digunakan oleh Amazon EMR. Untuk versi 32-bit, Anda harus telah mengompilasi pada mesin 32-bit atau dengan opsi kompilasi silang 32-bit diaktifkan. Untuk versi 64-bit, Anda harus telah mengompilasi pada mesin 64-bit atau dengan opsi kompilasi silang 64-bit diaktifkan. Untuk informasi selengkapnya tentang versi instans EC2, lihat Rencanakan dan konfigurasikan instans EC2 di Amazon EMR. Bahasa pemrograman yang didukung termasuk C ++, Python, dan C#.

Tabel berikut menguraikan langkah-langkah yang terlibat untuk membangun dan menguji aplikasi Anda menggunakan Amazon EMR.

1	Connect ke simpul utama klaster Anda.
2	Salin file sumber ke simpul utama.
3	Bangun binari dengan optimasi yang diperlukan.
4	Salin binari dari simpul utama untuk Amazon S3.

Rincian untuk masing-masing langkah ini tercakup dalam bagian yang mengikuti.

Connect ke simpul utama klaster

• Ikuti petunjuk di Connect ke simpul utama menggunakan SSH di Panduan Pengelolaan Amazon EMR.

Salin file sumber ke simpul utama

1. Tempatkan file sumber Anda dalam bucket Amazon S3. Untuk mempelajari cara membuat bucket dan cara memindahkan data ke Amazon S3, lihatPanduan Pengguna Amazon Simple Storage Service.

2. Buat folder di klaster Hadoop untuk file sumber Anda dengan memasukkan perintah yang mirip dengan berikut ini:

   mkdir SourceFiles

3. Salin file sumber Anda dari Amazon S3 ke simpul utama dengan mengetik perintah yang mirip dengan berikut ini:

   hadoop fs -get s3://mybucket/SourceFiles SourceFiles

Bangun binari dengan optimasi yang diperlukan

Cara Anda membangun binari tergantung pada banyak faktor. Ikuti petunjuk untuk alat build khusus guna menyiapkan dan mengonfigurasi lingkungan Anda. Anda dapat menggunakan perintah spesifikasi sistem Hadoop untuk mendapatkan informasi klaster guna menentukan cara menginstal lingkungan build Anda.

Mengidentifikasi spesifikasi sistem

• Gunakan perintah berikut untuk memverifikasi arsitektur yang Anda gunakan untuk membangun binari Anda.

  1. Untuk melihat versi Debian, masukkan perintah berikut:

     master$ cat /etc/issue

     Output akan terlihat serupa dengan yang berikut ini.

     Debian GNU/Linux 5.0

  2. Untuk melihat nama DNS publik dan ukuran prosesor, masukkan perintah berikut:

     master$ uname -a

     Output akan terlihat serupa dengan yang berikut ini.

     Linux domU-12-31-39-17-29-39.compute-1.internal 2.6.21.7-2.fc8xen #1 SMP Fri Feb 15 12:34:28 EST 2008 x86_64 GNU/Linux

  3. Untuk melihat kecepatan prosesor, masukkan perintah berikut ini:

     master$ cat /proc/cpuinfo

     Output akan terlihat serupa dengan yang berikut ini.

     processor : 0
     vendor_id : GenuineIntel
     model name : Intel(R) Xeon(R) CPU E5430 @ 2.66GHz
     flags : fpu tsc msr pae mce cx8 apic mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm syscall nx lm constant_tsc pni monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr cda lahf_lm
     ... 

Setelah biner Anda dibangun, Anda dapat menyalin file ke Amazon S3.

Menyalin binari dari simpul utama untuk Amazon S3

• Ketik perintah berikut untuk menyalin biner ke bucket Amazon S3:

  hadoop fs -put BinaryFiles s3://mybucket/BinaryDestination