Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Konektor dan utilitas
Amazon EMR menyediakan beberapa konektor dan utilitas untuk mengakses layanan AWS lainnya sebagai sumber data. Anda biasanya dapat mengakses data dalam layanan ini dalam sebuah program. Misalnya, Anda dapat menentukan pengaliran Kinesis dalam kueri Hive, skrip Pig, atau MapReduce aplikasi dan kemudian beroperasi pada data tersebut.
Topik
Pembersihan setelahDistCp tugas S3 gagal
Jika S3DistCp tidak dapat menyalin beberapa atau semua file yang ditentukan, maka perintah atau langkah klaster akan gagal dan mengembalikan kode kesalahan non-zero. Jika hal ini terjadi, S3DistCp tidak akan membersihkan sebagian file yang disalin. Anda harus menghapusnya secara manual.
Sebagian file yang disalin disimpan ketmp direktori HDFS di sub-direktori dengan pengenal unik dariDistCp tugas S3. Anda dapat menemukan ID ini dalam output standar tugas.
Sebagai contoh, untukDistCp tugas S3 dengan ID4b1c37bb-91af-4391-aaf8-46a6067085a6, Anda dapat terhubung ke simpul utama klaster dan menjalankan perintah berikut untuk melihat file output yang terkait dengan tugas tersebut.
hdfs dfs -ls /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output
Perintah ini akan menghasilkan daftar file yang serupa dengan berikut ini:
Found 8 items -rw-r--r-- 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/_SUCCESS -rw-r--r-- 1 hadoop hadoop 0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00000 -rw-r--r-- 1 hadoop hadoop 0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00001 -rw-r--r-- 1 hadoop hadoop 0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00002 -rw-r--r-- 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00003 -rw-r--r-- 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00004 -rw-r--r-- 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00005 -rw-r--r-- 1 hadoop hadoop 0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00006
Anda kemudian dapat menjalankan perintah berikut untuk menghapus direktori dan semua isinya.
hdfs dfs rm -rf /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6
