Melakukan operasi batch berskala besar pada objek Amazon S3 - Amazon Simple Storage Service

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Melakukan operasi batch berskala besar pada objek Amazon S3

Anda dapat menggunakan Operasi Batch S3 untuk melakukan operasi batch berskala besar pada objek Amazon S3. Operasi Batch S3 dapat melakukan satu operasi untuk sejumlah objek Amazon S3 yang telah Anda tentukan. Satu pekerjaan dapat melakukan operasi tertentu pada miliaran objek yang berisi data berukuran exabyte. Amazon S3 melacak kemajuan, mengirim pemberitahuan, dan menyimpan laporan penyelesaian terperinci dari semua tindakan, menyediakan pengalaman yang sepenuhnya terkelola, dapat diaudit, dan nirserver. Anda dapat menggunakan Operasi Batch S3 melalui AWS Management Console, AWS CLI, SDK Amazon, atau API REST.

Gunakan Operasi Batch S3 untuk menyalin objek dan mengatur tanda objek atau daftar kontrol akses (ACL). Anda juga dapat memulai pemulihan objek dari S3 Glacier Flexible Retrieval atau menginvokasi fungsi AWS Lambda untuk melakukan tindakan khusus menggunakan objek Anda. Anda dapat melakukan operasi ini pada daftar objek kustom, atau menggunakan laporan inventaris Amazon S3 untuk membuat daftar objek dengan mudah. Operasi Batch Amazon S3 menggunakan API Amazon S3 yang sama dengan yang sudah Anda gunakan dengan Amazon S3, sehingga Anda akan terbiasa dengan antarmukanya.

catatan

Untuk informasi selengkapnya tentang penggunaan kelas penyimpanan Amazon S3 Express One Zone dengan bucket direktori, lihat Apa itu S3 Express One Zone? dan Ember direktori. Untuk informasi selengkapnya tentang penggunaan Operasi Batch dengan S3 Express One Zone dan bucket direktori, lihat Menggunakan Operasi Batch dengan S3 Express One Zone.

Dasar-dasar Operasi Batch S3

Anda dapat menggunakan Operasi Batch S3 untuk melakukan operasi batch berskala besar pada objek Amazon S3. Operasi Batch S3 dapat menjalankan operasi tunggal atau tindakan pada sejumlah objek Amazon S3 yang telah Anda tentukan.

Terminologi

Bagian ini menggunakan istilah pekerjaan, operasi, dan tugas, yang didefinisikan sebagai berikut:

Pekerjaan

Pekerjaan adalah unit kerja dasar untuk Operasi Batch S3. Pekerjaan berisi semua informasi yang diperlukan untuk menjalankan operasi tertentu pada objek yang tercantum dalam manifes. Setelah Anda memberikan informasi ini dan meminta agar pekerjaan tersebut dimulai, pekerjaan akan menjalankan operasi untuk setiap objek dalam manifes.

Operasi

Operasi adalah jenis tindakan API, seperti menyalin objek yang akan dijalankan pekerjaan Operasi Batch. Setiap pekerjaan melakukan satu jenis operasi di semua objek yang telah ditentukan dalam manifes.

Tugas

Tugas adalah unit pelaksanaan pekerjaan. Tugas mewakili panggilan tunggal ke operasi Amazon S3 atau operasi API AWS Lambda untuk melakukan operasi pekerjaan pada satu objek. Selama masa aktif pekerjaan, Operasi Batch S3 membuat satu tugas untuk setiap objek yang ditentukan dalam manifes.

Cara kerja pekerjaan Operasi Batch S3

Pekerjaan adalah unit kerja dasar untuk Operasi Batch S3. Pekerjaan berisi semua informasi yang diperlukan untuk menjalankan operasi tertentu pada sejumlah objek. Untuk membuat pekerjaan, Anda memberikan daftar objek kepada Operasi Batch S3 dan menentukan tindakan yang harus dilakukan pada objek tersebut.

Untuk informasi tentang operasi yang didukung Operasi Batch S3, lihat Operasi yang didukung oleh Operasi Batch S3.

Pekerjaan batch melakukan operasi tertentu pada setiap objek yang disertakan dalam manifes. Manifes mencantumkan objek yang harus diproses pekerjaan batch dan disimpan sebagai objek dalam bucket. Anda dapat menggunakan laporan Inventaris Amazon S3 berformat nilai yang dipishakan koma (CSV) sebagai manifes, yang memudahkan pembuatan daftar besar objek yang berada di bucket. Anda juga dapat menentukan manifes dalam format CSV sederhana yang memungkinkan Anda melakukan operasi batch pada daftar objek yang telah disesuaikan yang dimuat dalam satu bucket.

Setelah Anda membuat pekerjaan, Amazon S3 memproses daftar objek dalam manifes dan menjalankan operasi yang telah ditentukan terhadap setiap objek. Saat pekerjaan berjalan, Anda dapat memantau kemajuannya secara terprogram atau melalui konsol Amazon S3. Anda juga dapat mengonfigurasi pekerjaan untuk menghasilkan laporan penyelesaian setelah selesai. Laporan penyelesaian menguraikan hasil dari setiap tugas yang dilakukan oleh pekerjaan. Untuk informasi selengkapnya tentang cara memantau pekerjaan, lihat Mengelola tugas Operasi Batch S3.

Tutorial Operasi Batch S3

Tutorial berikut menyajikan end-to-end prosedur lengkap untuk beberapa tugas Operasi Batch.