Menggunakan Operasi Batch dengan bucket direktori

Anda dapat menggunakan Operasi Batch Amazon S3 untuk melakukan operasi pada objek yang disimpan dalam bucket S3. Untuk mempelajari Operasi Batch S3, lihat Melakukan operasi batch skala besar pada objek Amazon S3.

Topik berikut membahas melakukan operasi batch pada objek yang disimpan di kelas penyimpanan S3 Express One Zone dalam bucket direktori.

Menggunakan Operasi Batch dengan bucket direktori

Anda dapat melakukan operasi Salin dan operasi AWS Lambda fungsi Invoke pada objek yang disimpan dalam bucket direktori. Dengan Copy, Anda dapat menyalin objek di antara bucket dengan tipe yang sama (misalnya, dari bucket direktori ke bucket direktori). Anda juga dapat menyalin antara bucket tujuan umum dan bucket direktori. Dengan AWS Lambda fungsi Invoke, Anda dapat menggunakan fungsi Lambda untuk melakukan tindakan pada objek di bucket direktori Anda dengan kode yang Anda tentukan.

Menyalin objek

Anda dapat menyalin antara jenis bucket yang sama atau antara bucket direktori dan bucket tujuan umum. Saat menyalin ke bucket direktori, Anda harus menggunakan format Amazon Resource Name (ARN) yang benar untuk jenis bucket ini. Format ARN untuk bucket direktori adalah arn:aws:s3express:region:account-id:bucket/bucket-base-name--x-s3.

catatan

Menyalin objek di berbagai objek Wilayah AWS tidak didukung saat bucket sumber atau tujuan berada di Zona AWS Lokal. Bucket sumber dan tujuan harus memiliki induk Wilayah AWS yang sama. Bucket sumber dan tujuan dapat berupa jenis lokasi bucket yang berbeda (Availability Zone atau Local Zone).

Anda juga dapat mengisi bucket direktori Anda dengan data menggunakan tindakan Impor di konsol S3. Impor adalah metode yang disederhanakan untuk membuat pekerjaan Operasi Batch guna menyalin objek dari bucket tujuan umum ke bucket direktori. Untuk tugas Impor salinan dari bucket tujuan umum ke bucket direktori, S3 secara otomatis menghasilkan manifes. Untuk informasi selengkapnya, lihat Mengimpor objek ke bucket direktori dan Menentukan manifes.

Memanggil fungsi Lambda () LambdaInvoke

Ada persyaratan khusus untuk menggunakan Operasi Batch untuk menginvokasi fungsi Lambda yang bertindak pada bucket direktori. Misalnya, Anda harus menyusun permintaan Lambda Anda dengan menggunakan v2 Skema pemanggilan JSON, dan tentukan InvocationSchemaVersion 2.0 Saat Anda membuat pekerjaan. Untuk informasi selengkapnya, lihat Memanggil AWS Lambda fungsi.

Perbedaan utama

Berikut ini adalah daftar perbedaan utama saat Anda menggunakan Operasi Batch untuk melakukan operasi massal pada objek yang disimpan dalam bucket direktori dengan kelas penyimpanan S3 Express One Zone:

• Untuk bucket direktori, SSE-S3 dan enkripsi sisi server dengan kunci AWS Key Management Service (AWS KMS) (SSE-KMS) didukung. Jika Anda membuat CopyObject permintaan yang menetapkan untuk menggunakan enkripsi sisi server dengan kunci yang disediakan pelanggan (SSE-C) pada bucket direktori (sumber atau tujuan), respons akan mengembalikan kesalahan HTTP. 400 (Bad Request)

  Sebaiknya enkripsi default bucket menggunakan konfigurasi enkripsi yang diinginkan dan Anda tidak mengganti enkripsi default bucket dalam CreateSession permintaan atau permintaan PUT objek. Kemudian, objek baru secara otomatis dienkripsi dengan pengaturan enkripsi yang diinginkan. Untuk informasi selengkapnya tentang perilaku pengesampingan enkripsi dalam bucket direktori dan cara mengenkripsi salinan objek baru dalam bucket direktori dengan SSE-KMS, lihat Menentukan enkripsi sisi server dengan unggahan objek baru. AWS KMS

  Kunci Bucket S3 tidak didukung, saat Anda menyalin objek terenkripsi SSE-KMS dari bucket tujuan umum ke bucket direktori, dari bucket direktori ke bucket tujuan umum, atau di antara bucket direktori, melalui Copy operasi dalam Operasi Batch. Dalam hal ini, Amazon S3 melakukan panggilan ke AWS KMS setiap kali permintaan salinan dibuat untuk objek yang dienkripsi KMS. Untuk informasi selengkapnya tentang penggunaan SSE-KMS pada bucket direktori, lihat dan. Pengaturan dan pemantauan enkripsi default untuk bucket direktori Menggunakan enkripsi sisi server dengan AWS KMS kunci (SSE-KMS) di bucket direktori

• Objek dalam bucket direktori tidak dapat ditandai. Anda hanya dapat menentukan set tanda kosong. Secara default, Operasi Batch menyalin tanda. Jika Anda menyalin objek yang memiliki tag antara bucket tujuan umum dan bucket direktori, Anda akan menerima respons. 501 (Not Implemented)

• S3 Express One Zone menawarkan Anda opsi untuk memilih algoritma checksum yang digunakan untuk memvalidasi data Anda selama unggahan atau unduhan. Anda dapat memilih salah satu algoritma pemeriksaan integritas data Secure Hash Algorithms (SHA) atau Cyclic Redundancy Check (CRC) berikut:,, SHA-1, dan SHA-256. CRC32 CRC32 MD5checksum berbasis tidak didukung dengan kelas penyimpanan S3 Express One Zone.

• Secara default, semua bucket Amazon S3 menyetel setelan Kepemilikan Objek S3 ke pemilik bucket yang diberlakukan dan daftar kontrol akses () dinonaktifkan. ACLs Untuk bucket direktori, pengaturan ini tidak dapat dimodifikasi. Anda dapat menyalin objek dari bucket tujuan umum ke bucket direktori. Namun, Anda tidak dapat menimpa ACL default saat menyalin ke atau dari bucket direktori.

• Terlepas dari cara Anda menentukan manifes, daftar itu harus disimpan di dalam sebuah bucket yang bersifat umum. Operasi Batch tidak dapat mengimpor manifes yang ada dari (atau menyimpan manifes yang dihasilkan ke) bucket direktori. Namun, objek yang dijelaskan dalam manifes dapat disimpan dalam bucket direktori.

• Operasi Batch tidak dapat menentukan bucket direktori sebagai lokasi dalam laporan Inventaris S3. Laporan inventaris tidak mendukung bucket direktori. Anda dapat membuat file manifes untuk objek dalam bucket direktori dengan menggunakan operasi ListObjectsV2 API untuk mencantumkan objek. Anda kemudian dapat memasukkan daftar dalam file CSV.

Memberi Akses

Untuk melakukan tugas penyalinan, Anda harus memiliki izin berikut:

• Untuk menyalin objek dari satu bucket direktori ke bucket direktori lain, Anda harus memiliki izin s3express:CreateSession.

• Untuk menyalin objek dari bucket direktori ke bucket tujuan umum, Anda harus memiliki izin s3express:CreateSession dan izin s3:PutObjectuntuk menulis salinan objek ke bucket tujuan.

• Untuk menyalin objek dari bucket tujuan umum ke bucket direktori, Anda harus memiliki s3express:CreateSession izin dan s3:GetObject izin untuk membaca objek sumber yang sedang disalin.

  Untuk informasi selengkapnya, silakan lihat CopyObject dalam Referensi API Layanan Penyimpanan Sederhana Amazon.

• Untuk menginvokasi fungsi Lambda, Anda harus memberikan izin ke sumber daya berdasarkan fungsi Lambda Anda. Untuk menentukan izin mana yang diperlukan, periksa operasi API yang sesuai.