Memahami bagaimana tampilan konsisten EMRFS melacak objek di Amazon S3 - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memahami bagaimana tampilan konsisten EMRFS melacak objek di Amazon S3

EMRFS membuat tampilan objek yang konsisten di Amazon S3 dengan menambahkan informasi mengenai objek tersebut ke metadata EMRFS. EMRFS menambahkan daftar ini ke metadata ketika:

  • Sebuah objek yang ditulis oleh EMRFS selama tugas Amazon EMR.

  • Objek disinkronkan dengan atau diimpor ke metadata EMRFS dengan menggunakan CLI EMRFS.

Objek yang dibaca oleh EMRFS tidak otomatis ditambahkan ke metadata. Saat EMRFS menghapus objek, daftar tetap berada di metadata dengan status terhapus hingga daftar tersebut dihapus menggunakan CLI EMRFS. Untuk mempelajari lebih lanjut tentang CLI, lihat Referensi Perintah CLI EMRFS. Untuk informasi lebih lanjut tentang menghapus daftar di metadata EMRFS, lihat Metadata tampilan konsisten EMRFS.

Untuk setiap operasi Amazon S3, EMRFS memeriksa metadata untuk informasi mengenai kumpulan objek dalam tampilan konsisten. Jika EMRFS menemukan bahwa Amazon S3 tidak konsisten selama salah satu operasi ini, EMRFS akan mencoba ulang operasi sesuai dengan parameter yang ditentukan dalam properti konfigurasi emrfs-site. Setelah EMRFS menghabiskan percobaan ulang, ia memunculkan ConsistencyException atau mencatat pengecualian dan melanjutkan alur kerja. Untuk informasi lebih lanjut tentang logika percobaan ulang, lihat Logika coba lagi. Anda dapat menemukan ConsistencyExceptions di log Anda, misalnya:

  • listStatus: Tidak ada objek Amazon S3 untuk item metadata/S3_bucket/dir/object

  • getFileStatus: Kuncidir/file ada dalam metadata bukan di Amazon S3

Jika Anda menghapus objek langsung dari Amazon S3 yang dilacak tampilan konsisten EMRFS, EMRFS akan memperlakukan objek tersebut sebagai tidak konsisten karena masih tercantum dalam metadata sebagai mana yang berada di Amazon S3. Jika metadata Anda menjadi tidak sinkron dengan objek yang dilacak EMRFS di Amazon S3, Anda dapat menggunakan sub-perintah sync CLI EMRFS untuk mengatur ulang metadata sehingga mencerminkan Amazon S3. Untuk menemukan perbedaan antara metadata dan Amazon S3, gunakan diff. Terakhir, EMRFS hanya memiliki tampilan konsisten dari objek yang direferensikan dalam metadata; mungkin ada objek lain di jalur Amazon S3 yang sama yang tidak dilacak. Jika EMRFS mencantumkan objek di jalur Amazon S3, EMRFS mengembalikan superset objek yang dilacak dalam metadata dan objek yang beraa di jalur Amazon S3 tersebut.