Metadata disalin oleh AWS DataSync - AWS DataSync
Metadata tingkat sistemMetadata disalin dalam transfer Amazon S3Metadata disalin dalam transfer NFSMetadata disalin dalam transfer SMBMetadata disalin dalam skenario transfer lainnyaMemahami kapan dan bagaimana DataSync menerapkan metadata POSIX default

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Metadata disalin oleh AWS DataSync

AWS DataSync dapat melestarikan file atau objek metadata Anda selama transfer data. Cara metadata Anda disalin tergantung pada lokasi transfer Anda dan jika lokasi tersebut menggunakan jenis metadata yang serupa.

Metadata tingkat sistem

Secara umum, DataSync tidak menyalin metadata tingkat sistem. Misalnya, saat mentransfer dari server file SMB, izin yang Anda konfigurasikan di tingkat sistem file tidak disalin ke sistem penyimpanan tujuan.

Ada pengecualian. Saat mentransfer antara Amazon S3 dan penyimpanan objek lainnya DataSync , menyalin beberapa metadata objek yang ditentukan sistem.

Metadata disalin dalam transfer Amazon S3

Tabel berikut menjelaskan metadata apa yang DataSync dapat disalin saat transfer melibatkan lokasi Amazon S3.

Ke Amazon S3

Saat menyalin dari salah satu lokasi ini Ke lokasi ini DataSync dapat menyalin

  • NFS

  • Amazon EFS

  • FSx for Lustre

  • FSx untuk OpenZFS

  • fsX untuk ONTAP (menggunakan NFS)

  • Amazon S3

Berikut ini sebagai metadata pengguna Amazon S3:

  • Stempel waktu modifikasi file dan folder

  • Stempel waktu akses file dan folder (hanya DataSync dapat melakukan ini dengan upaya terbaik)

  • ID pengguna dan ID grup

  • Izin POSIX

Metadata file yang disimpan dalam metadata pengguna Amazon S3 dapat dioperasikan dengan berbagi NFS di gateway file yang menggunakan. AWS Storage Gateway Gateway file memungkinkan akses latensi rendah dari jaringan lokal ke data yang disalin ke Amazon S3 oleh. DataSync Metadata ini juga dapat dioperasikan dengan FSx for Lustre.

Saat DataSync menyalin objek yang berisi metadata ini kembali ke server NFS, metadata file dipulihkan. Memulihkan metadata membutuhkan pemberian izin yang lebih tinggi ke server NFS. Untuk informasi selengkapnya, lihat Mengkonfigurasi AWS DataSync transfer dengan server file NFS.

Antara Amazon S3 dan penyimpanan objek lainnya

Saat menyalin di antara lokasi-lokasi ini DataSync dapat menyalin

  • Penyimpanan objek

  • Amazon S3

  • Metadata objek yang ditentukan pengguna

  • Tanda objek

  • Metadata objek yang ditentukan sistem berikut:

    • Content-Disposition

    • Pengkodean Konten

    • Content-Language

    • Content-Type

    Catatan: DataSync menyalin metadata tingkat sistem untuk semua objek selama transfer awal. Jika Anda mengonfigurasi tugas Anda untuk mentransfer hanya data yang telah berubah, DataSync tidak akan menyalin metadata sistem dalam transfer berikutnya kecuali konten objek atau metadata pengguna juga telah dimodifikasi.

DataSync tidak menyalin metadata objek lain, seperti daftar kontrol akses objek (ACL), versi objek sebelumnya, atau kunci Modifikasi Terakhir.

  • Microsoft Azure Blob Storage

  • Amazon S3

Antara Amazon S3 dan HDFS

Saat menyalin di antara lokasi-lokasi ini DataSync dapat menyalin

  • Sistem File Terdistribusi Hadoop (HDFS)

  • Amazon S3

Berikut ini sebagai metadata pengguna Amazon S3:

  • Stempel waktu modifikasi file dan folder

  • Stempel waktu akses file dan folder (hanya DataSync dapat melakukan ini dengan upaya terbaik)

  • ID pengguna dan ID grup

  • Izin POSIX

HDFS menggunakan string untuk menyimpan file dan folder pengguna dan kepemilikan grup, bukan pengidentifikasi numerik, seperti UID dan GID.

Metadata disalin dalam transfer NFS

Tabel berikut menjelaskan metadata apa yang DataSync dapat menyalin antara lokasi yang menggunakan Network File System (NFS).

Saat menyalin di antara lokasi-lokasi ini DataSync dapat menyalin

  • NFS

  • Amazon EFS

  • Amazon FSx for Lustre

  • Amazon FSx for OpenZFS

  • Amazon fsX untuk NetApp ONTAP (menggunakan NFS)

  • Stempel waktu modifikasi file dan folder

  • Stempel waktu akses file dan folder (hanya DataSync dapat melakukan ini dengan upaya terbaik)

  • ID Pengguna (UID) dan ID grup (GID)

  • Izin POSIX

Metadata disalin dalam transfer SMB

Tabel berikut menjelaskan metadata apa yang DataSync dapat menyalin antara lokasi yang menggunakan Server Message Block (SMB).

Saat menyalin di antara lokasi-lokasi ini DataSync dapat menyalin

  • SMB

  • Amazon FSx for Windows File Server

  • FSx untuk ONTAP (menggunakan SMB)

  • Stempel waktu file: waktu akses, waktu modifikasi, dan waktu pembuatan

  • Pengidentifikasi keamanan pemilik (SID) file

  • Atribut file standar: hanya-baca (R), arsip (A), sistem (S), tersembunyi (H), terkompresi (C), bukan konten yang diindeks (I), terenkripsi (E), sementara (T), offline (O), dan jarang (P)

    DataSync mencoba menyalin atribut arsip (A), terkompresi (C), bukan konteks yang diindeks (I), sparse (P), dan sementara (T) berdasarkan upaya terbaik. Jika atribut ini tidak diterapkan di tujuan, atribut tersebut akan diabaikan selama verifikasi tugas.

  • Daftar akses diskresioner NTFS (DACL), yang menentukan pemberian akses ke suatu objek.

  • Daftar kontrol akses sistem NTFS (SACL), yang digunakan oleh administrator untuk mencatat upaya untuk mengakses objek aman.

    Catatan: SACL tidak disalin jika Anda menggunakan SMB versi 1.0.

    Menyalin DACL dan SACL memerlukan pemberian izin khusus kepada pengguna Windows yang menggunakan untuk mengakses lokasi Anda DataSync menggunakan SMB. Untuk informasi selengkapnya, lihat membuat lokasi untuk SMB, FSx for Windows File Server, atau fsX untuk ONTAP (tergantung pada jenis lokasi dalam transfer Anda).

Metadata disalin dalam skenario transfer lainnya

DataSync menangani metadata dengan cara berikut saat menyalin antara sistem penyimpanan ini (sebagian besar memiliki struktur metadata yang berbeda).

Saat menyalin dari salah satu lokasi ini Ke salah satu lokasi ini DataSync dapat menyalin

  • SMB

  • FSx for Windows File Server

  • FSx untuk ONTAP (menggunakan SMB)

  • Amazon EFS

  • FSx for Lustre

  • FSx untuk OpenZFS

  • fsX untuk ONTAP (menggunakan NFS)

  • Amazon S3

  • Penyimpanan objek

  • Azure Blob Storage

  • NFS

Metadata POSIX default untuk semua file dan folder pada sistem file tujuan atau objek di bucket S3 tujuan. Pendekatan ini termasuk menggunakan nilai ID pengguna dan ID grup POSIX default.

Metadata berbasis Windows (seperti ACL) tidak dipertahankan.

  • Penyimpanan objek

  • Amazon S3

  • Azure Blob Storage

  • Amazon EFS

  • FSx for Lustre

  • FSx untuk OpenZFS

  • fsX untuk ONTAP (menggunakan NFS)

Metadata POSIX default pada file dan folder tujuan. Pendekatan ini termasuk menggunakan nilai ID pengguna dan ID grup POSIX default.

  • Amazon EFS

  • FSx for Lustre

  • FSx untuk OpenZFS

  • fsX untuk ONTAP (menggunakan NFS)

  • Azure Blob Storage

Berikut ini sebagai metadata yang ditentukan pengguna:

  • Stempel waktu modifikasi file dan folder

  • Stempel waktu akses file dan folder (hanya DataSync dapat melakukan ini dengan upaya terbaik)

  • ID pengguna dan ID grup

  • Izin POSIX

  • HDFS

  • Amazon EFS

  • FSx for Lustre

  • FSx untuk OpenZFS

  • fsX untuk ONTAP (menggunakan NFS)

  • Stempel waktu modifikasi file dan folder

  • Stempel waktu akses file dan folder (hanya DataSync dapat melakukan ini dengan upaya terbaik)

  • Izin POSIX

HDFS menyimpan file dan folder pengguna dan kepemilikan grup sebagai string daripada pengidentifikasi numerik (seperti UID dan GID). Nilai default untuk UID dan GID diterapkan pada sistem file tujuan. Untuk informasi selengkapnya, lihat Memahami kapan dan bagaimana DataSync menerapkan metadata POSIX default.

  • Amazon S3

  • Amazon EFS

  • FSx for Lustre

  • FSx untuk OpenZFS

  • FSx for Windows File Server

  • fsX untuk ONTAP

  • HDFS

 Stempel waktu file dan folder dari lokasi sumber. Pemilik file atau folder diatur berdasarkan pengguna HDFS atau kepala sekolah Kerberos yang Anda tentukan saat membuat lokasi transfer HDFS. Konfigurasi Pemetaan Grup pada cluster Hadoop menentukan grup.

  • Amazon S3

  • Amazon EFS

  • FSx for Lustre

  • FSx untuk OpenZFS

  • fsX untuk ONTAP (menggunakan NFS)

  • Penyimpanan objek

  • NFS

  • HDFS

  • SMB

  • FSx for Windows File Server

  • FSx untuk ONTAP (menggunakan SMB)

 Stempel waktu file dan folder dari lokasi sumber. Kepemilikan diatur berdasarkan pengguna Windows yang ditentukan DataSync untuk mengakses Amazon FSx atau berbagi SMB. Izin diwarisi dari direktori induk.

  • Azure Blob Storage

  • FSx for Windows File Server

  • FSx untuk ONTAP (menggunakan SMB)

Memahami kapan dan bagaimana DataSync menerapkan metadata POSIX default

DataSync menerapkan metadata POSIX default dalam situasi berikut:

  • Bila lokasi sumber dan tujuan transfer Anda tidak memiliki struktur metadata yang serupa

  • Ketika metadata hilang dari lokasi sumber

Tabel berikut menjelaskan bagaimana DataSync menerapkan metadata POSIX default selama jenis transfer ini:

Sumber Tujuan Izin file Izin folder UID GID

  • Amazon S3 1

  • Penyimpanan objek 1

  • Penyimpanan Microsoft Azure Blob 1

  • Amazon EFS

  • FSx for Lustre

  • FSx untuk OpenZFS

  • fsX untuk ONTAP (menggunakan NFS)

  • NFS

0755

 0755

65534

65534

  • SMB

  • Amazon S3

  • Penyimpanan objek

  • Amazon EFS

  • FSx for Lustre

  • FSx untuk OpenZFS

  • fsX untuk ONTAP (menggunakan NFS)

  • NFS

0644

0755

65534

65534

  • HDFS

  • Amazon EFS

  • FSx for Lustre

  • FSx untuk OpenZFS

  • fsX untuk ONTAP (menggunakan NFS)

  • NFS

0644

0755

65534

65534

1 Dalam kasus di mana objek tidak memiliki metadata yang sebelumnya diterapkan oleh. DataSync