Cara kerja AWS DataSync transfer

Pelajari konsep kunci dan terminologi yang terkait dengan AWS DataSync transfer.

DataSync arsitektur

Diagram berikut menunjukkan bagaimana dan di mana DataSync biasanya mentransfer data penyimpanan. Untuk daftar lengkap sistem dan layanan penyimpanan yang DataSync didukung, lihatDi mana saya dapat mentransfer data saya AWS DataSync?.

Mentransfer antar penyimpanan lokal dan AWS

Diagram berikut menunjukkan ikhtisar tingkat tinggi untuk DataSync mentransfer file antara sistem penyimpanan lokal yang dikelola sendiri dan. Layanan AWS

Diagram menggambarkan kasus DataSync penggunaan umum:

• DataSync Agen yang menyalin data dari sistem penyimpanan lokal.

• Data bergerak AWS melalui Transport Layer Security (TLS).

• DataSync menyalin data ke layanan AWS penyimpanan yang didukung.

Mentransfer antar layanan AWS penyimpanan

Diagram berikut menunjukkan ikhtisar tingkat tinggi DataSync mentransfer file antara Layanan AWS yang sama. Akun AWS

Diagram menggambarkan kasus DataSync penggunaan umum:

• DataSync menyalin data dari layanan AWS penyimpanan yang didukung.

• Data bergerak Wilayah AWS melalui TLS.

• DataSync menyalin data ke layanan AWS penyimpanan yang didukung.

Saat mentransfer antar layanan AWS penyimpanan (baik dalam hal yang sama Wilayah AWS atau di seberangWilayah AWS), data Anda tetap berada di AWS jaringan dan tidak melintasi internet publik.

penting

Anda membayar untuk data yang ditransfer antaraWilayah AWS. Tindakan ini dikenakan tagihan sebagai transfer data KELUAR dari Wilayah sumber Anda ke Wilayah tujuan Anda. Untuk informasi selengkapnya, lihat Harga transfer data.

Mentransfer antara sistem penyimpanan cloud dan layanan AWS penyimpanan

Dengan DataSync, Anda dapat mentransfer data antara sistem penyimpanan cloud lainnya danLayanan AWS. Dalam konteks ini, sistem penyimpanan cloud dapat mencakup:

• Sistem penyimpanan yang dikelola sendiri yang dihosting oleh AWS (misalnya, berbagi NFS di cloud pribadi virtual Anda di dalamnyaAWS). Untuk informasi selengkapnya, Menyebarkan AWS DataSync agen Anda di Wilayah AWS.

• Sistem penyimpanan atau layanan yang dihosting oleh penyedia cloud lain. Lihat informasi yang lebih lengkap di Mentransfer ke atau dari penyimpanan cloud lainnya dengan AWS DataSync

Diagram berikut menunjukkan ikhtisar tingkat tinggi untuk DataSync mentransfer data antara layanan AWS penyimpanan dan penyedia cloud lainnya.

Konsep dan terminologi

Biasakan diri Anda dengan fitur DataSync transfer.

Topik

• Agen
• Lokasi
• Tugas
• Eksekusi tugas

Agen

Agen adalah alat mesin virtual (VM) yang DataSync digunakan untuk membaca dan menulis ke penyimpanan selama transfer.

Anda dapat menyebarkan agen di lingkungan penyimpanan Anda di VMware ESXi, Linux Kernel-based Virtual Machine (KVM), atau Microsoft Hyper-V hypervisors. Untuk penyimpanan di cloud pribadi virtual (VPC) diAWS, Anda dapat menggunakan agen sebagai instans Amazon EC2.

Agen DataSync transfer tidak berbeda dengan agen yang dapat Anda gunakan untuk DataSync Discovery, tetapi kami tidak menyarankan menggunakan agen yang sama untuk skenario ini.

Untuk memulai, lihat Membuat agen.

Lokasi

Lokasi menjelaskan tempat Anda menyalin data dari atau ke. Setiap DataSync transfer (juga dikenal sebagai tugas) memiliki lokasi sumber dan tujuan. Untuk informasi selengkapnya, lihat Di mana saya dapat mentransfer data saya AWS DataSync?.

Tugas

Tugas menggambarkan DataSync transfer. Ini mengidentifikasi lokasi sumber dan tujuan bersama dengan rincian tentang cara menyalin data antara lokasi tersebut. Anda juga dapat menentukan cara tugas memperlakukan metadata, file yang dihapus, dan izin.

Eksekusi tugas

Eksekusi tugas adalah proses individu dari tugas DataSync transfer. Ada beberapa fase yang terlibat dalam pelaksanaan tugas. Untuk informasi selengkapnya, lihat Status eksekusi tugas.

Cara DataSync mentransfer file, objek, dan direktori

Saat Anda memulai tugas, DataSync persiapkan transfer Anda dengan memeriksa lokasi sumber dan tujuan Anda untuk menentukan apa yang akan ditransfer. Ini dilakukan dengan memindai konten dan metadata kedua lokasi secara rekursif untuk mengidentifikasi perbedaan antara keduanya. Proses ini dapat memakan waktu hanya beberapa menit atau beberapa jam tergantung pada jumlah file, objek, atau direktori di kedua lokasi dan kinerja sistem penyimpanan atau layanan Anda.

Jumlah file, objek, atau direktori yang DataSync mengambil inventaris selama persiapan diperhitungkan dalam kuota tugas Anda. Kuota tidak didasarkan pada jumlah item yang DataSync ditransfer selama setiap eksekusi tugas.

Setelah DataSync selesai mempersiapkan transfer Anda, itu memindahkan data Anda (termasuk metadata) dari sumber ke tujuan berdasarkan pengaturan tugas Anda. Misalnya, Anda dapat menentukan metadata apa yang akan disalin, mengecualikan file tertentu, membatasi berapa banyak DataSync penggunaan bandwidth, di antara opsi lainnya.

Pada akhir transfer, DataSync dapat memverifikasi integritas data Anda.

Untuk informasi tentang langkah-langkah spesifik yang terjadi selama pelaksanaan tugas, lihat status DataSync tugas.

Topik

• Membuka dan mengunci file
• Integritas data
• Transfer berulang

Membuka dan mengunci file

Ingatlah hal-hal berikut ketika mencoba mentransfer file yang terbuka (sedang digunakan) atau terkunci:

• Secara umum, DataSync dapat mentransfer file terbuka tanpa batasan apa pun.

• Jika file terbuka dan sedang ditulis selama transfer, DataSync dapat mendeteksi inkonsistensi semacam ini selama fase verifikasi tugas transfer. Untuk mendapatkan versi terbaru dari file, Anda harus menjalankan tugas lagi.

• Jika file terkunci dan server DataSync mencegah membukanya, DataSync lewati file selama transfer dan mencatat kesalahan.

• DataSync tidak dapat mengunci atau membuka kunci file.

Integritas data

DataSync selalu melakukan pemeriksaan integritas data selama transfer. Ketika transfer Anda selesai, juga DataSync dapat memverifikasi hanya data yang disalin atau seluruh dataset di lokasi sumber dan tujuan. Bergantung pada bagaimana Anda mengonfigurasi verifikasi data, ini dapat memakan banyak waktu pada kumpulan data besar.

Tip

Dalam kebanyakan kasus, kami sarankan untuk memverifikasi hanya data yang ditransfer.

DataSync memeriksa integritas data dengan menghitung dan membandingkan checksum dan metadata setiap file atau objek di kedua lokasi. Jika DataSync melihat perbedaan antar lokasi, verifikasi tugas gagal dengan kesalahan yang menentukan apa yang gagal. Misalnya, Anda mungkin melihat kesalahan sepertiChecksum failure,Metadata failure,Files were added,Files were removed, dan sebagainya.

Transfer berulang

Selain transfer satu kali, DataSync dapat memindahkan data secara berulang. Beberapa opsi untuk situasi ini meliputi:

• Penjadwalan saat tugas Anda dijalankan.

• Mentransfer hanya data yang diubah sejak eksekusi tugas sebelumnya.

• Menghapus data di lokasi tujuan yang tidak lagi ada di sumber.