Memantau transfer data Anda dengan laporan tugas

Laporan tugas memberikan informasi terperinci tentang AWS DataSync upaya untuk mentransfer, melewati, memverifikasi, dan menghapus selama pelaksanaan tugas. Untuk informasi selengkapnya, lihat Cara DataSync mentransfer file, objek, dan direktori.

Laporan tugas dihasilkan dalam format JSON. Anda dapat menyesuaikan tingkat detail dalam laporan Anda:

• Ringkasan hanya laporan tugas yang memberi Anda rincian yang diperlukan tentang pelaksanaan tugas Anda, seperti berapa banyak file yang ditransfer dan apakah DataSync dapat memverifikasi integritas data dari file-file tersebut.

• Laporan tugas standar mencakup ringkasan ditambah laporan terperinci yang mencantumkan setiap file, objek, atau folder yang DataSync mencoba mentransfer, melewati, memverifikasi, dan menghapus. Dengan laporan tugas standar, Anda juga dapat menentukan tingkat laporan untuk hanya menampilkan kesalahan eksekusi tugas atau keberhasilan dan kesalahannya.

Kasus penggunaan

Berikut adalah beberapa situasi di mana laporan tugas dapat membantu Anda memantau dan mengaudit transfer data Anda:

• Saat memigrasi jutaan file, identifikasi file dengan cepat yang DataSync memiliki masalah saat mentransfer.

• Verifikasi chain-of-custody proses untuk file Anda.

Ringkasan hanya laporan tugas

Laporan yang hanya ringkasan pelaksanaan tugas mencakup rincian berikut:

• Akun AWS Yang menjalankan eksekusi tugas

• Lokasi sumber dan tujuan

• Jumlah total file, objek, dan folder yang dilewati, ditransfer, diverifikasi, dan dihapus

• Total byte (logis dan fisik) yang ditransfer

• Jika eksekusi tugas selesai, dibatalkan, atau mengalami kesalahan

• Waktu mulai dan berakhir (termasuk total waktu transfer)

• Pengaturan tugas (seperti batas bandwidth, verifikasi integritas data, dan opsi lain untuk DataSync transfer Anda)

Laporan tugas standar

Laporan tugas standar mencakup ringkasan pelaksanaan tugas Anda ditambah laporan terperinci tentang DataSync upaya untuk mentransfer, melewati, memverifikasi, dan menghapus.

Tingkat laporan

Dengan laporan tugas standar, Anda dapat memilih salah satu tingkat laporan berikut:

• Kesalahan saja

• Keberhasilan dan kesalahan (pada dasarnya daftar semua yang terjadi selama pelaksanaan tugas Anda)

Misalnya, Anda mungkin ingin melihat file mana yang berhasil DataSync dilewati selama transfer dan mana yang tidak. File yang berhasil DataSync dilewati mungkin merupakan file yang sengaja DataSync ingin Anda kecualikan karena sudah ada di lokasi tujuan Anda. Namun, kesalahan yang dilewati misalnya mungkin menunjukkan bahwa DataSync tidak memiliki izin yang tepat untuk membaca file.

Laporan yang ditransfer

Daftar file, objek, dan direktori yang DataSync mencoba mentransfer selama pelaksanaan tugas Anda. Laporan yang ditransfer mencakup rincian berikut:

• Jalur untuk data yang ditransfer

• Apa yang ditransfer (konten, metadata, atau keduanya)

• Metadata, yang mencakup tipe data, ukuran konten (hanya objek dan file), dan banyak lagi

• Waktu ketika suatu barang ditransfer

• Versi objek (jika tujuannya adalah bucket Amazon S3 yang mengaktifkan versi)

• Jika ada sesuatu yang ditimpa di tujuan

• Apakah item berhasil ditransfer

catatan

Saat memindahkan data antar bucket S3, awalan yang Anda tentukan di lokasi sumber dapat muncul di laporan Anda (atau di CloudWatch log Amazon), meskipun awalan itu tidak ada sebagai objek di lokasi tujuan Anda. (Di DataSync konsol, Anda mungkin juga melihat awalan ini muncul sebagai data yang dilewati atau diverifikasi.)

Laporan yang dilewati

Daftar file, objek, dan direktori yang DataSync ditemukan di lokasi sumber Anda tetapi tidak mencoba untuk mentransfer. Alasan DataSync melewatkan data dapat bergantung pada beberapa faktor, seperti cara Anda mengonfigurasi tugas dan izin sistem penyimpanan. Berikut ini adalah beberapa contohnya:

• Ada file yang ada di lokasi sumber dan tujuan Anda. File di sumber belum dimodifikasi sejak eksekusi tugas sebelumnya. Karena Anda hanya mentransfer data yang telah berubah, DataSync tidak mentransfer file itu saat Anda menjalankan tugas berikutnya.

• Objek yang ada di kedua lokasi Anda berubah di sumber Anda. Saat menjalankan tugas, DataSync lewati objek ini di tujuan karena tugas Anda tidak menimpa data di tujuan.

• DataSync melewatkan objek di sumber Anda yang menggunakan kelas penyimpanan arsip dan tidak dipulihkan. Anda harus mengembalikan objek yang diarsipkan DataSync untuk membacanya.

• DataSync melewatkan file, objek, atau direktori di lokasi sumber Anda karena tidak dapat membacanya. Jika ini terjadi dan tidak diharapkan, periksa izin akses penyimpanan Anda dan pastikan itu DataSync dapat membaca apa yang dilewati.

Laporan yang dilewati mencakup detail berikut:

• Jalur untuk data yang dilewati

• Waktu ketika item dilewati

• Alasan itu dilewati

• Apakah item berhasil dilewati

catatan

Laporan yang dilewati bisa berukuran besar jika menyertakan keberhasilan dan kesalahan, Anda mengonfigurasi tugas Anda untuk mentransfer hanya data yang telah berubah, dan data sumber sudah ada di tujuan.

Laporan terverifikasi

Daftar file, objek, dan direktori yang DataSync mencoba memverifikasi integritas selama pelaksanaan tugas Anda. Laporan data terverifikasi mencakup rincian berikut:

• Jalur untuk data terverifikasi

• Waktu ketika item diverifikasi

• Alasan kesalahan verifikasi (jika ada)

• SHA256 Checksum sumber dan tujuan (hanya file)

• Apakah item berhasil diverifikasi

Perhatikan hal berikut tentang laporan terverifikasi:

• Ketika Anda mengonfigurasi tugas Anda untuk memverifikasi hanya data yang ditransfer, DataSync tidak memverifikasi direktori dalam beberapa situasi atau file atau objek yang gagal ditransfer. Dalam kedua kasus tersebut, DataSync tidak menyertakan data yang belum diverifikasi dalam laporan ini.

• Jika Anda menggunakan mode Enhanced, verifikasi mungkin memakan waktu lebih lama dari biasanya jika Anda mentransfer objek besar.

Laporan yang dihapus

Daftar file, direktori, dan objek yang dihapus selama eksekusi tugas Anda. DataSync menghasilkan laporan ini hanya jika Anda mengonfigurasi tugas untuk menghapus data di lokasi tujuan yang tidak ada di sumbernya. Laporan data yang dihapus mencakup rincian berikut:

• Jalur untuk data yang dihapus

• Apakah item berhasil dihapus

• Waktu ketika item dihapus

Contoh laporan tugas

Tingkat detail dalam laporan tugas Anda terserah Anda. Berikut adalah beberapa contoh laporan data yang ditransfer dengan konfigurasi berikut:

• Jenis laporan - Standar

• Tingkat laporan - Keberhasilan dan kesalahan

catatan

Laporan menggunakan standar ISO-8601 untuk format stempel waktu. Waktu dalam UTC dan diukur dalam nanodetik. Perilaku ini berbeda dari bagaimana beberapa metrik laporan tugas lainnya diukur. Misalnya, detail eksekusi tugas, seperti TransferDuration danVerifyDuration, diukur dalam milidetik.

Laporan tugas mode yang disempurnakan menggunakan skema yang agak berbeda dari laporan tugas mode Dasar. Contoh berikut dapat membantu Anda mengetahui apa yang diharapkan dari laporan Anda tergantung pada mode tugas yang Anda gunakan.

Contoh laporan data yang ditransfer dengan status sukses

Laporan berikut menunjukkan transfer yang berhasil untuk objek bernamaobject1.txt.

Enhanced mode

{
    "TaskExecutionId": "exec-abcdefgh12345678",
    "Transferred": [{
        "RelativePath": "object1.txt",
        "SourceMetadata": {
            "Type": "Object",
            "ContentSize": 6,
            "LastModified": "2024-10-04T14:40:55Z",
            "SystemMetadata": {
                "ContentType": "binary/octet-stream",
                "ETag": "\"9b2d7e1f8054c3a2041905d0378e6f14\"",
                "ServerSideEncryption": "AES256"
            },
            "UserMetadata": {},
            "Tags": []
        },
        "Overwrite": "False",
        "DstS3VersionId": "jtqRtX3jN4J2G8k0sFSGYK1f35KqpAVP",
        "TransferTimestamp": "2024-10-04T14:48:39.748862183Z",
        "TransferType": "CONTENT_AND_METADATA",
        "TransferStatus": "SUCCESS"
    }]
}

Basic mode

{
    "TaskExecutionId": "exec-abcdefgh12345678",
    "Transferred": [{
        "RelativePath": "/object1.txt",
        "SrcMetadata": {
            "Type": "Regular",
            "ContentSize": 6,
            "Mtime": "2022-01-07T16:59:26.136114671Z",
            "Atime": "2022-01-07T16:59:26.136114671Z",
            "Uid": 0,
            "Gid": 0,
            "Mode": "0644"
        },
        "Overwrite": "False",
        "DstS3VersionId": "jtqRtX3jN4J2G8k0sFSGYK1f35KqpAVP",
        "TransferTimestamp": "2022-01-07T16:59:45.747270957Z",
        "TransferType": "CONTENT_AND_METADATA",
        "TransferStatus": "SUCCESS"
    }]
}

Contoh laporan data yang ditransfer dengan status kesalahan

Laporan berikut memberikan contoh kapan tidak DataSync dapat mentransfer objek bernamaobject1.txt.

Enhanced mode

Laporan ini menunjukkan bahwa tidak DataSync dapat mengakses objek bernama object1.txt karena masalah AWS KMS izin. (Jika Anda mendapatkan kesalahan seperti ini, lihatMengakses bucket S3 menggunakan enkripsi sisi server.)

{
    "TaskExecutionId": "exec-abcdefgh12345678",
    "Transferred": [{
        "RelativePath": "object1.txt",
        "SourceMetadata": {
            "Type": "Object",
            "ContentSize": 6,
            "LastModified": "2022-10-07T20:48:32Z",
            "SystemMetadata": {
                "ContentType": "binary/octet-stream",
                "ETag": "\"3a7c0b2f1d9e5c4a6f8b2e0d1c9f7a3b2\"",
                "ServerSideEncryption": "AES256"
            },
            "UserMetadata": {},
            "Tags": []
        },
        "Overwrite": "False",
        "TransferTimestamp": "2022-10-09T16:05:11.134040717Z",
        "TransferType": "CONTENT_AND_METADATA",
        "TransferStatus": "FAILED",
        "ErrorCode": "AccessDenied",
        "ErrorDetail": "User: arn:aws:sts::111222333444:assumed-role/AWSDataSyncS3Bucket/AwsSync-loc-0b3017fc4ba4a2d8d is not authorized to perform: kms:GenerateDataKey on resource: arn:aws:kms:us-east-1:111222333444:key/1111aaaa-22bb-33cc-44d-5555eeee6666 because no identity-based policy allows the kms:GenerateDataKey action"
    }]
}

Basic mode

Laporan ini menunjukkan bahwa objek bernama object1.txt tidak ditransfer karena masalah izin bucket S3. (Jika Anda mendapatkan kesalahan seperti ini, lihatMenyediakan DataSync akses ke bucket S3.)

{
    "TaskExecutionId": "exec-abcdefgh12345678",
    "Transferred": [{
        "RelativePath": "/object1.txt",
        "SrcMetadata": {
            "Type": "Regular",
            "ContentSize": 6,
            "Mtime": "2022-01-07T16:59:26.136114671Z",
            "Atime": "2022-01-07T16:59:26.136114671Z",
            "Uid": 0,
            "Gid": 0,
            "Mode": "0644"
        },
        "Overwrite": "False",
        "DstS3VersionId": "jtqRtX3jN4J2G8k0sFSGYK1f35KqpAVP",
        "TransferTimestamp": "2022-01-07T16:59:45.747270957Z",
        "TransferType": "CONTENT_AND_METADATA",
        "TransferStatus": "FAILED",
        "FailureReason": "S3 Get Object Failed",
        "FailureCode": 40974
    }]
}

Batasan

• Laporan tugas individu tidak boleh melebihi 5 MB. Jika Anda menyalin sejumlah besar file, laporan tugas Anda mungkin dibagi menjadi beberapa laporan.

• Ada situasi saat membuat laporan tugas dapat memengaruhi kinerja transfer data Anda. Misalnya, Anda mungkin memperhatikan hal ini ketika koneksi jaringan Anda memiliki latensi tinggi dan file yang Anda transfer kecil atau Anda hanya menyalin perubahan metadata.