Merencanakan transfer ke atau dari sistem penyimpanan cloud pihak ketiga

Saat merencanakan transfer data lintas cloud, pertimbangkan hal berikut:

• Menggunakan agen: Agen hanya diperlukan untuk mengakses penyimpanan di cloud lain saat menggunakan tugas mode Dasar. Tugas mode yang disempurnakan tidak memerlukan agen. Jika Anda memutuskan untuk menggunakan agen, Anda dapat menerapkannya sebagai EC2instans Amazon saat mentransfer dari penyimpanan objek yang kompatibel dengan S3 penyedia cloud, atau sebagai Google Compute Engine atau Azure Virtual Machine untuk transfer dari layanan penyimpanan tertentu tersebut. Saat mentransfer dari sistem file di Google dan Azure, sebaiknya gunakan agen sebagai Google atau Azure VM sehingga agen sedekat mungkin dengan sistem file. Selain itu, DataSync kompres data dari agen ke AWS, yang dapat membantu mengurangi biaya jalan keluar. DataSync menyediakan daftar lokasi cloud tervalidasi yang menyediakan kompatibilitas API Amazon S3 yang diperlukan.

• Titik akhir penyimpanan objek cloud lainnya: Titik akhir penyimpanan untuk penyedia cloud pihak ketiga biasanya spesifik wilayah atau akun. Endpoint regional digunakan sebagai server di lokasi penyimpanan DataSync objek, bersama dengan nama bucket yang ditentukan.

• Kelas penyimpanan objek sumber: Seperti Amazon S3, beberapa penyedia cloud mendukung tingkat arsip yang memerlukan pemulihan sebelum dapat mengakses objek yang diarsipkan. Misalnya, objek di tingkat arsip Azure Blob harus diambil untuk akses standar sebelum transfer data. Objek di tingkat arsip Google Cloud Storage dapat diakses segera dan tidak memerlukan pemulihan, tetapi ada biaya pengambilan yang terkait dengan akses tingkat arsip langsung. Tinjau dokumentasi kelas penyimpanan lintas cloud Anda untuk menentukan persyaratan akses dan biaya pengambilan sebelum memulai transfer data Anda. Untuk informasi selengkapnya tentang memulihkan objek yang diarsipkan di Amazon S3, lihat Memulihkan objek yang diarsipkan di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.

• Akses penyimpanan objek: Mentransfer data antara penyedia cloud pihak ketiga memerlukan akses ke penyimpanan objek cloud lain dalam bentuk kunci otentikasi. Misalnya, untuk menyediakan akses ke Google Cloud Storage, Anda mengonfigurasi lokasi penyimpanan DataSync objek yang terhubung ke Google Cloud Storage XMLAPI dan mengautentikasi menggunakan kunci Kode Otentikasi Pesan (HMAC) berbasis Hash untuk akun layanan Anda. Untuk penyimpanan Azure Blob, Anda mengonfigurasi DataSync lokasi Azure Blob khusus yang mengautentikasi menggunakan token SAS. DataSync digunakan AWS Secrets Manager untuk menyimpan kredensil penyimpanan objek Anda dengan aman. Untuk informasi selengkapnya, lihat Mengamankan kredensil lokasi penyimpanan.

• Dukungan tag objek:

  • Tidak seperti Amazon S3, tidak semua penyedia cloud mendukung tag objek. DataSync tugas dapat gagal saat mencoba membaca tag dari lokasi sumber jika penyedia cloud tidak mendukung tag objek melalui Amazon S3 API, atau jika kredensional yang Anda berikan tidak cukup untuk mengambil tag. DataSyncmenyediakan opsi tugas untuk mematikan membaca dan menyalin tag objek selama transfer jika tag objek tidak didukung, atau Anda tidak ingin mempertahankan tag. Tinjau dokumentasi penyedia cloud Anda untuk menentukan apakah tag objek didukung, dan verifikasi pengaturan tag objek tugas transfer Anda sebelum memulai transfer.

  • Anda dapat menggunakan Amazon S3 API untuk memeriksa apakah penyedia cloud akan mengembalikan permintaan. get-object-tagging Untuk informasi selengkapnya, lihat get-object-tagging dalam AWS CLI Referensi Perintah.

    Penyedia cloud yang mendukung tag objek akan mengembalikan respons yang mirip dengan contoh berikut:

    aws s3api get-object-tagging --bucket BUCKET_NAME --endpoint- url=https://BUCKET_ENDPOINT --key prefix/file1
                                        
    {
    
        "TagSet": []
    
    }

    Penyedia cloud yang tidak mendukung get-object-tagging akan mengembalikan pesan berikut:

    aws s3api get-object-tagging --bucket BUCKET_NAME --endpoint- url=https://BUCKET_ENDPOINT --key prefix/file1
    
    An error occurred (OperationNotSupported) when calling the GetObjectTagging operation: The operation is not supported for this resource

• Biaya terkait untuk permintaan dan jalan keluar data: Mentransfer data dari penyimpanan objek cloud memiliki permintaan dan biaya keluar yang terkait dengan pembacaan data dan transfer data. Biaya permintaan bervariasi antara penyedia cloud dan antara kelas penyimpanan jika berlaku. Konsultasikan dokumentasi penyedia cloud Anda mengenai biaya spesifik untuk permintaan relatif terhadap kelas penyimpanan yang Anda rencanakan untuk dibaca. Untuk ikhtisar biaya permintaan yang DataSync dilakukan untuk transfer data, lihat Mengevaluasi biaya permintaan S3 saat menggunakan DataSync dan AWS DataSync menetapkan harga. Mentransfer data dari penyedia cloud tertentu menghasilkan biaya keluar. Biaya transfer data bervariasi antara penyedia cloud dan juga tergantung pada wilayah tempat data disimpan.

• Tingkat permintaan penyimpanan objek: Penyedia cloud memiliki berbagai karakteristik kinerja dan tingkat permintaan untuk platform penyimpanan objek mereka. Tinjau tarif permintaan penyedia cloud Anda yang lain dan tentukan di mana batas permintaan diterapkan. Rencanakan ke depan untuk transfer yang sangat paralel yang terdiri dari beberapa agen, di mana partisi atau peningkatan kinerja tertentu mungkin diperlukan.

  Amazon S3 telah mendokumentasikan tingkat permintaan yang dapat Anda buat solusi. Tarif permintaan Amazon S3 per awalan yang dipartisi dan dapat diskalakan di beberapa awalan. Untuk informasi selengkapnya, lihat Pola desain praktik terbaik: mengoptimalkan kinerja Amazon S3 di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.