Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Mengelompokkan file kecil untuk meningkatkan kinerja transfer data ke Snowball Edge
Setiap salinan operasi memiliki beberapa overhead karena enkripsi. Untuk mempercepat proses mentransfer file kecil ke AWS Snowball Edge perangkat Anda, Anda dapat menggabungkannya bersama-sama dalam satu arsip. Ketika Anda melakukan batch file bersama, file-file tersebut dapat diekstrak secara otomatis saat diimpor ke Amazon S3, jika file-file tersebut di-batch ke dalam salah satu format arsip yang didukung.
Biasanya, file yang berukuran 1 MB atau lebih kecil harus disertakan dalam batch. Tidak ada batas keras pada jumlah file yang dapat Anda miliki dalam batch, kami merekomendasikan Anda membatasi batch Anda ke sekitar 10.000 file. Memiliki lebih dari 100.000 file dalam satu batch dapat mempengaruhi seberapa cepat file tersebut mengimpor ke Amazon S3 setelah Anda mengembalikan perangkat. Kami merekomendasikan bahwa ukuran total setiap batch tidak lebih besar dari 100 GB.
Pengelompokkan file adalah proses manual, yang Anda kelola. Setelah Anda mengumpulkan file Anda, transfer ke perangkat Snowball Edge menggunakan AWS CLI cp
perintah dengan opsi. --metadata snowball-auto-extract=true
Menentukan snowball-auto-extract=true
secara otomatis mengekstrak isi file yang diarsipkan saat data diimpor ke Amazon S3, asalkan ukuran file yang dikelompokkan tidak lebih besar dari 100 GB.
catatan
Setiap batch yang lebih besar dari 100 GB tidak diekstraksi ketika diimpor ke Amazon S3.
Untuk melakukan batch file kecil
-
Tentukan format apa yang Anda inginkan untuk melakukan batch file-file kecil Anda. Fitur ekstrak otomatis mendukung format
TAR
,ZIP
, dantar.gz
. -
Identifikasi file kecil yang Anda ingin lakukan batch bersama, termasuk ukuran dan jumlah total file yang ingin Anda kelompokkan bersama.
-
Batch file-file Anda pada baris perintah seperti yang ditunjukkan dalam contoh berikut.
Untuk Linux, Anda dapat melakukan batch file di baris perintah yang sama yang digunakan untuk mentransfer file Anda ke perangkat.
tar -cf -
/Logs/April
| aws s3 cp -s3://amzn-s3-demo-bucket/batch01.tar
--metadata snowball-auto-extract=true --endpointhttp://192.0.2.0:8080
catatan
Atau, Anda dapat menggunakan utilitas arsip pilihan Anda untuk melakukan batch file menjadi satu atau lebih arsip besar. Namun, pendekatan ini memerlukan penyimpanan lokal tambahan untuk menyimpan arsip sebelum Anda mentransfernya ke Snowball.
Untuk Windows, gunakan perintah contoh berikut untuk mengumpulkan file ketika semua file berada di direktori yang sama dari mana perintah dijalankan:
7z a -tzip -so "test" | aws s3 cp -
s3://amzn-s3-demo-bucket/batch01.zip
--metadata snowball-auto-extract=true --endpointhttp://192.0.2.0:8080
Untuk batch file dari direktori yang berbeda dari mana perintah dijalankan, gunakan perintah contoh berikut:
7z a -tzip -so "test" "
c:\temp
" | aws s3 cp -s3://amzn-s3-demo-bucket/batch01.zip
--metadata snowball-auto-extract=true --endpointhttp://10.x.x.x:8080
catatan
Untuk Microsoft Windows 2016, tar tidak tersedia, namun Anda dapat mengunduhnya dari situs web Tar untuk Windows.
Anda dapat mengunduh 7 ZIP dari situs web 7ZIP.
-
Ulangi sampai Anda telah mengarsipkan semua file kecil yang ingin Anda transfer ke Amazon S3 menggunakan Snowball Edge.
-
Mentransfer file yang diarsipkan ke Snowball. Jika Anda ingin data diekstraksi secara otomatis, dan Anda menggunakan salah satu format arsip yang didukung yang disebutkan sebelumnya di langkah 1, gunakan AWS CLI
cp
perintah dengan opsi.--metadata snowball-auto-extract=true
catatan
Jika ada file non-arsip, jangan gunakan perintah ini.
Saat membuat file arsip, ekstraksi akan mempertahankan struktur data saat ini. Ini berarti jika Anda membuat file arsip yang berisi file dan folder, Snowball Edge akan membuat ulang ini selama proses penyerapan ke Amazon S3.
File arsip akan diekstrak di direktori yang sama dalam tempat penyimpanannya dan struktur folder akan dibangun sesuai dengan itu. Perlu diingat bahwa saat menyalin file arsip, penting untuk mengatur bendera--metadata
snowball-auto-extract=true
. Jika tidak, Snowball Edge tidak akan mengekstrak data saat diimpor ke Amazon S3.
Menggunakan contoh di langkah 3, jika Anda memiliki struktur of /Logs/April folder/yang berisi filea.txt
, b.txt
danc.txt
. Jika file arsip ini ditempatkan di root/amzn-s3-demo-bucket/maka data akan terlihat seperti berikut setelah ekstraksi:
/amzn-s3-demo-bucket/Logs/April/a.txt /amzn-s3-demo-bucket/Logs/April/b.txt /amzn-s3-demo-bucket/Logs/April/c.txt
Jika file arsip ditempatkan ke amzn-s3-demo-bucket//Test/, maka ekstraksi akan terlihat seperti berikut:
/amzn-s3-demo-bucket/Test/Logs/April/a.txt /amzn-s3-demo-bucket/Test/Logs/April/b.txt /amzn-s3-demo-bucket/Test/Logs/April/c.txt