Suddivisione in batch di file di piccole dimensioni per migliorare le prestazioni di trasferimento dei dati ai dispositivi Snow Family

Ogni operazione di copia genera un overhead a causa della crittografia. Per velocizzare il processo di trasferimento di file di piccole dimensioni AWS Snowball Edge sul dispositivo, puoi raggrupparli in un unico archivio. Quando i file vengono raggruppati in batch, possono essere estratti automaticamente quando vengono importati in Amazon S3, se sono stati raggruppati in batch in uno dei formati di archivio supportati.

In genere, i file aventi dimensioni di 1 MB o inferiori devono essere inclusi in batch. Non esiste un limite fisico al numero di file in un batch, sebbene consigliamo di limitare i batch a circa 10.000 file. La presenza di più di 100.000 file in un batch può influire sulla velocità di importazione di tali file in Amazon S3 dopo la restituzione del dispositivo. La dimensione totale di ogni batch non deve superare i 100 GB.

Il raggruppamento di file è un processo manuale facilmente gestibile. Dopo aver eseguito il batch dei file, trasferiscili su un dispositivo Snowball Edge utilizzando il AWS CLI cp comando con l'--metadata snowball-auto-extract=trueopzione. Specificando estrae snowball-auto-extract=true automaticamente il contenuto dei file archiviati quando i dati vengono importati in Amazon S3, a condizione che la dimensione del file in batch non superi i 100 GB.

Nota

I batch di dimensioni superiori a 100 GB non vengono estratti quando vengono importati in Amazon S3.

Per raggruppare file di piccole dimensioni

1. Scegliere il formato da utilizzare per raggruppare i file di piccole dimensioni. La funzione di estrazione automatica supporta i formati TAR, ZIP e tar.gz.

2. Identificare i file di piccole dimensioni da raggruppare, incluse le dimensioni e il numero totale di file da raggruppare.

3. Batch dei file sulla riga di comando, come illustrato negli esempi seguenti.

   • Per Linux, è possibile raggruppare i file nella stessa riga di comando utilizzata per trasferire i file sul dispositivo.

     tar -cf - /Logs/April | aws s3 cp - s3://mybucket/batch01.tar --metadata snowball-auto-extract=true --endpoint http://192.0.2.0:8080

     Nota

     In alternativa, è possibile utilizzare l'utilità di archiviazione preferita per raggruppare file in uno o più archivi di grandi dimensioni. Tuttavia, questo approccio richiede ulteriore storage locale per salvare gli archivi prima di trasferirli nello Snowball.

   • Per Windows, usa il comando di esempio seguente per raggruppare i file in batch quando tutti i file si trovano nella stessa directory da cui viene eseguito il comando:

     7z a -tzip -so "test" | aws s3 cp - s3://mybucket/batch01.zip --metadata snowball-auto-extract=true --endpoint http://192.0.2.0:8080

     Per inserire in batch i file da una directory diversa da cui viene eseguito il comando, utilizzate il seguente comando di esempio:

     7z a -tzip -so "test" "c:\temp" | aws s3 cp - s3://mybucket/batch01.zip --metadata snowball-auto-extract=true --endpoint http://10.x.x.x:8080

     Nota

     Per Microsoft Windows 2016, tar non è disponibile, ma è possibile scaricarlo dal sito Web di Tar for Windows.

     È possibile scaricare 7 ZIP dal sito Web 7ZIP.

4. Ripeti l'operazione fino ad archiviare tutti i file di piccole dimensioni che desideri trasferire su Amazon S3 utilizzando Snowball Edge.

5. Trasferisci i file archiviati su Snowball. Se desideri che i dati vengano estratti automaticamente e hai utilizzato uno dei formati di archivio supportati menzionati in precedenza nel passaggio 1, usa il AWS CLI cp comando con l'--metadata snowball-auto-extract=trueopzione.

   Nota

   Se sono presenti file non di archivio, non utilizzare questo comando.

Durante la creazione dei file di archivio, l'estrazione manterrà la struttura dei dati corrente. Ciò significa che se crei un file di archivio contenente file e cartelle, Snowball Edge lo ricreerà durante il processo di inserimento in Amazon S3.

Il file di archivio verrà estratto nella stessa directory in cui è memorizzato e le strutture delle cartelle verranno create di conseguenza. Tieni presente che quando copi i file di archivio, è importante impostare la bandiera. --metadata snowball-auto-extract=true Altrimenti, Snowball Edge non estrarrà i dati quando vengono importati in Amazon S3.

Utilizzando l'esempio del passaggio 3, se la struttura delle cartelle di /Logs/April/ contiene i file, e. a.txt b.txt c.txt Se questo file di archivio fosse collocato nella radice di /mybucket/, i dati avrebbero l'aspetto seguente dopo l'estrazione:

/mybucket/Logs/April/a.txt
/mybucket/Logs/April/b.txt
/mybucket/Logs/April/c.txt

Se il file di archivio fosse stato inserito in /mybucket/test/, l'estrazione sarebbe simile alla seguente:

/mybucket/Test/Logs/April/a.txt
/mybucket/Test/Logs/April/b.txt
/mybucket/Test/Logs/April/c.txt