Agrupar archivos pequeños por lotes

Las operaciones de copia conllevan una sobrecarga debido al cifrado. Para acelerar el proceso de transferencia de archivos pequeños a suAWS Snowball Edgedispositivo, puede agruparlos en un solo archivo. Al agrupar archivos por lotes, se pueden extraer automáticamente al importarlos a Amazon S3, siempre que se hayan agrupado en uno de los formatos de archivo compatibles.

Normalmente, los archivos de 1 MB o menores debe incluirse en lotes. No hay un límite establecido para el número de archivos que pueden incluirse en un lote, aunque se recomienda limitar los lotes a 10 000 archivos aproximadamente. Tener más de 100 000 archivos en un lote puede afectar a la rapidez con la que esos archivos se importan a Amazon S3 después de devolver el dispositivo. Recomendamos que el tamaño total de cada lote no supere los 100 GB.

La agrupación de archivos en lotes es un proceso manual administrado por el propio usuario. Después de agrupar los archivos, transfiéralos a un dispositivo Snowball Edge mediante elAWS CLI cpcomando con el--metadata snowball-auto-extract=trueopción. Especificarsnowball-auto-extract=trueextrae automáticamente el contenido de los archivos archivados al importar los datos a Amazon S3, siempre que el tamaño del archivo agrupado en lotes no supere los 100 GB.

nota

Los lotes de más de 100 GB no se extraen cuando se importan a Amazon S3.

Para agrupar archivos pequeños por lotes

1. Decida qué formato quiere usar para agrupar los archivos pequeños por lotes. La característica de extracción automática admite los formatos TAR, ZIP y tar.gz.

2. Identifique los archivos que quiere agrupar por lotes, incluido su tamaño y el número total de archivos que desea incluir en cada lote.

3. Agrupe sus archivos en la línea de comandos, tal y como se muestra en los siguientes ejemplos.

   • En Linux, puede agrupar los archivos en lotes en la misma línea de comandos utilizada para transferir los archivos al dispositivo.

     tar -cf - /Logs/April | aws s3 cp - s3://mybucket/batch01.tar --metadata snowball-auto-extract=true --endpoint http://192.0.2.0:8080

     nota

     También puede usar la utilidad de archivo que prefiera para agrupar los archivos por lotes en uno o varios archivos grandes. Sin embargo, este enfoque requiere espacio de almacenamiento local adicional, para guardar los archivos antes de transferirlos al dispositivo Snowball.

   • Para Windows, utilice el siguiente comando de ejemplo para agrupar los archivos cuando todos los archivos estén en el mismo directorio desde el que se ejecuta el comando:

     7z a -tzip -so "test" | aws s3 cp - s3://mybucket/batch01.zip --metadata snowball-auto-extract=true --endpoint http://192.0.2.0:8080

     Para agrupar archivos desde un directorio diferente desde el que se ejecuta el comando, utilice el siguiente comando de ejemplo:

     7z a -tzip -so "test" "c:\temp" | aws s3 cp - s3://mybucket/batch01.zip --metadata snowball-auto-extract=true --endpoint http://10.x.x.x:8080

     nota

     Para Microsoft Windows 2016, tar no está disponible, pero puede descargarlo desdeTar para Windowssitio web.

     Puede descargar 7 ZIP desde el sitio web de 7ZIP.

4. Repita este procedimiento hasta que haya archivado todos los archivos pequeños que desee transferir a Amazon S3 con un Snowball Edge.

5. Transfiera los archivos archivados al Snowball. Si desea que los datos se extraigan automáticamente y ha utilizado uno de los formatos de archivo compatibles mencionados anteriormente en el paso 1, utilice elAWS CLI cpcomando con el--metadata snowball-auto-extract=trueopción.

   nota

   Si hay archivos que no estén archivados, no utilice este comando.

Al crear los archivos de almacenamiento, la extracción mantendrá la estructura de datos actual. Esto significa que si crea un archivo de almacenamiento que contenga archivos y carpetas, Snowball Edge lo volverá a crear durante el proceso de incorporación a Amazon S3.

El archivo comprimido se extraerá en el mismo directorio en el que está almacenado y las estructuras de carpetas se construirán en consecuencia. Tenga en cuenta que al copiar archivos comprimidos, es importante establecer la bandera--metadata snowball-auto-extract=true. De lo contrario, Snowball Edge no extraerá los datos al importarlos a Amazon S3.

Utilizando el ejemplo del paso 3, si tiene la estructura de carpetas de /Logs/April/ que contiene archivosa.txt,b.txtyc.txt. Si este archivo de almacenamiento se colocara en la raíz de /mybucket/, los datos tendrían el siguiente aspecto tras la extracción:

/mybucket/Logs/April/a.txt
/mybucket/Logs/April/b.txt
/mybucket/Logs/April/c.txt

Si el archivo se colocó en /MyBucket/test/, la extracción tendría el siguiente aspecto:

/mybucket/Test/Logs/April/a.txt
/mybucket/Test/Logs/April/b.txt
/mybucket/Test/Logs/April/c.txt