Agrupación en lotes de archivos pequeños - Guía para desarrolladores de AWS Snowball Edge

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Agrupación en lotes de archivos pequeños

Las operaciones de copia conllevan una sobrecarga debido al cifrado. Para acelerar el proceso de transferencia de archivos pequeños a suAWS Snowball Edge, puede agruparlos por lotes en un archivo único. Al agrupar los archivos por lotes, estos se pueden extraer automáticamente al importarlos en Amazon S3, si se han usado uno de los formatos de archivo admitidos.

Normalmente, los archivos de 1 MB o menores debe incluirse en lotes. No hay un límite establecido para el número de archivos que pueden incluirse en un lote, aunque se recomienda limitar los lotes a 10 000 archivos aproximadamente. Tener más de 100 000 archivos en un lote puede afectar a la rapidez con la que esos archivos se importan en Amazon S3 después de devolver el dispositivo. Recomendamos que el tamaño total de cada lote no supere los 100 GB.

La agrupación de archivos en lotes es un proceso manual administrado por el propio usuario. Después de agrupar los archivos por lotes, transfiéralos a un dispositivo Snowball Edge mediante laAWS CLI cpcomando con el--metadata snowball-auto-extract=trueopción. Especificaciónsnowball-auto-extract=trueextrae automáticamente el contenido de los archivos almacenados al importar los datos en Amazon S3, siempre que el tamaño del archivo de lotes no supere los 100 GB.

nota

Los lotes con un tamaño superior a 100 GB no se extraen al importarlos en Amazon S3.

Para agrupar archivos pequeños por lotes

  1. Decida qué formato quiere usar para agrupar los archivos pequeños por lotes. La característica de extracción automática admite los formatos TAR, ZIP y tar.gz.

  2. Identifique los archivos que quiere agrupar por lotes, incluido su tamaño y el número total de archivos que desea incluir en cada lote.

  3. Por Batch los archivos en la línea de comandos tal y como se muestra en los ejemplos siguientes.

    • Para Linux, puede agrupar por lotes los archivos en la misma línea de comandos utilizada para transferir los archivos al dispositivo.

      tar -cf - /Logs/April | aws s3 cp - s3://mybucket/batch01.tar --metadata snowball-auto-extract=true --endpoint http://192.0.2.0:8080
      nota

      También puede usar la utilidad de archivo que prefiera para agrupar los archivos por lotes en uno o varios archivos grandes. Sin embargo, este enfoque requiere espacio de almacenamiento local adicional, para guardar los archivos antes de transferirlos al dispositivo Snowball.

    • Para Windows, use el siguiente comando de ejemplo:

      7z a -tzip -so "test" | aws s3 cp - s3://mybucket/batch01.zip --metadata snowball-auto-extract=true --endpoint http://192.0.2.0:8080
      nota

      Para Microsoft Windows 2016, tar no está disponible, pero puede descargarlo desde elTar para Windowssitio web.

      Puede descargar 7 ZIP desde el Sitio web de 7ZIP.

  4. Repita los pasos hasta que haya archivado todos los archivos pequeños que desea transferir a Amazon S3 con un dispositivo Snowball Edge.

  5. Transfiera los archivos almacenados al Snowball. Si desea realizar una extracción automática de los datos y utilizó uno de los formatos de archivo admitidos (mencionados en el paso 1) utilice elAWS CLI cpcomando con el--metadata snowball-auto-extract=trueopción.

    nota

    Si hay archivos que no son archivadores, no utilices este comando.

Al crear los archivos de archivo, la extracción mantendrá la estructura de datos actual. Esto significa que si crea un archivo de archivo que contiene archivos y carpetas, Snowball Edge lo volverá a crear durante el proceso de ingestión en Amazon S3.

El archivo de archivo se extraerá en el mismo directorio en el que se almacena y las estructuras de carpetas se desarrollarán en consecuencia. Tenga en cuenta que al copiar archivos de archivo, es importante establecer el indicador--metadata snowball-auto-extract=true. De lo contrario, Snowball Edge no extraerá los datos cuando se importan a Amazon S3.

Utilizando el ejemplo del paso 3, si tiene la estructura de carpetas de /Logs/April/ que contiene archivosa.txt,b.txtyc.txt. Si este archivo de archivo se colocó en la raíz de /mybucket/, los datos tendrían el siguiente aspecto después de la extracción:

/mybucket/Logs/April/a.txt /mybucket/Logs/April/b.txt /mybucket/Logs/April/c.txt

Si el archivo de archivo se colocó en /myBucket/Test/, la extracción tendría el siguiente aspecto:

/mybucket/Test/Logs/April/a.txt /mybucket/Test/Logs/April/b.txt /mybucket/Test/Logs/April/c.txt