Validación de datos con trabajos de Snowball Edge - Guía para desarrolladores de AWS Snowball Edge

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Validación de datos con trabajos de Snowball Edge

A continuación, encontrará información sobre cómoAWS SnowballEdge valida las transferencias de datos y los pasos manuales que puede realizar para garantizar la integridad de los datos durante un trabajo y después de él.

Validación de la suma de comprobación de los datos transferidos

Cuando se copia un archivo de un origen de datos local con la interfaz de Amazon S3 en Snowball Edge, se crea una serie de sumas de comprobación. Estas sumas de comprobación se utilizan para validar automáticamente los datos a medida que se transfieren.

A grandes rasgos, estas sumas de comprobación se crean para cada archivo (o para partes de archivos grandes). Para el dispositivo Snowball Edge, estas sumas de comprobación son visibles al ejecutar lo siguienteAWS CLIcontra un depósito en el dispositivo. Las sumas de comprobación se utilizan para validar la integridad de los datos durante las transferencias y ayudan a garantizar que los datos se copian correctamente.

aws s3api list-objects --bucket bucket-name --endpoint http://ip:8080 --profile edge-profile

Cuando estas sumas de comprobación no coinciden, los datos asociados no se importan en Amazon S3.

Creación de inventario local durante la transferencia de Snowball

Cree un inventario local de los archivos copiados en Snowball cuando utilice la interfaz o la CLI de Amazon S3. El contenido del inventario local se puede utilizar para comparar con lo que hay en el almacenamiento o servidor local.

Por ejemplo,

aws s3 cp folder/ s3://bucket --recursive > inventory.txt

Errores de validación comunes

Cuando se produce un error de validación, los datos correspondientes (un archivo o una parte de un archivo grande) no se escriben en el destino. Las siguientes son las causas comunes de los errores de validación:

  • Intento de copiar enlaces simbólicos.

  • Intento de copiar archivos que se están modificando de forma activa. El intento falla en la validación de la suma de comprobación y se marca como transferencia fallida.

  • Intento de copiar archivos con un tamaño superior a 5 TB.

  • Intento de copiar partes con un tamaño superior a 512 MB.

  • Intento de copiar archivos en un dispositivo Snowball Edge que ya se encuentra en su capacidad de almacenamiento de datos máxima.

  • Intento de copiar archivos en un dispositivo Snowball Edge que no sigue elpautas de nomenclatura de clavespara Amazon S3.

Cuando se produce cualquiera de estos errores de validación, se registrará. Puede realizar los pasos para identificar manualmente qué archivos no han superado la validación y el motivo. Para obtener información, consulte Validación de datos manual para Snowball Edge después de la importación en Amazon S3.

Validación de datos manual para Snowball Edge después de la importación en Amazon S3

Después de que se haya completado un trabajo de importación, dispone de varias opciones para validar manualmente los datos en Amazon S3, tal y como se describe a continuación.

Consulta del informe de finalización de trabajos y los registros asociados

Siempre que se importan o exportan datos en Amazon S3, se obtiene un informe del trabajo en PDF que se puede descargar. Para los trabajos de importación, este informe está disponible cuando finaliza el proceso de importación. Para obtener más información, consulte Obtención del informe de finalización y de los logs del Job en la consola.

Inventario de S3

Si ha transferido una gran cantidad de datos en Amazon S3 en varios trabajos, ir a cada informe de finalización de trabajo puede que no sea una forma eficiente de usar el tiempo. En su lugar, puede obtener un inventario de todos los objetos en uno o varios buckets de Amazon S3. El inventario de Amazon S3 proporciona un archivo de valores separados por comas (CSV) en el que se muestran sus objetos y sus metadatos correspondientes por días o por semanas. Este archivo abarca los objetos de un bucket de Amazon S3 o un prefijo compartido (es decir, objetos cuyos nombres comienzan por una cadena común).

Cuando tenga el inventario de los buckets de Amazon S3 en los que ha importado datos, puede compararlo fácilmente con los archivos que ha transferido en su ubicación de datos de origen. De esta forma, puede identificar rápidamente qué archivos no se han transferido.

Utilizar el comando de sincronización de Amazon S3

Si la estación de trabajo se puede conectar a Internet, puede realizar una validación final de todos los archivos transferidos ejecutando el comando aws s3 sync de la AWS CLI. Este comando sincroniza los directorios y los prefijos de S3. Este comando copia de forma recursiva los archivos nuevos y actualizados del directorio de origen al destino. Para obtener más información, consulteSyncen laAWS CLIReferencia de los comandos.

importante

Si especifica el almacenamiento local como el destino de este comando, asegúrese de que dispone de una copia de seguridad de los archivos con los que está sincronizando. Estos archivos se sobrescriben con el contenido del origen de Amazon S3 especificado.