Uso AWS DataSync para transferir archivos

AWS DataSync es un servicio de transferencia de datos en línea que simplifica, automatiza y acelera la copia de grandes cantidades de datos hacia y desde los servicios de AWS almacenamiento a través de Internet o. AWS Direct Connect DataSync el agente viene preinstalado en su dispositivo Snowcone. Puede transferir datos entre el dispositivo y los buckets de Amazon S3, Amazon EFS y Amazon FSx for Windows File Server. AWS DataSync gestiona automáticamente los archivos y objetos en movimiento, programa las transferencias de datos, supervisa el progreso de las transferencias, cifra, verifica las transferencias de datos y notifica a los clientes cualquier problema.

Antes de iniciar el DataSync agente, active el Sistema de archivos de red (NFS) en su dispositivo Snowcone. Consulte Configurar la NFS interfaz automáticamente con AWS OpsHub y Inicio de NFS y restricción del acceso.

El DataSync agente viene preinstalado en el dispositivo Snowcone como AMI durante la preparación del trabajo en Snowcone. Para transferir datos en línea AWS, conecte el dispositivo Snowcone a la red externa y utilice AWS OpsHub la CLI para iniciar la DataSync AMI del agente. Active el DataSync agente en la consola de AWS administración o utilice la CLI y configure la tarea de transferencia de datos en línea entre el almacén NFS de Snowcone y Amazon S3, Amazon EFS o Amazon FSx for Windows File Server.

Puedes usar la opción de AWS DataSync correr en Snowcone para lo siguiente:

• Aplicaciones de computación periférica, para recopilar datos, procesarlos para obtener información inmediata y, luego, transferirlos en línea a AWS.

• Transfiera los datos que generan continuamente los sensores o las máquinas AWS en línea a una fábrica o a otros lugares periféricos.

• Distribuya contenido multimedia, científico o de otro tipo en línea desde los servicios de AWS almacenamiento a sus socios y clientes.

• Agregue contenido transfiriendo contenido multimedia, científico o de otro tipo en línea desde sus ubicaciones periféricas a AWS.

• Asegúrese de utilizar una dirección IP estática para el VNI del DataSync agente. El uso de DHCP puede causar problemas, ya que cualquier dispositivo que se reinicie puede significar que se está utilizando una dirección IP diferente, lo que obliga a volver a configurar tanto el DataSync agente como la activación en la nube. DataSync AWS

• Para usar el agente Datasync en Snowcone, debe asegurarse de que las entradas «AllowedHosts» incluyan la dirección IP del DataSync agente en la configuración de NFS en Snowcone. Esto puede requerir que detenga y reinicie el servicio NFS en Snowcone para habilitar DataSync el agente.

• Siempre que detenga el servicio NFS, también debe detener el DataSync agente. Nota: Si detiene el servicio NFS que permite el agente que aparece en la lista, el DataSync agente de Datasync dejará de funcionar.

• Comprobar las cuotas de tareas de AWS DataSync para ver el número máximo de archivos por tarea para un dispositivo Snowcone. Si supera el límite de 200 000 archivos, la DataSync tarea notificará un error de asignación de memoria e interrumpirá la ejecución.

Para flujos de trabajo de procesamiento perimetral o transferencia de datos únicos o para flujos de trabajo de Snowcone en ubicaciones perimetrales sin un enlace de red de área amplia (WAN) o un ancho de banda WAN inadecuado, debe devolver el dispositivo Snowcone AWS para completar la transferencia de datos.