Solución de problemas conAWSDataSync las transferencias

En los siguientes temas se describen los problemas comunes a lasAWSDataSync ubicaciones y las tareas y cómo puede resolverlos.

¿Cómo puedo configurarDataSync el uso de una versión específica de NFS o SMB para montar mi recurso compartido de archivos?

Para las ubicaciones que admiten el Sistema de archivos de red (NFS) o el bloque de mensajes del servidor (SMB), elige de formaDataSync predeterminada la versión del protocolo que desee. También puede especificar la versión usted mismo mediante laDataSync consola o la API.

Acción a realizar (DataSyncconsola)

Al crear la ubicación de NFS o SMB, configure la versión de protocolo queDataSync desee utilizar. Para obtener más información, consulteConfiguración de AWS DataSync transferencias desde un servidor de archivos NFS oConfiguración de AWS DataSync transferencias desde un servidor de archivos SMB).

Acción a tomar (DataSyncAPI)

Al crear o actualizar la ubicación de NFS o SMB, especifique elVersion parámetro. Por ejemplo, consulte CreateLocationNfs o CreateLocationSmb.

El siguienteAWS CLI comando de ejemplo crea una ubicación NFS que seDataSync monta con la versión 4.0 de NFS.

$ aws datasync create-location-nfs --server-hostname your-server-address \
   --on-prem-config AgentArns=your-agent-arns \
   --subdirectory nfs-export-path \
   --mount-options Version="NFS4_0"

El siguienteAWS CLI comando de ejemplo crea una ubicación SMB que seDataSync monta con la versión 3 de SMB.

$ aws datasync create-location-smb --server-hostname your-server-address \
   --on-prem-config AgentArns=your-agent-arns \
   --subdirectory smb-export-path \
   --mount-options Version="SMB3"

Error: SyncOptionvalor no válido. Opción:TransferModePreserveDeletedFiles, Valor: TODO, ELIMINAR.

Este error se produce cuando creas o editas unaDataSync tarea y seleccionas la opción Transferir todos los datos y deseleccionas la opción Conservar los archivos eliminados. Cuando transfieres todos los datos,DataSync no escanea tu ubicación de destino y no sabe qué eliminar.

Mi tarea sigue fallando con un EniNotFounderror

Este error se produce si eliminas una de las interfaces de red de la tarea en la nube virtual privada (VPC). Si la tarea está programada o en cola, se producirá un error si falta la interfaz de red necesaria para transferir los datos.

Acciones que ejecutar

Dispone de las siguientes opciones para solucionar este problema:

• Reinicie la tarea manualmente. Al hacer esto,DataSync se crearán las interfaces de red faltantes que necesite para ejecutar la tarea.

• Si necesitas limpiar los recursos de tu VPC, asegúrate de no eliminar las interfaces de red relacionadas con unaDataSync tarea que sigas utilizando.

  Para ver las interfaces de red asignadas a la tarea, realice una de las siguientes:

  • Utilice la DescribeTaskoperación. Puede ver las interfaces de red en los elementosSourceNetworkInterfaceArns y deDestinationNetworkInterfaceArns respuesta.

  • En la consola de Amazon EC2, busque su ID de tarea (por ejemplotask-f012345678abcdef0) para encontrar sus interfaces de red.

• Considera la posibilidad de no ejecutar tus tareas automáticamente. Esto podría incluir deshabilitar la cola o la programación de tareas (medianteDataSync una automatización personalizada).

Mi tarea falló y se produjo un error de mapeo de ID de NFSv4 del lado del servidor queDataSync actualmente no admite

Este error puede producirse si un sistema de archivos implicado en la transferencia utiliza el mapeo de ID de la versión 4 de NFS, una función queDataSync no es compatible.

Acción que ejecutar

Dispone de un par de opciones para solucionar este problema:

• Cree una nuevaDataSync ubicación para el sistema de archivos que utilice la versión 3 de NFS.

• Desactive el mapeo de ID de la versión 4 de NFS en el sistema de archivos.

Vuelva a intentar la transferencia. Cualquiera de las dos opciones debería resolver el problema.

El estado de mi tarea no está disponible e indica un error de montaje

DataSyncindicará que la tarea no está disponible si el agente no puede montar una ubicación NFS.

Acción que ejecutar

En primer lugar, asegúrese de que la exportación y servidor de NFS que ha especificado son válidos. Si no es así, borre la tarea, cree una nueva utilizando el servidor de NFS correcto y, a continuación, realice la exportación. Para obtener más información, consulte Configuración de AWS DataSync transferencias desde un servidor de archivos NFS.

Si el servidor de NFS y la exportación son válidos, por lo general indica una de estas dos opciones. O bien un firewall impide que el agente monte el servidor de NFS, o bien el servidor de NFS no está configurado para permitir que el agente lo monte.

Asegúrese de que no haya ningún firewall entre el agente y el servidor NFS. A continuación, asegúrese de que el servidor de NFS está configurado para permitir que el agente monte el final de exportación especificado en la tarea. Para obtener más información sobre los requisitos de red y firewall, consulte AWS DataSyncrequisitos de red.

Si realiza estas acciones y el agente sigue sin poder montar el servidor NFS ni exportarlo, abra un canal deAWS soporte con Support. Para obtener información acerca de cómo abrir un canal de soporte, consulte Obtenga ayuda con su agente desdeAWS Support.

Mi tarea ha fallado y se ha producido un error de no se puede asignar memoria

Cuando laDataSync tarea falla y se produce un error de no se puede asignar memoria, esto puede significar varias cosas diferentes.

Acción que ejecutar

Prueba lo siguiente hasta que ya no veas el problema:

• Si la transferencia involucra a un agente, asegúrese de que el agente cumpla con los requisitos de la máquina virtual (VM).

• Divida la transferencia en varias tareas mediante filtros. Es posible que estés intentando transferir más archivos u objetos de los que puede gestionar unaDataSync tarea.

• Si sigues viendo el problema, ponte en contacto conAWS Support.

Mi tarea ha fallado por un error de entrada/salida

Puede recibir un mensaje de error de entrada/salida si el sistema de almacenamiento no responde a las solicitudes de E/S delDataSync agente. Los motivos más comunes para ello incluyen un fallo en el disco del servidor, cambios en la configuración del firewall o un fallo en el router de red.

Si el error está relacionado con un servidor NFS o un clúster del sistema de archivos distribuidos (HDFS) de Hadoop, siga los siguientes pasos para resolver el error.

Acción a tomar (NFS)

En primer lugar, compruebe las métricas y los registros del servidor de NFS para determinar si el problema se inició en el servidor de NFS. En caso afirmativo, resuelve ese problema.

A continuación, compruebe que la configuración de la red no ha cambiado. Para comprobar si el servidor NFS está configurado correctamente y siDataSync puede acceder a él, haga lo siguiente:

1. Configure otro cliente de NFS en la misma subred de red en la que está configurado el agente de .

2. Monte el recurso compartido en dicho cliente.

3. Valide que el cliente pueda leer y escribir en el recurso compartido de forma correcta.

Acción a tomar (HDFS)

Asegúrese de que su clúster de HDFS permita que el agente se comunique con losDataNode puertosNameNode y el clúster. En la mayoría de los clústeres, puede encontrar los números de puerto que utiliza el clúster en los siguientes archivos de configuración.

1. Para encontrar elNameNode puerto, busque en elcore-site.xml archivo situado debajo de lafs.default.name propiedadfs.default o (según la distribución de Hadoop).

2. Para encontrar elDataNode puerto, busque en elhdfs-site.xml archivo que hay debajo de ladfs.datanode.address propiedad.

La ejecución de mi tarea tiene un estado de inicio, pero parece que no pasa nada

La ejecución de la tarea puede quedar bloqueada en el estado de lanzamiento si noDataSync puede indicar al agente fuente especificado que inicie una tarea. Este problema se produce porque el agente está desactivado o ha perdido la conectividad de red.

Acción que ejecutar

Asegúrese de que el agente esté conectado y el estado sea ONLINE. Si el estado es OFFLINE (SIN CONEXIÓN), el agente no está conectado. Para obtener más información sobre cómo probar la conectividad de red, consulte Probando la conexión de su agente conAWS.

A continuación, asegúrese de que su agente esté activado. Si no es así, actívelo.

Si el agente está encendido y la tarea sigue estancada en el estado de lanzamiento, lo más probable es que se deba a un problema de conectividad de red entre el agente yDataSync el agente. Compruebe la configuración de red y firewall para asegurarse de que el agente se puede conectar a DataSync.

Si realizas estas acciones y el problema no se resuelve, abre un canal de soporte conAWS Support. Para obtener información acerca de cómo abrir un canal de soporte, consulte Obtenga ayuda con su agente desdeAWS Support.

La ejecución de mi tarea ha estado en estado de preparación durante mucho tiempo

El tiempo que DataSync dedica al estado Preparing (Preparación) depende de la cantidad de archivos en los sistemas de archivos de origen y de destino, así como del rendimiento de dichos sistemas de archivos. Cuando comienza una tarea, DataSync crea una lista de directorios recursiva para detectar todos los archivos y metadatos del archivo en el sistema de archivos de origen y de destino. Estas listas se utilizan para identificar las diferencias y determinar qué copiar. Este proceso suele tardar entre unos minutos y unas pocas horas. Para obtener más información, consulte Inicio de la AWS DataSync tarea.

Acción que ejecutar

No deberías tener que hacer nada. Siga esperando a que el estado de preparación cambie a Transferir. Si el estado sigue sin cambiar, contactaAWS Support.

Mi tarea ha fallado debido a un error de permisos denegados

Puede aparecer un mensaje de error de “permisos denegados” si configura el servidor de NFS con root_squash o all_squash habilitados y los archivos no tienen acceso de lectura.

Acción que ejecutar

Para solucionar este problema, puede configurar la exportación de NFS con no_root_squash. O bien, puede asegurarse de que los permisos de todos los archivos que desea transferir permitan el acceso de lectura a todos los usuarios. Ambas opciones permiten que el agente lea los archivos. Para que el agente obtenga acceso a los directorios, también debe habilitar todos los accesos de ejecución.

Para asegurarse de que el directorio se puede montar, en primer lugar, conéctese a cualquier equipo que tenga la misma configuración de red que el agente. A continuación, ejecute el comando de CLI siguiente:

mount -t nfs -o nfsvers=<your-nfs-server-version> <your-nfs-server-name>:<nfs-export-path-youspecified> <new-test-folder-on-your-computer>

Si realiza estas acciones y el problema no se resuelve, póngase en contacto con nosotrosAWS Support.

¿Cuánto tiempo demora verificar una tarea que he ejecutado?

El tiempo que DataSync dedica al estado VERIFYING (VERIFICACIÓN) depende de una serie de factores. Entre ellos se incluyen, el número de archivos, el tamaño total de todos los archivos en los sistemas de archivos de origen y destino y el desempeño de estos sistemas de archivos. De forma predeterminada, el Modo de verificación está habilitado en la configuración de opciones. La verificación realizadaDataSync incluye una suma de verificación SHA256 en todo el contenido del archivo y una comparación exacta de todos los metadatos del archivo.

Acción que ejecutar

No deberías tener que hacer nada. Siga esperando a que se complete el estado DE VERIFICACIÓN. Si el estado sigue sin cambiar, contactaAWS Support.

Mi tarea falla cuando se transfiere a un bucket de S3 en otroCuenta de AWS

A diferencia de lasDataSync transferencias entre recursos de la mismaCuenta de AWS, copiar datos a un bucket de S3 en otroCuenta de AWS requiere algunos pasos adicionales.

• Si tuDataSync tarea falla debido a un error relacionado con los permisos del bucket de S3: al crear la tarea, asegúrate de haber iniciado sesiónAWS Management Console con el mismo rol de IAM que especificaste en la política del bucket de S3 de destino. (Nota: esta no es la función de IAM que otorgaDataSync permiso para escribir en el bucket de S3).

• Si también estás copiando datos a un bucket de otroRegión de AWS y aparece un error de conexión con un terminal de S3, crea laDataSync tarea en la misma región que el bucket de S3 de destino.

Para obtener instrucciones completas sobre las transferencias entre cuentas con Amazon S3, consulte los siguientes tutoriales:

• Transferencia de datos desde el almacenamiento local a Amazon S3 de una forma diferenteCuenta de AWS

• Transferencia de datos de Amazon S3 en un lugar diferenteCuenta de AWS

Mi tarea falla cuando se transfiere desde un depósito de Google Cloud Storage

Dado queDataSync se comunica con Google Cloud Storage mediante la API de Amazon S3, existe una limitación que puede provocar que laDataSync tarea falle si intenta copiar las etiquetas de objetos. El siguiente mensaje relacionado con el problema aparece en susCloudWatch registros:

[ADVERTENCIA] No se pudieron leer los metadatos del archivo/your-bucket /your-object: S3 Obtener el etiquetado del objeto Falló: continuar sin etiquetar

Para evitarlo, desactive la opción Copiar etiquetas de objetos al configurar los ajustes de la tarea.

Las horas de inicio y finalización de mis tareas no coinciden con los registros

Las horas de inicio y finalización de la ejecución de la tarea que ves en laDataSync consola pueden diferir entre las marcas de tiempo que veas en otros lugares relacionadas con la transferencia. Esto se debe a que la consola no tiene en cuenta el tiempo que tarda la ejecución de una tarea en los estados de lanzamiento o de espera.

Por ejemplo,CloudWatch los registros de Amazon pueden indicar que la ejecución de la tarea finalizó más tarde de lo que se muestra en laDataSync consola. Puede observar una discrepancia similar en las siguientes áreas:

• Registros del sistema de archivos o sistema de almacenamiento de objetos involucrado en la transferencia

• La fecha de la última modificación de un objeto de Amazon S3 queDataSync escribió en

• Tráfico de red procedente delDataSync agente

• EventBridgeEventos de Amazon

Error: SyncTaskDeletedByUser

Es posible que aparezca este error de forma inesperada al automatizar algunosDataSync flujos de trabajo. Por ejemplo, puede que tengas un script que borra tu tarea antes de que finalice la ejecución de una tarea o esté en cola.

Para solucionar este problema, reconfigura la automatización para que estos tipos de acciones no se superpongan.

Error: NoMem

El conjunto de datos que intentas transferir puede ser demasiado grande paraDataSync. Si ves este error, ponte en contacto con AWS Supportel Centro.

Error: FsS3UnableToConnectToEndpoint

DataSyncno puede conectarse a su ubicación de Amazon S3. Esto podría significar que no se puede acceder al bucket S3 de la ubicación o que la ubicación no está configurada correctamente.

Haga lo siguiente hasta que se resuelva el problema:

• Comprueba siDataSync puedes acceder a tu bucket de S3.

• Asegúrese de que la ubicación esté configurada correctamente mediante laDataSync consola o la operación DescribeLocationS3.

Error: FsS3HeadBucketFailed

DataSyncno puede acceder al bucket de S3 desde el que realiza la transferencia o desde el bucket de S3. Compruebe siDataSync tiene permiso para acceder al bucket mediante la HeadBucketoperación Amazon S3.