Importe automáticamente actualizaciones desde un bucket de S3

Puede configurar Lustre FSx para que actualice automáticamente los metadatos del sistema de archivos a medida que se agreguen, modifiquen o eliminen objetos de su bucket de S3. FSxfor Lustre crea, actualiza o elimina la lista de archivos y directorios correspondiente al cambio en S3. Si el objeto modificado del bucket de S3 ya no contiene sus metadatos, FSx for Lustre mantiene los valores de metadatos actuales del archivo, incluidos los permisos actuales.

nota

El sistema FSx de archivos de Lustre y el depósito de S3 vinculado deben estar ubicados en el mismo lugar Región de AWS para que las actualizaciones se importen automáticamente.

Puede configurar la importación automática al crear la asociación de repositorios de datos y actualizar la configuración de importación automática en cualquier momento mediante la consola FSx de administración AWS CLI, la o la AWS API.

nota

Puede configurar tanto la importación automática como la exportación automática en la misma asociación de repositorios de datos. En este tema se describe únicamente la característica de importación automática.

importante

• Si se modifica un objeto en S3 con todas las políticas de importación automática activadas y la exportación automática desactivada, el contenido de ese objeto siempre se importa al archivo correspondiente del sistema de archivos. Si ya existe un archivo en la ubicación de destino, se sobrescribe.

• Si se modifica un archivo tanto en el sistema de archivos como en S3, con todas las políticas de importación y exportación automáticas activadas, el otro podría sobrescribir el archivo del sistema de archivos o el objeto de S3. No se garantiza que una edición posterior en una ubicación sobrescriba una edición anterior en otra ubicación. Si modifica el mismo archivo tanto en el sistema de archivos como en el bucket de S3, debe garantizar la coordinación a nivel de la aplicación para evitar conflictos. FSxfor Lustre no evita escrituras conflictivas en varias ubicaciones.

La política de importación especifica cómo desea FSx que Lustre actualice su sistema de archivos a medida que cambie el contenido del bucket de S3 vinculado. Una asociación de repositorios de datos puede tener una de las siguientes políticas de importación:

• Nuevo: FSx para Lustre, solo actualiza automáticamente los metadatos de los archivos y directorios cuando se añaden nuevos objetos al repositorio de datos de S3 vinculado.

• Modificado: FSx ya que Lustre actualiza automáticamente los metadatos de los archivos y directorios solo cuando se cambia un objeto existente en el repositorio de datos.

• Eliminado: FSx ya que Lustre actualiza automáticamente los metadatos de los archivos y directorios solo cuando se elimina un objeto del repositorio de datos.

• Cualquier combinación de nuevo, modificado y eliminado: FSx para Lustre, se actualizan automáticamente los metadatos de archivos y directorios cuando se produce alguna de las acciones especificadas en el repositorio de datos de S3. Por ejemplo, puede especificar que el sistema de archivos se actualice cuando se añada un objeto (New) o se elimine (Deleted) del repositorio de S3, pero que no se actualice cuando se cambie un objeto.

• Sin política configurada, FSx ya que Lustre no actualiza los metadatos de los archivos y directorios del sistema de archivos cuando se añaden, modifican o eliminan objetos del repositorio de datos de S3. Si no configura una política de importación, la importación automática se deshabilita para la asociación de repositorios de datos. Aún puede importar manualmente los cambios en los metadatos mediante una tarea de importación del repositorio de datos, tal y como se describe en Uso de las tareas del repositorio de datos para importar los cambios.

importante

La importación automática no sincronizará las siguientes acciones de S3 con el sistema de archivos vinculado FSx a Lustre:

• Eliminar un objeto mediante los vencimientos del ciclo de vida de los objetos de S3

• Eliminación permanente de la versión actual del objeto en un bucket con control de versiones habilitado

• Anular la eliminación de un objeto en un bucket con control de versiones habilitado

Para la mayoría de los casos de uso, se recomienda configurar una política de importación de New, Changed y Deleted. Esta política garantiza que todas las actualizaciones realizadas en el repositorio de datos de S3 vinculado se importen automáticamente a su sistema de archivos.

Al establecer una política de importación para actualizar los metadatos de los archivos y directorios del sistema de archivos en función de los cambios en el repositorio de datos de S3 vinculado, FSx Lustre crea una configuración de notificación de eventos en el bucket de S3 vinculado. La configuración de notificación de eventos se denomina FSx. No modifique o elimine la configuración de notificación de eventos FSx en el bucket S3; si lo hace, impedirá la importación automática de los metadatos actualizados de los archivos y directorios a su sistema de archivos.

Cuando FSx Lustre actualiza una lista de archivos que ha cambiado en el repositorio de datos de S3 vinculado, sobrescribe el archivo local con la versión actualizada, incluso si el archivo tiene la escritura bloqueada.

FSxfor Lustre hace todo lo posible por actualizar su sistema de archivos. FSxfor Lustre no puede actualizar el sistema de archivos en las siguientes situaciones:

• Si FSx for Lustre no tiene permiso para abrir el objeto S3 nuevo o modificado. En este caso, FSx for Lustre omite el objeto y continúa. El estado del DRA ciclo de vida no se ve afectado.

• Si FSx for Lustre no tiene permisos a nivel de bucket, como para. GetBucketAcl Esto hará que el estado del ciclo de vida del repositorio de datos se convierta en Misconfigured. Para obtener más información, consulte Estado del ciclo de vida de la asociación de repositorios.

• Si se elimina o modifica la configuración de notificación de eventos FSx en el bucket S3 vinculado. Esto hará que el estado del ciclo de vida del repositorio de datos se convierta en Misconfigured. Para obtener más información, consulte Estado del ciclo de vida de la asociación de repositorios.

Le recomendamos que active el registro en CloudWatch los registros para registrar la información sobre cualquier archivo o directorio que no se pueda importar automáticamente. Las advertencias y los errores del registro contienen información sobre el motivo del error. Para obtener más información, consulte Registros de eventos del repositorio de datos.

Requisitos previos

Se requieren las siguientes condiciones FSx para que Lustre importe automáticamente los archivos nuevos, modificados o eliminados del bucket de S3 vinculado:

• El sistema de archivos y su bucket de S3 vinculado se encuentran en la misma Región de AWS.

• El bucket de S3 no tiene el Lifecycle state mal configurado. Para obtener más información, consulte Estado del ciclo de vida de la asociación de repositorios.

• Su cuenta tiene los permisos necesarios para configurar y recibir notificaciones de eventos en el bucket de S3 vinculado.

Tipos de cambios de archivos compatibles

FSxfor Lustre admite la importación de los siguientes cambios en los archivos y directorios que se producen en el bucket de S3 vinculado:

• Cambios en el contenido de los archivos.

• Cambios en los metadatos de los archivos o directorios.

• Cambios en el destino o los metadatos del enlace simbólico.

• Eliminaciones de archivos y directorios. Si elimina un objeto del bucket de S3 vinculado que corresponde a un directorio del sistema de archivos (es decir, un objeto con un nombre clave que termina con una barra), FSx Lustre eliminará el directorio correspondiente del sistema de archivos solo si está vacío.

Actualización de la configuración de importación

Puede establecer la configuración de importación de un sistema de archivos para un bucket de S3 vinculado al crear la asociación de repositorios de datos. Para obtener más información, consulte Crear un enlace a un bucket de S3.

También puede actualizar la configuración de importación en cualquier momento, incluida la política de importación. Para obtener más información, consulte Actualización de la configuración de asociación de repositorios de datos.

Monitorización de la importación automática

Si la velocidad de cambio de su bucket de S3 supera la velocidad a la que la importación automática puede procesar estos cambios, los cambios de metadatos correspondientes que se importen a su sistema de archivos de FSx For Lustre se retrasarán. Si esto ocurre, puede utilizar la métrica AgeOfOldestQueuedMessage para monitorizar la antigüedad del cambio más antiguo que espera ser procesado mediante la importación automática. Para obtener más información sobre esta métrica, consulte AutoImport y AutoExport métricas.

Si el retraso en la importación de los cambios de metadatos supera los 14 días (medido con la métrica AgeOfOldestQueuedMessage), los cambios del bucket de S3 que no se hayan procesado mediante la importación automática no se importarán a su sistema de archivos. Además, el ciclo de vida de la asociación de su repositorio de datos está marcado como MISCONFIGUREDy la importación automática se detiene. Si tiene habilitada la exportación automática, la exportación automática seguirá supervisando los cambios en su FSx sistema de archivos de Lustre. Sin embargo, los cambios adicionales no se sincronizan desde su sistema de archivos FSx de Lustre con S3.

Para que la asociación del repositorio de datos pase del estado del MISCONFIGUREDciclo de vida al estado del AVAILABLEciclo de vida, debe actualizar la asociación del repositorio de datos. Puede actualizar la asociación de repositorios de datos mediante el update-data-repository-associationCLIcomando (o la UpdateDataRepositoryAssociationAPIoperación correspondiente). El único parámetro de solicitud que necesita es el AssociationID de la asociación de repositorios de datos que desea actualizar.

Cuando el estado del ciclo de vida de la asociación de repositorios de datos cambie a AVAILABLE, se reiniciará la importación automática (y la exportación automática si está habilitada). Al reiniciarse, la exportación automática reanuda la sincronización de los cambios del sistema de archivos a S3. Para sincronizar los metadatos de los objetos nuevos y modificados de S3 con su sistema de archivos de FSx For Lustre que no se hayan importado o que procedan de cuando la asociación de repositorios de datos estaba mal configurada, ejecute una tarea de importación del repositorio de datos. Las tareas de importación del repositorio de datos no sincronizan las eliminaciones del depósito de S3 con el sistema de archivos de For LustreFSx. Si desea sincronizar completamente S3 con su sistema de archivos (incluidas las eliminaciones), debe volver a crear el sistema de archivos.

Para garantizar que los retrasos en la importación de los cambios en los metadatos no superen los 14 días, le recomendamos que configure una alarma en la métrica AgeOfOldestQueuedMessage y reduzca la actividad en su bucket de S3 si la métrica AgeOfOldestQueuedMessage supera el umbral de alarma. En el caso de un FSx sistema de archivos de Lustre conectado a un depósito de S3 con una sola partición que envíe de forma continua el máximo número de cambios posibles desde S3, y que solo se ejecute la importación automática en el sistema de archivos de FSx For Lustre, la importación automática puede procesar una acumulación de 7 horas de cambios de S3 en un plazo de 14 días.

Además, con una sola acción de S3, puede generar más cambios de los que la importación automática procesará en 14 días. Algunos ejemplos de este tipo de acciones son, entre otros, las subidas de AWS Snowball a S3 y las eliminaciones a gran escala. Si realiza un cambio a gran escala en su depósito de S3 y desea que se sincronice con su sistema de archivos de FSx For Lustre, para evitar que los cambios de importación automática superen los 14 días, debe eliminar su sistema de archivos y volver a crearlo una vez que se haya completado el cambio de S3.

Si su métrica AgeOfOldestQueuedMessage está aumentando, revise el bucket de S3 GetRequests, PutRequests, PostRequests y DeleteRequests, y las métricas para ver si hay cambios de actividad que puedan provocar un aumento en la frecuencia o el número de cambios que se envían a la importación automática. Para obtener información sobre las métricas de S3 disponibles, consulte Monitorización de Amazon S3 en la Guía del usuario de Amazon S3.

Para ver una lista de todas las métricas disponibles FSx para Lustre, consulte. Monitorización con Amazon CloudWatch