Actualizar un entorno de Amazon MWAA

nota

Las actualizaciones elegantes de Amazon MWAA aún no se admiten en las regiones de Canadá Oeste (Calgary) y Asia Pacífico (Malasia).

Las actualizaciones del entorno de Amazon MWAA aplican los cambios y parches de seguridad más recientes. También puede editar las configuraciones existentes y actualizar la versión de Apache Airflow. En esta guía se describen los pasos para actualizar un entorno de Amazon MWAA.

Contenido

• Antes de empezar

• Estrategia de reemplazo de trabajadores

• Actualice los recursos del entorno

• Actualización de un entorno

  • Paso 1: especificar los detalles

  • Paso 2: configurar los ajustes avanzados

  • Paso tres: revisar y actualizar

Antes de empezar

• La red de VPC que especificó para su entorno no se puede modificar una vez creado el entorno.

• Necesita un bucket de Amazon S3 configurado para bloquear todo el acceso público, con el control de versiones del bucket activado.

• Necesita una AWS cuenta con permisos para usar Amazon MWAA y permiso en AWS Identity and Access Management (IAM) para crear funciones de IAM. Si elige el modo de acceso Red privada para el servidor web de Apache Airflow, que limita el acceso de Apache Airflow dentro de su Amazon VPC, necesitará permiso en IAM para crear puntos de conexión de Amazon VPC.

• Para habilitar las actualizaciones del entorno Graceful, debe actualizar a la versión 2.4.3 o superior de Apache Airflow. Para actualizar la versión de Airflow, consulte. Actualización de la versión de Apache Airflow

Estrategia de reemplazo de trabajadores

Puede elegir una estrategia de sustitución de trabajadores para controlar la forma en que Amazon MWAA gestiona a los trabajadores activos durante una actualización del entorno. Puede seleccionar una de las siguientes estrategias:

Actualizaciones forzadas

La actualización forzada es la estrategia de reemplazo de trabajadores por defecto. Las actualizaciones forzadas detienen inmediatamente a todos los trabajadores activos, lo que provoca que las tareas en ejecución fallen durante la actualización.

Actualizaciones elegantes

Las actualizaciones elegantes permiten a los trabajadores seguir realizando tareas durante un máximo de 12 horas antes de dejar de trabajar. Evita que las tareas fallen debido a interrupciones en las actualizaciones, siempre y cuando terminen en menos de 12 horas. Las tareas nuevas se envían a los trabajadores actualizados.

Para habilitar las actualizaciones de Graceful en un entorno existente, debe completar una actualización obligatoria y asegurarse de que el entorno esté en la versión 2.4.3 o superior de Apache Airflow.

nota

Si realiza una actualización mientras el entorno está en MAINTENANCE estado, la estrategia de reemplazo de trabajadores para cualquier actualización del entorno en curso pasa de a. GRACEFUL FORCED La actualización se realiza una vez finalizado el mantenimiento.

Actualice los recursos del entorno

Las actualizaciones del entorno de Amazon MWAA utilizan la configuración del entorno existente de forma predeterminada. Para actualizar el entorno sin cambiar la configuración actual:

1. Abra la página Entornos en la consola de Amazon MWAA.

2. En la lista de entornos, elija el entorno que desee actualizar.

3. En la página del entorno, elija Editar para editar el entorno.

4. Elija Siguiente hasta llegar a la página Revisar y guardar.

5. En la página Revisar y guardar, revise los cambios y, a continuación, seleccione Guardar.

Actualización de un entorno

En la siguiente sección se describen los pasos para actualizar un entorno de Amazon MWAA.

Paso 1: especificar los detalles

Pasos para especificar los detalles del entorno

1. Abra la página Entornos en la consola de Amazon MWAA.

2. En la lista de entornos, elija el entorno que desee actualizar.

3. En la página del entorno, elija Editar para editar el entorno.

4. En la sección Detalles del entorno, para la versión Airflow, elija en la lista desplegable el nuevo número de versión de Apache Airflow al que desee actualizar el entorno.

   nota

   Antes de realizar la actualización, asegúrese de que sus recursos de flujo de trabajo DAGs y los demás sean compatibles con la nueva versión de Apache Airflow. Para obtener más información, consulte Actualización de la versión de Apache Airflow.

5. En Código DAG de Amazon S3, especifique lo siguiente:

   1. Un bucket de S3. Elija Explorar S3 y seleccione su bucket de Amazon S3 o introduzca el URI de Amazon S3.

   2. DAGs folder. Elija Explorar S3 y seleccione la carpeta dags en su bucket de Amazon S3 o introduzca el URI de Amazon S3.

   3. Un archivo de complementos (opcional). Elija Explorar S3 y seleccione el archivo plugins.zip en su bucket de Amazon S3 o introduzca el URI de Amazon S3.

   4. Un archivo de requisitos (opcional). Elija Explorar S3 y seleccione el archivo requirements.txt en su bucket de Amazon S3 o introduzca el URI de Amazon S3.

   5. Un archivo de script de inicio (opcional). Elija Explorar S3 y seleccione el archivo de script en su bucket de Amazon S3 o introduzca el URI de Amazon S3.

6. Elija Siguiente.

Paso 2: configurar los ajustes avanzados

Configuración de opciones avanzadas

1. En Acceso al servidor web, seleccione el Modo de acceso de Apache Airflow:

   1. Una red privada. Esto limita el acceso a la interfaz de usuario de Apache Airflow a los usuarios de su Amazon VPC a los que se les ha concedido acceso a la política de IAM de su entorno. Para este paso, necesita permiso para crear puntos de conexión de VPC de Amazon.

      nota

      Elija la opción Red privada si solo se puede acceder a la interfaz de usuario de Apache Airflow desde una red corporativa y no necesita acceder a repositorios públicos para cumplir con los requisitos de instalación del servidor web. Si elige este modo de acceso, deberá crear un mecanismo para acceder al servidor web de Apache Airflow en su VPC de Amazon. Para obtener más información, consulte Acceso al punto de conexión de VPC del servidor web de Apache Airflow (acceso mediante red privada).

   2. Red pública. Esto permite que los usuarios con acceso a la política de IAM de su entorno accedan a la interfaz de usuario de Apache Airflow a través de Internet.

2. En Grupos de seguridad, elija el grupo de seguridad que se haya utilizado para proteger su VPC de Amazon:

   1. Por defecto, Amazon MWAA crea un grupo de seguridad en su VPC de Amazon con reglas de entrada y salida específicas en Crear un nuevo grupo de seguridad.

   2. Opcional. Desactive la casilla de verificación de Crear nuevo grupo de seguridad para seleccionar hasta 5 grupos de seguridad.

      nota

      Debe configurarse un grupo de seguridad de Amazon VPC existente con reglas de entrada y salida específicas para permitir el tráfico de red. Para obtener más información, consulte Seguridad en la VPC en Amazon MWAA.

3. En Clase de entorno, elija una clase de entorno.

   Le recomendamos que elija el tamaño más pequeño necesario para soportar su carga de trabajo. Puede cambiar la clase de entorno en cualquier momento.

4. En Número máximo de procesos de trabajo, especifique el número máximo de procesos de trabajo de Apache Airflow que se ejecutarán en el entorno.

   Para obtener más información, consulte Ejemplo de caso de uso de alto rendimiento.

5. Especifique el número máximo de servidores web y el número mínimo de servidores web para configurar la forma en la que Amazon MWAA escala los servidores web Apache Airflow en su entorno.

   Para obtener más información sobre el escalado automático del servidor web, consulte Configuración del escalado automático del servidor web de Amazon MWAA.

6. En Cifrado, elija una opción de cifrado de datos:

   1. De forma predeterminada, Amazon MWAA utiliza una clave AWS propia para cifrar los datos.

   2. Opcional. Seleccione Personalizar la configuración de cifrado (avanzada) para elegir una clave diferente. AWS KMS Si decide especificar una clave gestionada por el cliente en este paso, debe especificar un identificador de AWS KMS clave o un ARN. AWS KMS Amazon MWAA no admite alias ni claves multirregionales. Si especificó una clave de Amazon S3 para el cifrado del servidor en su bucket de Amazon S3, debe especificar la misma clave para su entorno de Amazon MWAA.

      nota

      Debe tener permisos sobre la clave para seleccionarla en la consola de Amazon MWAA. También debe conceder permisos para que Amazon MWAA utilice la clave adjuntando la política descrita en Asociación de políticas de claves.

7. Recomendado. En Supervisión, elija una o más categorías de registros para configurar los registros de Airflow y enviar los registros de Apache Airflow a Logs: CloudWatch

   1. Registros de tareas de Airflow. Elija el tipo de registros de tareas de Apache Airflow para enviarlos al nivel CloudWatch Logs in Log.

   2. Registros del servidor web de Airflow. Elija el tipo de registros del servidor web Apache Airflow para enviarlos al nivel CloudWatch Logs in Log.

   3. Registros del programador de Airflow. Elija el tipo de registros del programador de Apache Airflow para enviarlos al nivel CloudWatch Logs in Log.

   4. Registros de procesos de trabajo de Airflow. Elija el tipo de registros de trabajo de Apache Airflow para enviarlos al nivel CloudWatch Logs in Log.

   5. Registros de procesamiento del DAG de Airflow. Elija el tipo de registros de procesamiento del DAG de Apache Airflow para enviarlos al nivel CloudWatch Logs in Log.

8. Opcional. Para ver las opciones de configuración de Airflow, elija Agregar una opción de configuración personalizada.

   Puede elegir de la lista desplegable sugerida de opciones de configuración de Apache Airflow para su versión de Apache Airflow o especificar opciones de configuración personalizadas. Por ejemplo, core.default_task_retries: 3.

9. En Permisos, elija un rol de ejecución:

   1. Por defecto, Amazon MWAA crea un rol de ejecución en Crear un rol nuevo. Para usar esta opción, debe tener permiso para crear roles de IAM.

   2. Opcional. Elija Introduzca el ARN del rol para escribir el nombre de recurso de Amazon (ARN) de un rol de ejecución existente.

10. En Especificaciones de actualización, elija una Estrategia de reemplazo de trabajadores para controlar cómo se gestiona a los trabajadores activos durante una actualización.

11. Elija Siguiente.

Paso tres: revisar y actualizar

Pasos para consultar un resumen del entorno

• Revise el resumen del entorno y seleccione Guardar.

  nota

  Se tarda entre veinte y treinta minutos en actualizar un entorno mediante actualizaciones forzadas. Las actualizaciones completas del entorno pueden tardar hasta doce horas en completarse, ya que esperan a que finalicen las tareas en curso.