Actualización de la versión de Apache Airflow

Amazon MWAA admite la actualización a versiones menores. Esto significa que puede actualizar su entorno de una versión x.4.z a otra x.5.z. Para realizar una actualización de una versión principal, por ejemplo, de una versión 1.y.z a otra 2.y.z, debe crear un entorno nuevo y migrar sus recursos. Para obtener más información sobre la actualización a una nueva versión principal de Apache Airflow, consulte Migración a un nuevo entorno de Amazon MWAA en la Guía de migración de Amazon MWAA.

Durante el proceso de actualización, Amazon MWAA captura una instantánea de los metadatos del entorno, actualiza los procesos de trabajo, los programadores y el servidor web a la nueva versión de Apache Airflow y, finalmente, restaura la base de datos de metadatos con la instantánea.

nota

No puede instalar versiones anteriores de Apache Airflow para su entorno.

Antes de actualizar, asegúrese de que sus DAG y otros recursos de flujo de trabajo sean compatibles con la nueva versión de Apache Airflow a la que vaya a actualizar. Si utiliza requirements.txt para gestionar las dependencias, también debe asegurarse de que las dependencias que especifique en sus requisitos sean compatibles con la nueva versión.

Actualice los recursos de su flujo de trabajo

Siempre que cambie las versiones de Apache Airflow, asegúrese de hacer referencia a la URL --constraint correcta en su requirements.txt.

aviso

Si se especifican requisitos que son incompatibles con la versión de Apache Airflow de destino durante una actualización, el proceso de reversión a la versión anterior de Apache Airflow con la versión de requisitos anterior puede ser muy lento.

Para migrar los recursos de su flujo de trabajo

1. Cree una bifurcación del repositorio aws-mwaa-local-runner y clone una copia del ejecutor local de Amazon MWAA.

2. Diríjase a la rama del repositorio aws-mwaa-local-runner que coincida con la versión a la que está actualizando.

3. Utilice la herramienta CLI del ejecutor local Amazon MWAA para crear la imagen de Docker y ejecutar Apache Airflow de forma local. Para obtener más información, consulte README en el repositorio GitHub.

4. Para actualizar los requirements.txt, siga las prácticas recomendadas que se indican en Administrar las dependencias de Python, en la Guía del usuario de Amazon MWAA.

5. (Opcional) Para acelerar el proceso de actualización, limpie la base de datos de metadatos del entorno. Los entornos con una gran cantidad de metadatos pueden tardar mucho más en actualizarse.

6. Una vez que haya probado correctamente los recursos de flujo de trabajo, copie los DAG, requirements.txt y plugins en el bucket de Amazon S3 de su entorno.

Ahora puede editar el entorno, especificar una nueva versión de Apache Airflow e iniciar el procedimiento de actualización.

Especifique la nueva versión

Cuando haya completado la actualización de los recursos de flujo de trabajo para garantizar la compatibilidad con la nueva versión de Apache Airflow, haga lo siguiente para editar los detalles del entorno y especificar la versión de Apache Airflow a la que desea actualizar.

nota

Al realizar una actualización, todas las tareas que se estén ejecutando actualmente en el entorno finalizan durante el procedimiento. El procedimiento de actualización puede tardar hasta dos horas, durante las cuales el entorno no está disponible.

Para especificar una versión nueva mediante la consola

1. Abra la página Entornos en la consola de Amazon MWAA.

2. En la lista Entornos, elija el entorno en el que desea actualizar.

3. En la página del entorno, elija Editar para editar el entorno.

4. En la sección Detalles del entorno, para la versión Airflow, elija en la lista desplegable el nuevo número de versión de Apache Airflow al que desee actualizar el entorno.

5. Elija Siguiente hasta llegar a la página Revisar y guardar.

6. En la página Revisar y guardar, revise los cambios y, a continuación, seleccione Guardar.

Al aplicar los cambios, el entorno comienza el procedimiento de actualización. Durante este proceso, el estado de su entorno indica qué acciones está llevando a cabo Amazon MWAA y si el procedimiento se ha realizado correctamente.

Si la actualización se realiza correctamente, se mostrará el estado UPDATING y, a continuación CREATING_SNAPSHOT, cuando Amazon MWAA realice la copia de seguridad de sus metadatos. Por último, el estado volverá primero a UPDATING, y después a AVAILABLE, cuando finalice el procedimiento.

Si el entorno no se actualiza, su entorno mostrará el estado ROLLING_BACK. Si la reversión se realiza correctamente, primero se mostrará el estado UPDATE_FAILED, lo que indica que la actualización ha fallado pero que el entorno está disponible. Si se produce un error en la reversión, aparecerá el estado UNAVAILABLE, lo que indica que no se puede acceder al entorno.