Creación de entornos de Amazon MWAA

Amazon Managed Workflows for Apache Airflow configura Apache Airflow en un entorno de la versión que elija utilizando el mismo Apache Airflow de código abierto y la misma interfaz de usuario disponible en Apache. En esta guía se describen los pasos para crear entornos de Amazon MWAA.

Contenido

• Antes de empezar
• Versiones de Apache Airflow
• Creación de un entorno
  • Paso 1: especificar los detalles
  • Paso 2: configurar los ajustes avanzados
  • Paso 3: consultar y crear

Antes de empezar

• La red de VPC que especifique para su entorno no se puede modificar una vez creado el entorno.

• Necesita un bucket de Amazon S3 configurado para bloquear todo el acceso público, con el control de versiones del bucket activado.

• Necesita una AWS cuenta con permisos para usar Amazon MWAA y permiso en AWS Identity and Access Management (IAM) para crear funciones de IAM. Si elige el modo de acceso a la red privada para el servidor web Apache Airflow, que limita el acceso de Apache Airflow dentro de su Amazon VPC, necesitará permiso en IAM para crear puntos de enlace de Amazon VPC.

Versiones de Apache Airflow

Las siguientes versiones de Apache Airflow son compatibles con Amazon Managed Workflows para Apache Airflow.

nota

• A partir de Apache Airflow v2.2.2, Amazon MWAA admite la instalación de requisitos de Python, paquetes de proveedores y complementos personalizados directamente en el servidor web Apache Airflow.

• A partir de la versión 2.7.2 de Apache Airflow, su archivo de requisitos debe incluir una instrucción --constraint. Si no proporciona ninguna restricción, Amazon MWAA especificará una para garantizar que los paquetes que figuran en sus requisitos sean compatibles con la versión de Apache Airflow que utilice.

  Para obtener más información sobre la configuración de restricciones en su archivo de requisitos, consulte Instalación de dependencias de Python.

Versión de Apache Airflow	Guía de Apache Airflow	Restricciones de Apache Airflow	Versión de Python
v2.9.2	Guía de referencia de Apache Airflow v2.9.2	Archivo de restricciones de Apache Airflow v2.9.2	Python 3.11
v2.8.1	Guía de referencia de Apache Airflow v2.8.1	Archivo de restricciones de Apache Airflow v2.8.1	Python 3.11
v2.7.2	Guía de referencia de Apache Airflow v2.7.2	Archivo de restricciones de Apache Airflow v2.7.2	Python 3.11
v2.6.3	Guía de referencia de Apache Airflow v2.6.3	Archivo de restricciones de Apache Airflow v2.6.3	Python 3.10
v2.5.1	Guía de referencia de Apache Airflow v2.5.1	Archivo de restricciones de Apache Airflow v2.5.1	Python 3.10
v2.4.3	Guía de referencia de Apache Airflow v2.4.3	Archivo de restricciones de Apache Airflow v2.4.3	Python 3.10
v2.2.2	Guía de referencia de Apache Airflow v2.2.2	Archivo de restricciones de Apache Airflow v2.2.2	Python 3.7
v2.0.2	Guía de referencia de Apache Airflow v2.0.2	Archivo de restricciones de Apache Airflow v2.0.2	Python 3.7

Para más información sobre la migración de sus despliegues autogestionados de Apache Airflow o la migración de un entorno Amazon MWAA existente, incluidas las instrucciones para realizar copias de seguridad de su base de datos de metadatos, consulte la Guía de migración a Amazon MWAA.

Creación de un entorno

En la siguiente sección se describen los pasos para crear entornos de Amazon MWAA.

Paso 1: especificar los detalles

Pasos para especificar los detalles del entorno

1. Abra la consola de Amazon MWAA.

2. Utilice el selector de AWS regiones para seleccionar su región.

3. Seleccione Crear entorno.

4. Siga los pasos que se detallan a continuación en la página Especificar detalles, en Detalles del entorno:

   1. Escriba un nombre único para su entorno en Nombre.

   2. Elija la versión Apache Airflow en versión de Airflow.

      nota

      Si no se especifica ningún valor, el valor predeterminado será la última versión de Airflow. La última versión disponible es Apache Airflow v2.8.1.

5. En Código DAG de Amazon S3, especifique lo siguiente:

   1. Un bucket de S3. Elija Explorar S3 y seleccione su bucket de Amazon S3 o introduzca el URI de Amazon S3.

   2. Una carpeta DAG. Elija Explorar S3 y seleccione la carpeta dags en su bucket de Amazon S3 o introduzca el URI de Amazon S3.

   3. Un archivo de complementos (opcional). Elija Explorar S3 y seleccione el archivo plugins.zip en su bucket de Amazon S3 o introduzca el URI de Amazon S3.

   4. Un archivo de requisitos (opcional). Elija Explorar S3 y seleccione el archivo requirements.txt en su bucket de Amazon S3 o introduzca el URI de Amazon S3.

   5. Un archivo de script de inicio (opcional). Elija Explorar S3 y seleccione el archivo de script en su bucket de Amazon S3 o introduzca el URI de Amazon S3.

6. Elija Siguiente.

Paso 2: configurar los ajustes avanzados

Configuración de opciones avanzadas

1. En la página Configurar los ajustes avanzados, en Redes,

   1. Elija su Amazon VPC.

      Este paso rellena dos de las subredes privadas de su Amazon VPC.

2. En Acceso al servidor web, seleccione el Modo de acceso de Apache Airflow:

   1. Una red privada. Esto limita el acceso a la interfaz de usuario de Apache Airflow a los usuarios de su Amazon VPC a los que se les ha concedido acceso a la política de IAM de su entorno. Para este paso, necesita permiso para crear puntos de conexión de VPC de Amazon.

      nota

      Elija la opción Red privada si solo se puede acceder a la interfaz de usuario de Apache Airflow desde una red corporativa y no necesita acceder a repositorios públicos para cumplir con los requisitos de instalación del servidor web. Si elige este modo de acceso, deberá crear un mecanismo para acceder al servidor web de Apache Airflow en su VPC de Amazon. Para obtener más información, consulte Acceso al punto de conexión de VPC del servidor web de Apache Airflow (acceso mediante red privada).

   2. Red pública. Esto permite que los usuarios con acceso a la política de IAM de su entorno accedan a la interfaz de usuario de Apache Airflow a través de Internet.

3. En Grupos de seguridad, elija el grupo de seguridad que se haya utilizado para proteger su VPC de Amazon:

   1. Por defecto, Amazon MWAA crea un grupo de seguridad en su VPC de Amazon con reglas de entrada y salida específicas en Crear un nuevo grupo de seguridad.

   2. Opcional. Desactive la casilla de verificación de Crear nuevo grupo de seguridad para seleccionar hasta 5 grupos de seguridad.

      nota

      Debe configurarse un grupo de seguridad de Amazon VPC existente con reglas de entrada y salida específicas para permitir el tráfico de red. Para obtener más información, consulte Seguridad en la VPC en Amazon MWAA.

4. En Clase de entorno, elija una clase de entorno.

   Le recomendamos que elija el tamaño más pequeño necesario para soportar su carga de trabajo. Puede cambiar la clase de entorno en cualquier momento.

5. En Número máximo de procesos de trabajo, especifique el número máximo de procesos de trabajo de Apache Airflow que se ejecutarán en el entorno.

   Para obtener más información, consulte Ejemplo de caso de uso de alto rendimiento.

6. Especifique el número máximo de servidores web y el número mínimo de servidores web para configurar la forma en que Amazon MWAA escala los servidores web Apache Airflow de su entorno.

   Para obtener más información sobre el escalado automático de servidores web, consulte. Configuración del escalado automático del servidor web Amazon MWAA

7. En Cifrado, elija una opción de cifrado de datos:

   1. De forma predeterminada, Amazon MWAA utiliza una clave AWS propia para cifrar los datos.

   2. Opcional. Seleccione Personalizar la configuración de cifrado (avanzada) para elegir una clave diferente. AWS KMS Si decide especificar una clave gestionada por el cliente en este paso, debe especificar un identificador de AWS KMS clave o un ARN. AWS KMS Amazon MWAA no admite alias ni claves multirregionales. Si especificó una clave de Amazon S3 para el cifrado del servidor en su bucket de Amazon S3, debe especificar la misma clave para su entorno de Amazon MWAA.

      nota

      Debe tener permisos sobre la clave para seleccionarla en la consola de Amazon MWAA. También debe conceder permisos para que Amazon MWAA utilice la clave adjuntando la política descrita en Asociación de políticas de claves.

8. Recomendado. En Supervisión, elija una o más categorías de registros para configurar los registros de Airflow y enviar los registros de Apache Airflow a Logs: CloudWatch

   1. Registros de tareas de Airflow. Elija el tipo de registros de tareas de Apache Airflow para enviarlos al nivel CloudWatch Logs in Log.

   2. Registros del servidor web de Airflow. Elija el tipo de registros del servidor web Apache Airflow para enviarlos al nivel CloudWatch Logs in Log.

   3. Registros del programador de Airflow. Elija el tipo de registros del programador de Apache Airflow para enviarlos al nivel CloudWatch Logs in Log.

   4. Registros de procesos de trabajo de Airflow. Elija el tipo de registros de trabajo de Apache Airflow para enviarlos al nivel CloudWatch Logs in Log.

   5. Registros de procesamiento del DAG de Airflow. Elija el tipo de registros de procesamiento del DAG de Apache Airflow para enviarlos al nivel CloudWatch Logs in Log.

9. Opcional. Para ver las opciones de configuración de Airflow, elija Agregar una opción de configuración personalizada.

   Puede elegir de la lista desplegable sugerida de opciones de configuración de Apache Airflow para su versión de Apache Airflow o especificar opciones de configuración personalizadas. Por ejemplo, core.default_task_retries: 3.

10. Opcional. En Etiquetas, elija Agregar nueva etiqueta para asociar etiquetas a su entorno. Por ejemplo, Environment: Staging.

11. En Permisos, elija un rol de ejecución:

    1. Por defecto, Amazon MWAA crea un rol de ejecución en Crear un rol nuevo. Para usar esta opción, debe tener permiso para crear roles de IAM.

    2. Opcional. Elija Introduzca el ARN del rol para escribir el nombre de recurso de Amazon (ARN) de un rol de ejecución existente.

12. Elija Siguiente.

Paso 3: consultar y crear

Pasos para consultar un resumen del entorno

• Consulte el resumen del entorno y elija Creación de entorno.

  nota

  Se tarda entre 20 y 30 minutos en crear un entorno.