Instalación de dependencias de Python - Amazon Managed Workflows para Apache Airflow
Requisitos previosFuncionamientoDescripción general de las dependencias de PythonCreación de un archivo requirements.txtCómo cargar requirements.txt a Amazon S3Instalación de dependencias de Python en su entornoVisualización de los registros de su requirements.txtSiguientes pasos

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Instalación de dependencias de Python

Una dependencia de Python es cualquier paquete o distribución que no esté incluido en la instalación base de Apache Airflow para su versión de Apache Airflow en su entorno de Amazon Managed Workflows para Apache Airflow. En esta página se describen los pasos para instalar las dependencias de Python de Apache Airflow en su entorno de Amazon MWAA mediante un archivo requirements.txt en su bucket de Amazon S3.

Requisitos previos

Para poder llevar a cabo los pasos de esta página, necesitará lo siguiente.

  • Permisos: su administrador debe haber concedido a su AWS cuenta el acceso a la política de control de FullConsoleacceso de AmazonMWAA para su entorno. Además, su rol de ejecución debe permitir que su entorno Amazon MWAA acceda a los AWS recursos que utiliza su entorno.

  • Acceso: si tiene que acceder a los repositorios públicos para instalar dependencias directamente en el servidor web, su entorno debe estar configurado con acceso a un servidor web de red pública. Para obtener más información, consulte Modos de acceso de Apache Airflow.

  • Configuración de Amazon S3: el bucket de Amazon S3 que se utiliza para almacenar los DAG, los complementos personalizados en plugins.zip y las dependencias de Python en requirements.txt deben estar configurados con el acceso público bloqueado y el control de versiones activado.

Funcionamiento

En Amazon MWAA, para instalar todas las dependencias de Python, debe cargar un archivo requirements.txt en su bucket de Amazon S3 y, a continuación, especificar la versión del archivo en la consola de Amazon MWAA cada vez que actualice el archivo. Amazon MWAA ejecuta pip3 install -r requirements.txt para instalar las dependencias de Python en el programador de Apache Airflow y en cada uno de los procesos de trabajo.

Para ejecutar las dependencias de Python en su entorno, debe hacer tres cosas:

  1. Cree un archivo requirements.txt local.

  2. Cargue el requirements.txt local en su bucket de Amazon S3.

  3. Especifique la versión de este archivo en el campo Archivo de requisitos de la consola de Amazon MWAA.

nota

Si es la primera vez que crea y sube un archivo requirements.txt a su bucket de Amazon S3, también tendrá que especificar la ruta al archivo en la consola de Amazon MWAA. Solo necesita realizar este paso una vez.

Descripción general de las dependencias de Python

Puede instalar los extras de Apache Airflow y otras dependencias de Python desde el Python Package Index (PyPi.org), Python wheels (.whl) o las dependencias de Python alojadas en un repositorio privado compatible con PyPi /PEP-503 en su entorno.

Límites de ubicación y tamaño de las dependencias de Python

Apache Airflow Scheduler y Workers buscan complementos personalizados durante el inicio en el contenedor Fargate AWS administrado para su entorno en. /usr/local/airflow/plugins

  • Límite de tamaño. Recomendamos un archivo requirements.txt que haga referencia a bibliotecas cuyo tamaño combinado sea inferior a 1 GB. Cuantas más bibliotecas necesite instalar Amazon MWAA, mayor será el tiempo de inicio de un entorno. Aunque Amazon MWAA no limita el tamaño de las bibliotecas instaladas de forma explícita, si las dependencias no se pueden instalar en diez minutos, el servicio Fargate agotará el tiempo de espera e intentará revertir el entorno a un estado estable.

Creación de un archivo requirements.txt

En los pasos siguientes se describen los pasos que recomendamos para crear un archivo requirements.txt de forma local.

Paso uno: probar las dependencias de Python con la utilidad CLI de Amazon MWAA

  • La utilidad de la interfaz de la línea de comandos (CLI) replica entornos en Amazon Managed Workflows para Apache Airflow de forma local.

  • La CLI crea localmente una imagen de contenedor de Docker similar a una imagen de producción de Amazon MWAA. Esto le permite ejecutar un entorno local de Apache Airflow para desarrollar y probar los DAG, los complementos personalizados y las dependencias antes de implementarlos en Amazon MWAA.

  • Para ejecutar la CLI, consulte aws-mwaa-local-runner en. GitHub

Paso dos: crear el requirements.txt

La siguiente sección describe cómo especificar las dependencias de Python desde el Python Package Index en un archivo requirements.txt.

Apache Airflow v2

  1. Hacer una prueba local. Añada bibliotecas adicionales de forma iterativa para encontrar la combinación adecuada de paquetes y sus versiones antes de crear un archivo requirements.txt. Para ejecutar la utilidad CLI Amazon MWAA, consulte aws-mwaa-local-runner en. GitHub

  2. Revise los extras del paquete Apache Airflow. Para ver una lista de los paquetes instalados para Apache Airflow v2 en Amazon MWAA, consulte Amazon MWAA local runner en el sitio web. requirements.txt GitHub

  3. Añada instrucciones respecto a las restricciones. Añada el archivo de restricciones para su entorno Apache Airflow v2 en la parte superior del archivo requirements.txt. Los archivos de restricciones de Apache Airflow especifican las versiones de proveedores disponibles en el momento de la publicación de Apache Airflow.

    A partir de la versión 2.7.2 de Apache Airflow, su archivo de requisitos debe incluir una instrucción --constraint. Si no proporciona ninguna restricción, Amazon MWAA especificará una para garantizar que los paquetes que figuran en sus requisitos sean compatibles con la versión de Apache Airflow que utilice.

    En el siguiente ejemplo, sustituya {environment-version} por el número de versión de su entorno y {Python-version} por la versión de Python que sea compatible con su entorno.

    Para obtener información sobre la versión de Python compatible con su entorno Apache Airflow, consulte Versiones de Apache Airflow. 

    --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-{Airflow-version}/constraints-{Python-version}.txt"

    Si el archivo de restricciones determina que el paquete xyz==1.0 no es compatible con otros paquetes de su entorno, pip3 install no podrá impedir que se instalen bibliotecas incompatibles en su entorno. Si se produce un error en la instalación de algún paquete, puede ver los registros de errores de cada componente de Apache Airflow (el planificador, el servidor web y el servidor web) en el flujo de registros correspondiente en Logs. CloudWatch Para más información sobre los tipos de registros, consulte Visualización de los registros de flujo de aire en Amazon CloudWatch.

  4. Paquetes de Apache Airflow. Añada los extras del paquete y la versión (==). Esto ayuda a evitar que se instalen en su entorno paquetes del mismo nombre, pero de una versión diferente.

    apache-airflow[package-extra]==2.5.1

  5. Bibliotecas Python. Añada el nombre del paquete y la versión (==) al archivo requirements.txt. Esto ayuda a evitar que se aplique automáticamente una futura actualización de última hora de PyPi.org.

    library == version
    ejemplo Boto3 y psycopg2-binary

    Este caso se proporciona como ejemplo. Las bibliotecas boto y psycopg2-binary vienen incluidas en la instalación base de Apache Airflow v2, por lo que no es necesario especificarlas en un archivo requirements.txt.

    boto3==1.17.54
boto==2.49.0
botocore==1.20.54
psycopg2-binary==2.8.6

    Si se especifica un paquete sin una versión, Amazon MWAA instala la última versión del paquete desde .org. PyPi Esta versión puede entrar en conflicto con otros paquetes de su requirements.txt.

Apache Airflow v1

  1. Hacer una prueba local. Añada bibliotecas adicionales de forma iterativa para encontrar la combinación adecuada de paquetes y sus versiones antes de crear un archivo requirements.txt. Para ejecutar la utilidad CLI Amazon MWAA, consulte aws-mwaa-local-runner en. GitHub

  2. Revise los extras del paquete Airflow. Consulte la lista de paquetes disponibles para la versión 1.10.12 de Apache Airflow en https://raw.githubusercontent.com/apache/airflow/constraints-1.10.12/constraints-3.7.txt.

  3. Añada el archivo de restricciones. Añada el archivo de restricciones de Apache Airflow v1.10.12 al principio del archivo requirements.txt. Si el archivo de restricciones determina que el paquete xyz==1.0 no es compatible con otros paquetes de su entorno, pip3 install no podrá impedir que se instalen bibliotecas incompatibles en su entorno.

    --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-1.10.12/constraints-3.7.txt"

  4. Paquetes de Apache Airflow v1.10.12. Añada los extras del paquete Airflow y la versión Apache Airflow v1.10.12 (==). Esto ayuda a evitar que se instalen en su entorno paquetes del mismo nombre, pero de una versión diferente.

    apache-airflow[package]==1.10.12
    ejemplo Secure Shell (SSH)

    El siguiente archivo requirements.txt de ejemplo instala SSH para Apache Airflow v1.10.12. 

    apache-airflow[ssh]==1.10.12

  5. Bibliotecas Python. Añada el nombre del paquete y la versión (==) al archivo requirements.txt. Esto ayuda a evitar que se aplique automáticamente una futura actualización de última hora de PyPi.org.

    library == version
    ejemplo Boto3

    El siguiente archivo requirements.txt de ejemplo instala la biblioteca Boto3 para Apache Airflow v1.10.12.

    boto3 == 1.17.4

    Si se especifica un paquete sin una versión, Amazon MWAA instala la última versión del paquete desde .org. PyPi Esta versión puede entrar en conflicto con otros paquetes de su requirements.txt.

Cómo cargar requirements.txt a Amazon S3

Puede utilizar la consola Amazon S3 o AWS Command Line Interface (AWS CLI) para cargar un requirements.txt archivo en su bucket de Amazon S3.

Usando el AWS CLI

The AWS Command Line Interface (AWS CLI) es una herramienta de código abierto que le permite interactuar con AWS los servicios mediante comandos del shell de la línea de comandos. Para completar los pasos de esta página, necesita lo siguiente:

Para cargar mediante el AWS CLI

  1. Use el siguiente comando para obtener una lista de todos los buckets de Amazon S3.

    aws s3 ls

  2. Utilice el comando siguiente para enumerar los archivos y las carpetas del bucket de Amazon S3 para su entorno.

    aws s3 ls s3://YOUR_S3_BUCKET_NAME

  3. El siguiente comando carga un archivo requirements.txt en el bucket de Amazon S3.

    aws s3 cp requirements.txt s3://YOUR_S3_BUCKET_NAME/requirements.txt

Uso de la consola de Amazon S3

La consola de Amazon S3 es una interfaz de usuario basada en la web que le permite crear y administrar los recursos de su bucket de Amazon S3.

Carga del contenido usando la consola de Amazon S3

  1. Abra la página Entornos en la consola de Amazon MWAA.

  2. Seleccione un entorno.

  3. Seleccione el enlace del bucket S3 en el panel de códigos de DAG en S3 para abrir el bucket de almacenamiento en la consola de Amazon S3.

  4. Seleccione Cargar.

  5. Elija Añadir archivo.

  6. Seleccione la copia local de su requirements.txt, elija Cargar.

Instalación de dependencias de Python en su entorno

En esta sección, se describe cómo instalar las dependencias que ha cargado en su bucket de Amazon S3 especificando la ruta al archivo requirements.txt y especificando la versión del archivo requirements.txt cada vez que se actualiza.

Especificación de la ruta a requirements.txt en la consola MWAA de Amazon (la primera vez)

Si es la primera vez que crea y sube un archivo requirements.txt a su bucket de Amazon S3, también tendrá que especificar la ruta al archivo en la consola de Amazon MWAA. Solo necesita realizar este paso una vez.

  1. Abra la página Entornos en la consola de Amazon MWAA.

  2. Seleccione un entorno.

  3. Elija Editar.

  4. En el panel Código DAG en Amazon S3, elija Explorar S3 junto al campo Archivo de requisitos: opcional.

  5. Seleccione el archivo requirements.txt en su bucket de Amazon S3.

  6. Seleccione Elegir.

  7. Seleccione Siguiente, Actualizar entorno.

Puede empezar a usar los nuevos paquetes inmediatamente después de que su entorno termine de actualizarse.

Especificación de la versión de requirements.txt en la consola de Amazon MWAA

Debe especificar la versión de su archivo requirements.txt en la consola de Amazon MWAA cada vez que cargue una nueva versión de su requirements.txt en su bucket de Amazon S3.

  1. Abra la página Entornos en la consola de Amazon MWAA.

  2. Seleccione un entorno.

  3. Elija Editar.

  4. En el panel Código de DAG en Amazon S3, elija una versión de requirements.txt de la lista desplegable.

  5. Seleccione Siguiente, Actualizar entorno.

Puede empezar a usar los nuevos paquetes inmediatamente después de que su entorno termine de actualizarse.

Visualización de los registros de su requirements.txt

Consulte los registros de Apache Airflow correspondientes al programador encargado de programar sus flujos de trabajo y de analizar su carpeta de dags. Los siguientes pasos describen cómo abrir el grupo de registros del Scheduler en la consola de Amazon MWAA y ver los registros de Apache Airflow en la consola Logs. CloudWatch

Pasos para ver los registros de un requirements.txt

  1. Abra la página Entornos en la consola de Amazon MWAA.

  2. Seleccione un entorno.

  3. Elija el Grupo de registro del programador de Airflow en el panel de Monitorización.

  4. Seleccione el registro requirements_install_ip en los flujos de registro.

  5. Debería ver la lista de paquetes que se hayan instalado en el entorno en /usr/local/airflow/.local/bin. Por ejemplo:

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. Consulte la lista de paquetes y compruebe si se produjo algún error en alguno de ellos durante la instalación. Si algo ha ido mal, es posible que aparezca un error similar al siguiente:

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

Siguientes pasos

  • Pruebe sus DAG, complementos personalizados y dependencias de Python localmente con aws-mwaa-local-runner on. GitHub