Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Uso de bibliotecas de Python con AWS Glue
AWS Glue le permite instalar módulos y bibliotecas adicionales de Python para su uso con ETL de AWS Glue.
Temas
- Instalación de módulos de Python adicionales con pip en AWS Glue 2.0+
- Inclusión de archivos de Python con características PySpark nativas
- Módulos de Python ya proporcionados en AWS Glue
- Compresión de bibliotecas para inclusión
- Carga de bibliotecas Python en un punto de conexión de desarrollo
- Uso de bibliotecas de Python en un trabajo JobRun
Instalación de módulos de Python adicionales con pip en AWS Glue 2.0+
AWS Glue utiliza el instalador de paquetes de Python (pip3) para instalar los módulos adicionales que serán utilizados por ETL de AWS Glue. Puede utilizar el parámetro --additional-python-modules con una lista de módulos de Python separados por comas para agregar un nuevo módulo o cambiar la versión de un módulo existente. Puede instalar distribuciones personalizadas de una biblioteca cargando la distribución en Amazon S3, y luego incluir la ruta al objeto de Amazon S3 en la lista de módulos.
Puede pasar opciones adicionales a pip3 con el parámetro --python-modules-installer-option. Por ejemplo, puede pasar "--upgrade" para actualizar los paquetes especificados por "--additional-python-modules". Para ver más ejemplos, consulte Creación de módulos Python desde un archivo wheel para cargas de trabajo de ETL de Spark mediante AWS Glue 2.0
Si las dependencias de Python están relacionadas de modo transitivo con código compilado nativo, es posible que se encuentre con la siguiente limitación: AWS Glue no admite la compilación de código nativo en el entorno de trabajo. No obstante, los trabajos de AWS Glue se ejecutan en un entorno de Amazon Linux 2. Es posible que pueda proporcionar las dependencias nativas en forma compilada a través de un archivo distribuible Wheel.
Por ejemplo, para actualizar o agregar un nuevo módulo scikit-learn utilice la siguiente clave/valor: "--additional-python-modules", "scikit-learn==0.21.3".
Además, dentro de la opción --additional-python-modules, puede especificar una ruta de Amazon S3 a un módulo de wheel de Python. Por ejemplo:
--additional-python-modules s3://aws-glue-native-spark/tests/j4.2/ephem-3.7.7.1-cp37-cp37m-linux_x86_64.whl,s3://aws-glue-native-spark/tests/j4.2/fbprophet-0.6-py3-none-any.whl,scikit-learn==0.21.3
Se debe especificar --additional-python-modules en el campo Job parameters (Parámetros del trabajo) de la consola de AWS Glue, o bien modificando los argumentos del trabajo en el AWS SDK. Para obtener más información sobre la configuración de parámetros de trabajos, consulte Parámetros de los trabajos de AWS Glue.
Inclusión de archivos de Python con características PySpark nativas
AWS Glueen trabajos PySpark de Python en trabajos de Python en trabajos de Python en trabajosAWS Glue Python en trabajos de Python en trabajos de Podrá utilizar --additional-python-modules para administrar las dependencias cuando esté disponible. Puede utilizar el parámetro de trabajo --extra-py-files para incluir archivos de Python. Las dependencias deben estar alojadas en Amazon S3 y el valor del argumento debe ser una lista delimitada por comas de rutas de Amazon S3 sin espacios. Esta funcionalidad se comporta igual que la administración de dependencias de Python que se utilizaría con Spark. Para obtener más información sobre la administración de dependencias de Python en Spark, consulta la página Uso de funciones PySpark nativas--extra-py-fileses útil en los casos en que el código adicional no esté empaquetado o cuando se esté migrando un programa de Spark con una cadena de herramientas existente para administrar las dependencias. Para que las herramientas para dependencias sean mantenibles, deberá agrupar las dependencias antes del envío.
Módulos de Python ya proporcionados en AWS Glue
Para cambiar la versión de estos módulos proporcionados, indique las nuevas versiones con el parámetro de trabajo --additional-python-modules.
Compresión de bibliotecas para inclusión
Salvo que una biblioteca se encuentre en un único archivo .py, deberá empaquetarse en un archivo .zip. El directorio del paquete debe encontrarse en la raíz del archivo y debe contener un archivo __init__.py para el paquete. Posteriormente, Python podrá importar el paquete de la forma habitual.
Si la biblioteca se compone solamente de un único módulo de Python en un archivo .py, no será necesario comprimirlo en un archivo .zip.
Carga de bibliotecas Python en un punto de conexión de desarrollo
Si utiliza diferentes conjuntos de bibliotecas para distintos scripts de ETL, puede configurar puntos de enlace de desarrollo independientes para cada conjunto o bien, puede sobrescribir los archivos .zip de la biblioteca que carga el punto de enlace de desarrollo cada vez que usted cambia de script.
Puede utilizar la consola con el fin de especificar uno o varios archivos .zip para un punto de enlace de desarrollo cuando lo cree. Después de asignar un nombre y un rol de IAM, seleccione Script Libraries and job parameters (Bibliotecas de script y parámetros de trabajo) (opcional) y escriba la ruta de Amazon S3 completa para los archivos .zip de la biblioteca en el cuadro Python library path (Ruta de la biblioteca Python). Por ejemplo:
s3://bucket/prefix/site-packages.zipTambién puede especificar varias rutas completas a los archivos; para ello, sepárelas con comas pero sin espacios, como sigue:
s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zipSi actualiza estos archivos .zip más adelante, puede utilizar la consola para volver a importarlos en el punto de enlace de desarrollo. Vaya al punto de enlace del desarrollador que corresponda, marque la casilla junto al mismo y seleccione Update ETL libraries (Actualizar bibliotecas de ETL) desde el menú Action (Acción).
De forma similar, puede especificar archivos de biblioteca mediante las API de AWS Glue. Cuando crea un punto de enlace de desarrollo al invocar CreateDevEndpoint acción (Python: create_dev_endpoint), puede especificar una o varias rutas completas para las bibliotecas en el parámetro ExtraPythonLibsS3Path, en una llamada con un formato similar al siguiente:
dep = glue.create_dev_endpoint(
EndpointName="testDevEndpoint",
RoleArn="arn:aws:iam::123456789012",
SecurityGroupIds="sg-7f5ad1ff",
SubnetId="subnet-c12fdba4",
PublicKey="ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCtp04H/y...",
NumberOfNodes=3,
ExtraPythonLibsS3Path="s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip")Cuando actualice un punto de enlace de desarrollo, también puede actualizar las bibliotecas que carga con un objeto DevEndpointCustomLibraries y si establece el parámetro UpdateEtlLibraries en True a la hora de invocar UpdateDevEndpoint (DevEndpoint de desarrollo).
Si utiliza un cuaderno Zeppelin con su terminal de desarrollo, tendrá que ejecutar la siguiente PySpark función antes de importar uno o varios paquetes de su.zip archivo:
sc.addPyFile("/home/glue/downloads/python/yourZipFileName.zip")Uso de bibliotecas de Python en un trabajo JobRun
Cuando crea un trabajo nuevo en la consola, puede especificar uno o más archivos .zip de la biblioteca si selecciona Script Libraries and job parameters (Bibliotecas de script y parámetros de trabajo) (opcional) y escribe las rutas completas de la biblioteca de Amazon S3, igual que cuando crea un punto de enlace de desarrollo:
s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zipSi invoca CreateJob (create_job), puede especificar una o varias rutas completas para las bibliotecas predeterminadas mediante el parámetro predeterminado --extra-py-files , como se indica a continuación:
job = glue.create_job(Name='sampleJob',
Role='Glue_DefaultRole',
Command={'Name': 'glueetl',
'ScriptLocation': 's3://my_script_bucket/scripts/my_etl_script.py'},
DefaultArguments={'--extra-py-files': 's3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip'})Luego, cuando inicie un JobRun, puede anular la configuración predeterminada de la biblioteca por otra diferente:
runId = glue.start_job_run(JobName='sampleJob',
Arguments={'--extra-py-files': 's3://bucket/prefix/lib_B.zip'})