As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Usar bibliotecas Python com o AWS Glue
O AWS Glue permite que você instale módulos e bibliotecas Python adicionais para uso com ETL do AWS Glue.
Tópicos
- Instalar módulos Python adicionais com pip no AWS Glue 2.0
- Incluindo arquivos Python com recursos nativos PySpark
- Scripts de programação que usam transformações visuais
- Módulos do Python já fornecidos no AWS Glue
- Compactar bibliotecas para inclusão
- Carregando bibliotecas Python nos cadernos do AWS Glue Studio
- Carregar bibliotecas Python em um endpoint de desenvolvimento
- Usando bibliotecas Python em um trabalho ou JobRun
Instalar módulos Python adicionais com pip no AWS Glue 2.0
O AWS Glue usa o Python Package Installer (pip3) para instalar módulos adicionais a serem usados pelo ETL do AWS Glue. Você pode usar o parâmetro --additional-python-modules com uma lista de módulos do Python separados por vírgulas para adicionar um novo módulo ou alterar a versão de um módulo existente. Você pode instalar distribuições personalizadas de uma biblioteca carregando a distribuição para o Amazon S3 e incluindo o caminho para o objeto do Amazon S3 na sua lista de módulos.
Você pode transmitir opções adicionais para o pip3 com o parâmetro --python-modules-installer-option. Por exemplo, você pode transmitir "--upgrade" para atualizar os pacotes especificados por "--additional-python-modules". Para ver mais exemplos, consulte Como criar módulos Python a partir de uma roda para cargas de trabalho de ETL do Spark usando
Se suas dependências do Python dependerem transitivamente de código compilado nativo, você pode se deparar com a seguinte limitação: O AWS Glue não oferece suporte à compilação de código nativo no ambiente de trabalho. No entanto, os trabalhos do AWS Glue são executados em um ambiente Amazon Linux 2. Talvez você possa fornecer suas dependências nativas em formato compilado por meio de um distribuível Wheel.
Por exemplo, para atualizar ou adicionar um novo módulo scikit-learn, use a seguinte chave-valor: "--additional-python-modules", "scikit-learn==0.21.3".
Além disso, dentro da opção --additional-python-modules, você pode especificar um caminho do Amazon S3 para um módulo wheel do Python. Por exemplo: .
--additional-python-modules s3://aws-glue-native-spark/tests/j4.2/ephem-3.7.7.1-cp37-cp37m-linux_x86_64.whl,s3://aws-glue-native-spark/tests/j4.2/fbprophet-0.6-py3-none-any.whl,scikit-learn==0.21.3
Você especifica o --additional-python-modules no campo Parâmetros do trabalho do AWS Glue console ou alterando os argumentos do trabalho no AWS SDK. Para obter mais informações sobre como configurar parâmetros de trabalho, consulte Usando parâmetros de trabalho em trabalhos do AWS Glue.
Incluindo arquivos Python com recursos nativos PySpark
AWS Glueusa PySpark para incluir arquivos Python em trabalhos de ETL do AWS Glue. Recomenda-se usar --additional-python-modules para gerenciar suas dependências quando disponíveis. Você pode usar o parâmetro de trabalho --extra-py-files para incluir arquivos Python. As dependências devem ser hospedadas no Amazon S3, e o valor do argumento deve ser uma lista delimitada por vírgulas de caminhos do Amazon S3 sem espaços. Essa funcionalidade se comporta como o gerenciamento de dependências do Python que você usaria com o Spark. Para obter mais informações sobre o gerenciamento de dependências do Python no Spark, consulte a página Usando recursos PySpark nativos--extra-py-filesé útil nos casos em que seu código adicional não está empacotado ou quando você está migrando um programa Spark com uma cadeia de ferramentas existente para gerenciar dependências. Para que suas ferramentas de dependência sejam passíveis de manutenção, você precisará empacotar suas dependências antes de enviá-las.
Scripts de programação que usam transformações visuais
Ao criar uma tarefa do AWS Glue usando a interface visual do AWS Glue Studio, você pode transformar seus dados com nós de transformação de dados gerenciados e transformações visuais personalizadas. Para obter mais informações sobre nós de transformações de dados gerenciados, consulte Transforme dados com transformações AWS Glue gerenciadas. Para obter mais informações sobre transformações visuais personalizadas, consulte Transforme dados com transformações visuais personalizadas . Os scripts que usam transformações visuais só poderão ser gerados quando a Linguagem do trabalho estiver configurada para usar Python.
Ao gerar uma tarefa do AWS Glue usando transformações visuais, o AWS Glue Studio incluirá essas transformações no ambiente de execução usando o --extra-py-files parâmetro na configuração da tarefa. Para obter mais informações sobre parâmetros de trabalho, consulte Usando parâmetros de trabalho em trabalhos do AWS Glue. Ao fazer alterações em um script gerado ou em um ambiente de runtime, será necessário preservar essa configuração de trabalho para que seu script seja executado com êxito.
Módulos do Python já fornecidos no AWS Glue
Para alterar a versão desses módulos fornecidos, forneça novas versões com o parâmetro de trabalho --additional-python-modules.
Compactar bibliotecas para inclusão
A menos que uma biblioteca esteja contida em um único arquivo .py, ela precisará ser compactada em uma pasta .zip. O diretório do pacote deve estar na raiz do arquivo e precisa conter um arquivo __init__.py para o pacote. Em seguida, o Python poderá importar o pacote normalmente.
Se a sua biblioteca contém um único módulo Python em um arquivo .py, você não precisará compactá-la em uma pasta .zip.
Carregando bibliotecas Python nos cadernos do AWS Glue Studio
Para especificar bibliotecas Python nos notebooks do AWS Glue Studio, consulte Instalação de módulos Python adicionais.
Carregar bibliotecas Python em um endpoint de desenvolvimento
Se você estiver usando diferentes conjuntos de bibliotecas para diferentes scripts de ETL, poderá configurar um endpoint de desenvolvimento separado para cada conjunto ou substituir os arquivos .zip da biblioteca carregados pelo seu endpoint de desenvolvimento sempre que os scripts são alternados.
Você pode usar o console para especificar um ou mais arquivos .zip da biblioteca para um endpoint de desenvolvimento ao criá-lo. Depois de atribuir um nome e uma função do IAM, escolha Script Libraries and job parameters (optional) (Bibliotecas de script e parâmetros de trabalho [opcional]) e insira o caminho completo do Amazon S3 para o arquivo .zip da sua biblioteca na caixa Python library path (Caminho da biblioteca Python). Por exemplo:
s3://bucket/prefix/site-packages.zipSe quiser, você poderá especificar vários caminhos completos para arquivos, separando-os com vírgulas, mas sem espaços, da seguinte maneira:
s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zipSe você atualizar esses arquivos .zip posteriormente, poderá usar o console para importá-los novamente para o seu endpoint de desenvolvimento. Navegue até o endpoint do desenvolvedor em questão, marque a caixa de seleção ao lado e escolha Update ETL libraries no menu Action.
De forma semelhante, você pode especificar arquivos de biblioteca usando as APIs do AWS Glue. Ao criar um endpoint de desenvolvimento chamando Ação CreateDevEndpoint (Python: create_dev_endpoint), você pode especificar um ou mais caminhos completos para bibliotecas no parâmetro ExtraPythonLibsS3Path. Essa chamada é semelhante à seguinte:
dep = glue.create_dev_endpoint(
EndpointName="testDevEndpoint",
RoleArn="arn:aws:iam::123456789012",
SecurityGroupIds="sg-7f5ad1ff",
SubnetId="subnet-c12fdba4",
PublicKey="ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCtp04H/y...",
NumberOfNodes=3,
ExtraPythonLibsS3Path="s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip")Ao atualizar um endpoint de desenvolvimento, você também pode atualizar as bibliotecas que ele carrega usando um objeto DevEndpointCustomLibraries e definindo o parâmetro UpdateEtlLibraries como True ao chamar UpdateDevEndpoint (update_dev_endpoint).
Usando bibliotecas Python em um trabalho ou JobRun
Ao criar um novo trabalho no console, você pode especificar um ou mais arquivos .zip de biblioteca escolhendo a opção Script Libraries and job parameters (optional) (Bibliotecas de script e parâmetros de trabalho [opcional]) e inserindo os caminhos completos das bibliotecas do Amazon S3, da mesma maneira como você faria ao criar um endpoint de desenvolvimento:
s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zipSe você estiver chamando CreateJob (create_job), poderá especificar um ou mais caminhos completos para bibliotecas padrão usando o parâmetro padrão --extra-py-files, da seguinte maneira:
job = glue.create_job(Name='sampleJob',
Role='Glue_DefaultRole',
Command={'Name': 'glueetl',
'ScriptLocation': 's3://my_script_bucket/scripts/my_etl_script.py'},
DefaultArguments={'--extra-py-files': 's3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip'})Então, ao iniciar um JobRun, você pode substituir a configuração padrão da biblioteca por uma diferente:
runId = glue.start_job_run(JobName='sampleJob',
Arguments={'--extra-py-files': 's3://bucket/prefix/lib_B.zip'})