Como atualizar requirements.txt DAG quebrado Operadores Conexões Servidor web Tarefas CLI

Solução de problemas: DAGs, Operadores, Conexões e outros problemas no Apache Airflow v1

Os tópicos desta página contêm resoluções para dependências do v1.10.12 Python Apache Airflow, plug-ins personalizados, DAGs, Operadores, Conexões, tarefas e problemas de servidor Web que você pode encontrar em um ambiente do Amazon Managed Workflows for Apache Airflow.

Sumário

Como atualizar requirements.txt

O tópico a seguir descreve os erros que você pode receber ao atualizar seu requirements.txt.

Adicionar `apache-airflow-providers-amazon` faz com que meu ambiente falhe

apache-airflow-providers-xyz é compatível apenas com o Apache Airflow v2. apache-airflow-backport-providers-xyz é compatível com o Apache Airflow 1.10.12.

DAG quebrado

O tópico a seguir descreve os erros que você pode receber ao executar DAGs.

Recebi um erro “Broken DAG” (DAG quebrado) ao usar operadores do Amazon DynamoDB

Recomendamos as seguintes etapas:

Teste seus DAGs, plug-ins personalizados e dependências do Python localmente usando aws-mwaa-local-runner no GitHub.
Adicione o seguinte pacote ao seu requirements.txt.
```
boto
```
Para explorar formas de especificar dependências do Python em um arquivo requirements.txt, consulte Como gerenciar dependências do Python em requirements.txt.

Recebi o erro “Broken DAG: No module named psycopg2” (DAG quebrado: Nenhum módulo chamado psycopg2)

Recomendamos as seguintes etapas:

Teste seus DAGs, plug-ins personalizados e dependências do Python localmente usando aws-mwaa-local-runner no GitHub.
Adicione o seguinte ao requirements.txt com sua versão do Apache Airflow. Por exemplo:
```
apache-airflow[postgres]==1.10.12
```
Para explorar formas de especificar dependências do Python em um arquivo requirements.txt, consulte Como gerenciar dependências do Python em requirements.txt.

Recebi um erro “Broken DAG” (DAG quebrado) ao usar os operadores do Slack

Recomendamos as seguintes etapas:

Teste seus DAGs, plug-ins personalizados e dependências do Python localmente usando aws-mwaa-local-runner no GitHub.
Adicione o seguinte pacote ao seu requirements.txt e especifique sua versão do Apache Airflow. Por exemplo:
```
apache-airflow[slack]==1.10.12
```
Para explorar formas de especificar dependências do Python em um arquivo requirements.txt, consulte Como gerenciar dependências do Python em requirements.txt.

Recebi vários erros ao instalar o Google/GCP/BigQuery

O Amazon MWAA usa o Amazon Linux, que exige uma versão específica do Cython e das bibliotecas de criptografia. Recomendamos as seguintes etapas:

Teste seus DAGs, plug-ins personalizados e dependências do Python localmente usando aws-mwaa-local-runner no GitHub.

Adicione o seguinte pacote ao seu requirements.txt.


grpcio==1.27.2
cython==0.29.21
pandas-gbq==0.13.3
cryptography==3.3.2
apache-airflow-backport-providers-amazon[google]

Se não estiver usando provedores de backport, você pode usar:


grpcio==1.27.2
cython==0.29.21
pandas-gbq==0.13.3
cryptography==3.3.2
apache-airflow[gcp]==1.10.12

Para explorar formas de especificar dependências do Python em um arquivo requirements.txt, consulte Como gerenciar dependências do Python em requirements.txt.

Recebi o erro “Broken DAG: No module named Cython” (DAG quebrado: nenhum módulo chamado Cython)

O Amazon MWAA usa o Amazon Linux, que exige uma versão específica do Cython. Recomendamos as seguintes etapas:

Teste seus DAGs, plug-ins personalizados e dependências do Python localmente usando aws-mwaa-local-runner no GitHub.
Adicione o seguinte pacote ao seu requirements.txt.
```
cython==0.29.21
```
As bibliotecas Cython têm várias versões de dependência de pip necessárias. Por exemplo, usar awswrangler==2.4.0 exige pyarrow<3.1.0,>=2.0.0, então o pip3 tenta instalar pyarrow==3.0.0, o que leva a um erro de DAG quebrado. Recomendamos especificar de maneira explícita a versão mais antiga aceitável. Por exemplo, se você especificar o valor mínimo pyarrow==2.0.0 antes de awswrangler==2.4.0, o erro desaparecerá e requirements.txt será instalado corretamente. Os requisitos finais devem ser semelhantes aos seguintes:
```
cython==0.29.21
pyarrow==2.0.0
awswrangler==2.4.0
```
Para explorar formas de especificar dependências do Python em um arquivo requirements.txt, consulte Como gerenciar dependências do Python em requirements.txt.

Operadores

O tópico a seguir descreve os erros que você pode receber ao usar Operadores.

Recebi um erro ao usar o operador do BigQuery

O Amazon MWAA não oferece suporte a operadores com extensões de IU. Recomendamos as seguintes etapas:

Teste seus DAGs, plug-ins personalizados e dependências do Python localmente usando aws-mwaa-local-runner no GitHub.
Uma solução alternativa é substituir a extensão adicionando uma linha no DAG para definir <operator name>.operator_extra_links = None após a importação dos operadores com problemas. Por exemplo:
```
from airflow.contrib.operators.bigquery_operator import BigQueryOperator
BigQueryOperator.operator_extra_links = None
```
Você pode usar essa abordagem para todos os DAGs adicionando a opção acima a um plug-in. Para ver um exemplo, consulte Criação de um plug-in personalizado para o Apache Airflow PythonVirtualenvOperator.

Conexões

O tópico a seguir descreve os erros que você pode receber ao usar uma conexão Apache Airflow ou ao usar outro banco de dados AWS.

Não consigo me conectar ao Snowflake

Recomendamos as seguintes etapas:

Teste seus DAGs, plug-ins personalizados e dependências do Python localmente usando aws-mwaa-local-runner no GitHub.
Adicione as seguintes entradas ao requirements.txt para seu ambiente.
```
asn1crypto == 0.24.0
snowflake-connector-python == 1.7.2
```

Adicione as seguintes importações ao seu DAG:


from airflow.contrib.hooks.snowflake_hook import SnowflakeHook
from airflow.contrib.operators.snowflake_operator import SnowflakeOperator

Certifique-se de que o objeto de conexão Apache Airflow inclui os seguintes pares de chave-valor:

ID de conexão: snowflake_conn
Tipo de conexão: Snowflake
Host: <my account>.<my region if not us-west-2>.snowflakecomputing.com
Esquema: <my schema>
Login: <my user name>
Senha: ********
Porta: <port, if any>

Extra:


{
    "account": "<my account>",
    "warehouse": "<my warehouse>",
    "database": "<my database>",
    "region": "<my region if not using us-west-2 otherwise omit this line>"
}

Por exemplo:


>>> import json
>>> from airflow.models.connection import Connection
>>> myconn = Connection(
...    conn_id='snowflake_conn',
...    conn_type='Snowflake',
...    host='YOUR_ACCOUNT.YOUR_REGION.snowflakecomputing.com',
...    schema='YOUR_SCHEMA'
...    login='YOUR_USERNAME',
...    password='YOUR_PASSWORD',
...    port='YOUR_PORT'
...    extra=json.dumps(dict(account='YOUR_ACCOUNT', warehouse='YOUR_WAREHOUSE', database='YOUR_DB_OPTION', region='YOUR_REGION')),
... )

Não consigo me conectar ao Secrets Manager

Recomendamos as seguintes etapas:

Aprenda a criar chaves secretas para sua conexão e variáveis do Apache Airflow em Configurando uma conexão Apache Airflow usando um segredo AWS Secrets Manager.
Saiba como usar a chave secreta para uma variável do Apache Airflow (test-variable) em Usando uma chave secreta AWS Secrets Manager para uma variável do Apache Airflow.
Saiba como usar a chave secreta para uma conexão Apache Airflow (myconn) em Usando uma chave secreta AWS Secrets Manager para uma conexão Apache Airflow.

Não consigo me conectar ao meu servidor MySQL em “<DB-identifier-name>.cluster-id.<region>.rds.amazonaws.com”

O grupo de segurança do Amazon MWAA e o grupo de segurança do RDS precisam de uma regra de entrada para permitir o tráfego de e para o outro. Recomendamos as seguintes etapas:

Modifique o grupo de segurança do RDS para permitir todo o tráfego do grupo de segurança VPC do Amazon MWAA.
Modifique o grupo de segurança VPC do Amazon MWAA para permitir todo o tráfego do grupo de segurança RDS.
Execute novamente suas tarefas e verifique se o problema com o SQL foi bem-sucedido verificando os logs do Apache Airflow no CloudWatch Logs.

Servidor web

O tópico a seguir descreve os erros que você pode receber do seu servidor Web Apache Airflow no Amazon MWAA.

Estou usando o BigQueryOperator e isso está causando uma falha no meu servidor web

Recomendamos as seguintes etapas:

Operadores do Apache Airflow, como o BigQueryOperator e QuboleOperator que contêm operator_extra_links, podem fazer com que seu servidor web Apache Airflow falhe. Esses operadores tentam carregar código em seu servidor web, o que não é permitido por motivos de segurança. Recomendamos corrigir os operadores em seu DAG adicionando o seguinte código após suas instruções de importação:
```
BigQueryOperator.operator_extra_links = None
```
Teste seus DAGs, plug-ins personalizados e dependências do Python localmente usando aws-mwaa-local-runner no GitHub.

Eu vejo um erro 5xx ao acessar o servidor web

Recomendamos as seguintes etapas:

Verifique as opções de configuração do Apache Airflow. Verifique se os pares de chave-valor que você especificou como uma opção de configuração do Apache Airflow, como AWS Secrets Manager, foram configurados corretamente. Para saber mais, consulte Não consigo me conectar ao Secrets Manager.
Verifique requirements.txt. Verifique se o pacote “extras” do Airflow e outras bibliotecas listadas no seu requirements.txt são compatíveis com sua versão do Apache Airflow.
Para explorar formas de especificar dependências do Python em um arquivo requirements.txt, consulte Como gerenciar dependências do Python em requirements.txt.

Eu vejo um erro “O agendador não parece estar em execução”

Se o programador não parecer estar em execução ou se o último “batimento” tiver sido recebido muitas horas antes, seus DAGs podem não aparecer no Apache Airflow e novas tarefas não serão programadas.

Recomendamos as seguintes etapas:

Confirme se seu grupo de segurança da VPC permite acesso de entrada à porta 5432. Essa porta é necessária para se conectar ao banco de dados de metadados PostgreSQL do Amazon Aurora para seu ambiente. Depois que essa regra for adicionada, aguarde alguns minutos para o Amazon MWAA e o erro deverá desaparecer. Para saber mais, consulte Segurança em sua VPC no Amazon MWAA.
nota
- O banco de dados Aurora PostgreSQL faz parte da arquitetura de serviços do Amazon MWAA e não está visível em seu Conta da AWS.
- Os erros relacionados ao banco de dados geralmente são um sintoma de falha do programador e não a causa raiz.
Se o programador não estiver em execução, pode ser devido a vários fatores, como falhas na instalação de dependências ou um programador sobrecarregado. Confirme se seus DAGs, plug-ins e requisitos estão funcionando corretamente ao visualizar os grupos de log correspondentes no CloudWatch Logs. Para saber mais, consulte Monitoramento e métricas para o Amazon Managed Workflows for Apache Airflow.

Tarefas

O tópico a seguir descreve os erros que você pode receber nas tarefas do Apache Airflow em um ambiente.

Vejo minhas tarefas travadas ou não concluídas

Se suas tarefas do Apache Airflow estiverem “travadas” ou não estiverem sendo concluídas, recomendamos as seguintes etapas:

Pode haver um grande número de DAGs definidos. Reduza o número de DAGs e realize uma atualização do ambiente (como alterar um nível de log) para forçar uma reinicialização.
1. O Airflow analisa os DAGs, estejam eles habilitados ou não. Se você estiver usando mais de 50% da capacidade do seu ambiente, você pode começar a sobrecarregar o programador do Apache Airflow. Isso leva a um grande tempo total de análise no CloudWatch Metrics ou a longos tempos de processamento do DAG no CloudWatch Logs. Há outras maneiras de otimizar as configurações do Apache Airflow que estão fora do escopo deste guia.
2. Para saber mais sobre as práticas recomendadas para ajustar o desempenho do seu ambiente, consulte Ajuste de desempenho para o Apache Airflow na Amazon MWAA.
Pode haver um grande número de tarefas na fila. Isso geralmente aparece como um grande (e crescente) número de tarefas no estado “Nenhum” ou como um grande número em Tarefas na fila e/ou Tarefas pendentes no CloudWatch. Este erro pode ocorrer pelos seguintes motivos:
1. Se houver mais tarefas a serem executadas do que o ambiente tem a capacidade de executar e/ou um grande número de tarefas que foram colocadas em fila antes do ajuste de escala automático, você terá tempo para detectar as tarefas e implantar mais operadores.
2. Se houver mais tarefas para executar do que um ambiente tem a capacidade de executar, recomendamos reduzir o número de tarefas que seus DAGs executam simultaneamente e/ou aumentar o número mínimo de operadores no Apache Airflow.
3. Se houver um grande número de tarefas que foram colocadas em fila antes que o ajuste de escala automático tivesse tempo de detectar e implantar operadores adicionais, recomendamos intercalar a implantação de tarefas e/ou aumentar o número mínimo de operadores no Apache Airflow.
4. Você pode usar o comando update-environment no AWS Command Line Interface (AWS CLI) para alterar o número mínimo ou máximo de Operadores que são executados em seu ambiente.
```
aws mwaa update-environment --name MyEnvironmentName --min-workers 2 --max-workers 10
```
5. Para saber mais sobre as práticas recomendadas para ajustar o desempenho do seu ambiente, consulte Ajuste de desempenho para o Apache Airflow na Amazon MWAA.
Pode haver tarefas sendo excluídas no meio da execução que aparecem como logs de tarefas que param sem nenhuma indicação adicional no Apache Airflow. Este erro pode ocorrer pelos seguintes motivos:
1. Se houver um breve momento em que 1) as tarefas atuais excedam a capacidade atual do ambiente, seguido por 2) alguns minutos sem nenhuma tarefa em execução ou na fila e 3) novas tarefas sendo colocadas na fila.
2. O escalonamento automático do Amazon MWAA reage ao primeiro cenário adicionando mais operadores. No segundo cenário, ele remove os operadores adicionais. Algumas das tarefas que estão sendo colocadas na fila podem resultar na remoção dos operadores e terminarão quando o contêiner for excluído.
3. Recomendamos aumentar o número mínimo de operadores em seu ambiente. Outra opção é ajustar o tempo de seus DAGs e tarefas para garantir que esses cenários não ocorram.
4. Você também pode definir o mínimo de operadores igual ao máximo de operadores em seu ambiente, desativando de maneira eficaz o ajuste de escala automático. Use o comando update-environment no AWS Command Line Interface (AWS CLI) para desabilitar o escalonamento automático definindo o número mínimo e máximo de operadores como sendo o mesmo.
```
aws mwaa update-environment --name MyEnvironmentName --min-workers 5 --max-workers 5
```
5. Para saber mais sobre as práticas recomendadas para ajustar o desempenho do seu ambiente, consulte Ajuste de desempenho para o Apache Airflow na Amazon MWAA.
Se suas tarefas estiverem travadas no estado “em execução”, você também poderá limpá-las ou marcá-las como bem-sucedidas ou malsucedidas. Isso permite que o componente de ajuste de escala automático do seu ambiente reduza a escala verticalmente do número de operadores em execução no seu ambiente. A imagem a seguir mostra um exemplo de uma tarefa perdida.
1. Escolha o círculo para a tarefa perdida e selecione Limpar (conforme mostrado). Isso permite ao Amazon MWAA reduzir a escala verticalmente dos operadores; caso contrário, o Amazon MWAA não poderá determinar quais DAGs estão ativados ou desativados e não poderá reduzir a escala verticalmente se ainda houver tarefas na fila.
Saiba mais sobre o ciclo de vida das tarefas do Apache Airflow em Conceitos no Guia de referência do Apache Airflow.

CLI

O tópico a seguir descreve os erros que você pode receber ao executar comandos da CLI do Airflow no AWS Command Line Interface.

Eu vejo um erro “503” ao acionar um DAG na CLI

A CLI do Airflow é executada no servidor Web do Apache Airflow, que tem simultaneidade limitada. Normalmente, no máximo 4 comandos da CLI podem ser executados simultaneamente.

Atenção O Javascript está desativado ou não está disponível no seu navegador.

Para usar a documentação da AWS, o Javascript deve estar ativado. Consulte as páginas de Ajuda do navegador para obter instruções.

Convenções do documento

Apache Airflow v2

Amazon MWAA Create/Update

Solução de problemas: DAGs, Operadores, Conexões e outros problemas no Apache Airflow v1

Sumário

Como atualizar requirements.txt

Adicionar apache-airflow-providers-amazon faz com que meu ambiente falhe

DAG quebrado

Recebi um erro “Broken DAG” (DAG quebrado) ao usar operadores do Amazon DynamoDB

Recebi o erro “Broken DAG: No module named psycopg2” (DAG quebrado: Nenhum módulo chamado psycopg2)

Recebi um erro “Broken DAG” (DAG quebrado) ao usar os operadores do Slack

Recebi vários erros ao instalar o Google/GCP/BigQuery

Recebi o erro “Broken DAG: No module named Cython” (DAG quebrado: nenhum módulo chamado Cython)

Operadores

Recebi um erro ao usar o operador do BigQuery

Conexões

Não consigo me conectar ao Snowflake

Não consigo me conectar ao Secrets Manager

Não consigo me conectar ao meu servidor MySQL em “<DB-identifier-name>.cluster-id.<region>.rds.amazonaws.com”

Servidor web

Estou usando o BigQueryOperator e isso está causando uma falha no meu servidor web

Eu vejo um erro 5xx ao acessar o servidor web

Eu vejo um erro “O agendador não parece estar em execução”

nota

Tarefas

Vejo minhas tarefas travadas ou não concluídas

CLI

Eu vejo um erro “503” ao acionar um DAG na CLI

Adicionar `apache-airflow-providers-amazon` faz com que meu ambiente falhe