As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Perguntas frequentes sobre o Amazon MWAA
Esta página descreve perguntas comuns que você pode encontrar ao usar o Amazon Managed Workflows for Apache Airflow.
Sumário
- Versões compatíveis
- Casos de uso
- Especificações do ambiente
- Quanto armazenamento de tarefas está disponível para cada ambiente?
- Qual é o sistema operacional padrão usado para ambientes Amazon MWAA?
- Posso usar uma imagem personalizada para meu ambiente Amazon MWAA?
- O Amazon MWAA está em conformidade com a HIPAA?
- O Amazon MWAA é compatível com instâncias spot?
- O Amazon MWAA é compatível com um domínio personalizado?
- Posso usar SSH no meu ambiente?
- Por que uma regra de autorreferência é necessária no grupo de segurança da VPC?
- Posso ocultar ambientes de grupos diferentes no IAM?
- Posso armazenar dados temporários no operador do Apache Airflow?
- Posso especificar mais de 25 operadores do Apache Airflow?
- O Amazon MWAA é compatível ao Amazon VPCs compartilhadas ou sub-redes compartilhadas?
- Metrics
- DAGs, operadores, conexões e outras perguntas
- Posso usar PythonVirtualenvOperator?
- Quanto tempo o Amazon MWAA leva para reconhecer um novo arquivo DAG?
- Por que meu arquivo DAG não é captado pelo Apache Airflow?
- Posso remover plugins.zip ou requirements.txt de um ambiente?
- Por que não vejo meus plug-ins no menu Plugins de administração do Apache Airflow v2.0.2?
- Posso usar operadores do AWS Database Migration Service (DMS)?
Versões compatíveis
O que o Amazon MWAA oferece suporte para o Apache Airflow v2?
Para saber o que o Amazon MWAA oferece suporte, consulte Versões do Apache Airflow no Amazon Managed Workflows for Apache Airflow..
Por que as versões mais antigas do Apache Airflow não oferecem suporte?
Estamos oferecendo suporte apenas à versão mais recente (a partir do lançamento) do Apache Airflow, Apache Airflow v1.10.12, devido a questões de segurança com versões mais antigas.
Qual versão do Python devo usar?
As seguintes versões do Apache Airflow são compatíveis no Amazon Managed Workflows for Apache Airflow.
nota
-
A partir do Apache Airflow v2.2.2, o Amazon MWAA oferece suporte à instalação de requisitos de Python, pacotes de provedores e plug-ins personalizados diretamente no servidor web Apache Airflow.
-
A partir do Apache Airflow v2.7.2, seu arquivo de requisitos deve incluir uma declaração
--constraint. Se você não fornecer uma restrição, o Amazon MWAA especificará uma para garantir que os pacotes listados em seus requisitos sejam compatíveis com a versão do Apache Airflow que você está usando.Para obter mais informações sobre como configurar restrições em seu arquivo de requisitos, consulte Instalando dependências do Python.
| Versão do Apache Airflow | Guia do Apache Airflow | Restrições do Apache Airflow | Versão do Python |
|---|---|---|---|
Para obter mais informações sobre como migrar suas implantações autogerenciadas do Apache Airflow ou migrar um ambiente Amazon MWAA existente, incluindo instruções para fazer backup do seu banco de dados de metadados, consulte Guia de migração do Amazon MWAA.
Qual versão de pip o Amazon MWAA usa?
Para ambientes que executam o Apache Airflow v1.10.12, o Amazon MWAA instala a versão de pip 21.1.2.
nota
O Amazon MWAA não atualiza pip para ambientes Apache Airflow v1.10.12.
Para ambientes que executam o Apache Airflow v2, o Amazon MWAA instala a versão de pip 21.3.1.
Casos de uso
Quando devo usar AWS Step Functions vs. Amazon MAA?
-
É possível usar o Step Functions para processar pedidos individuais de clientes, já que o Step Functions pode ser escalado para atender à demanda de um ou de um milhão de pedidos.
-
Se você estiver executando um fluxo de trabalho noturno que processa os pedidos do dia anterior, poderá usar o Step Functions ou o Amazon MWAA. O Amazon MWAA permite uma opção de código aberto para abstrair o fluxo de trabalho dos AWS recursos que você está usando.
Especificações do ambiente
Quanto armazenamento de tarefas está disponível para cada ambiente?
O armazenamento de tarefas é limitado a 10 GB e é especificado pelo Amazon ECS Fargate 1.3. A quantidade de RAM é determinada pela classe de ambiente especificada. Para obter mais informações sobre classes do ambiente, consulte Como configurar a classe de ambiente do Amazon MWAA.
Qual é o sistema operacional padrão usado para ambientes Amazon MWAA?
Os ambientes do Amazon MWAA são criados em instâncias que executam o Amazon Linux AMI.
Posso usar uma imagem personalizada para meu ambiente Amazon MWAA?
Imagens personalizadas não são compatíveis. O Amazon MWAA usa imagens criadas no Amazon Linux AMI. O Amazon MWAA instala os requisitos adicionais executando pip3 -r install para os requisitos especificados no arquivo requirements.txt que você adiciona ao bucket do Amazon S3 para o ambiente.
O Amazon MWAA está em conformidade com a HIPAA?
Amazon MWAA é elegível para a Lei de Portabilidade e Responsabilidade de Provedores de Saúde (HIPAA)
O Amazon MWAA é compatível com instâncias spot?
Atualmente, o Amazon MWAA não é compatível com os tipos de instância spot sob demanda do Amazon EC2 para o Apache Airflow. No entanto, um ambiente Amazon MWAA pode acionar instâncias spot, por exemplo, no Amazon EMR e no Amazon EC2.
O Amazon MWAA é compatível com um domínio personalizado?
Para poder usar um domínio personalizado para seu nome de host do Amazon MWAA, faça uma das seguintes opções:
-
Para implantações do Amazon MWAA com acesso ao servidor web público, você pode usar o Amazon com CloudFront Lambda @Edge para direcionar o tráfego para o seu ambiente e mapear um nome de domínio personalizado para. CloudFront Para obter mais informações e um exemplo de configuração de um domínio personalizado para um ambiente público, consulte o exemplo de domínio personalizado do Amazon MWAA para servidor web público no repositório de exemplos do
Amazon MWAA. GitHub -
Para implantações do Amazon MWAA com acesso privado ao servidor web, consulte. Configurando um domínio personalizado para o servidor web Apache Airflow
Posso usar SSH no meu ambiente?
Embora o SSH não seja compatível em um ambiente Amazon MWAA, é possível usar um DAG para executar comandos bash usando o BashOperator. Por exemplo: .
from airflow import DAG from airflow.operators.bash_operator import BashOperator from airflow.utils.dates import days_ago with DAG(dag_id="any_bash_command_dag", schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag: cli_command = BashOperator( task_id="bash_command", bash_command="{{ dag_run.conf['command'] }}" )
Para acionar o DAG na IU do Apache Airflow, use:
{ "command" : "your bash command"}
Por que uma regra de autorreferência é necessária no grupo de segurança da VPC?
Ao criar uma regra de autorreferência, você está restringindo a origem ao mesmo grupo de segurança na VPC e fechá-la para todas as redes. Para saber mais, consulte Segurança em sua VPC no Amazon MWAA.
Posso ocultar ambientes de grupos diferentes no IAM?
Você pode limitar o acesso especificando um nome de ambiente em AWS Identity and Access Management, no entanto, a filtragem de visibilidade não está disponível no AWS console. Se um usuário puder ver um ambiente, ele poderá ver todos os ambientes.
Posso armazenar dados temporários no operador do Apache Airflow?
Seus operadores do Apache Airflow podem armazenar dados temporários sobre os operadores. Os operadores do Apache Airflow podem acessar arquivos temporários no /tmp nos contêineres Fargate do seu ambiente.
nota
O armazenamento total de tarefas é limitado a 10 GB, de acordo com o Amazon ECS Fargate 1.3. Não há garantia de que as tarefas subsequentes serão executadas na mesma instância de contêiner Fargate, que pode usar uma pasta /tmp diferente.
Posso especificar mais de 25 operadores do Apache Airflow?
Sim. Embora você possa especificar até 25 operadores do Apache Airflow no console do Amazon MWAA, você pode configurar até 50 em um ambiente solicitando um aumento de cota. Consulte Requesting a quota increase (Como solicitar um aumento de cota) para obter mais informações.
O Amazon MWAA é compatível ao Amazon VPCs compartilhadas ou sub-redes compartilhadas?
O Amazon MWAA não é compatível ao Amazon VPCs compartilhadas ou sub-redes compartilhadas. A Amazon VPC que você seleciona ao criar um ambiente deve pertencer à conta que está tentando criar o ambiente. No entanto, é possível pode rotear o tráfego de um Amazon VPC na conta do Amazon MWAA para uma VPC compartilhada. Para obter mais informações e ver um exemplo de roteamento de tráfego para um Amazon VPC compartilhado, consulte Roteamento de saída centralizado para a Internet no Guia de gateways de trânsito do Amazon VPC.
Metrics
Quais métricas são usadas para determinar se os operadores devem ser escalados?
O Amazon MWAA monitora o QueuedTaskse a entrada RunningTasks CloudWatch para determinar se o Apache Airflow Workers deve ser escalado em seu ambiente. Para saber mais, consulte Monitoramento e métricas para o Amazon Managed Workflows for Apache Airflow.
Posso criar métricas personalizadas no CloudWatch?
Não no CloudWatch console. No entanto, você pode criar um DAG que grava métricas personalizadas em CloudWatch. Para ter mais informações, consulte Como usar um DAG para gravar métricas personalizadas no CloudWatch.
DAGs, operadores, conexões e outras perguntas
Posso usar PythonVirtualenvOperator?
O PythonVirtualenvOperator não é explicitamente compatível com o Amazon MWAA, mas você pode criar um plug-in personalizado que use PythonVirtualenvOperator. Para obter o código de exemplo, consulte Como criar um plug-in personalizado para PythonVirtualEnvOperator do Apache Airflow.
Quanto tempo o Amazon MWAA leva para reconhecer um novo arquivo DAG?
Os DAGs são sincronizados periodicamente do bucket do Amazon S3 para seu ambiente. Se você adicionar um novo arquivo DAG, levará cerca de 300 segundos para que o Amazon MWAA comece a usar o novo arquivo. Se você atualizar um DAG existente, o Amazon MWAA levará cerca de 30 segundos para reconhecer suas atualizações.
Esses valores de 300 segundos para novos DAGs e 30 segundos para atualizações para DAGs existentes correspondem às opções de configuração do Apache Airflow dag_dir_list_intervalmin_file_process_interval
Por que meu arquivo DAG não é captado pelo Apache Airflow?
Algumas possíveis soluções são:
-
Verifique se seu perfil de execução tem permissões suficientes para seu bucket do Amazon S3. Para saber mais, consulte Perfil de execução do Amazon MWAA.
-
Verifique se o bucket do Amazon S3 tem o acesso público bloqueado configurado e o versionamento habilitado. Para saber mais, consulte Criar um bucket do Amazon S3 para o Amazon MWAA.
-
Verifique o arquivo DAG em si. Por exemplo, certifique-se de que cada DAG tenha uma ID de DAG exclusiva.
Posso remover plugins.zip ou requirements.txt de um ambiente?
Atualmente, não há como remover um plugins.zip ou requirements.txt de um ambiente depois de adicionados, mas estamos trabalhando para resolver o problema. Nesse ínterim, uma solução alternativa é apontar para um texto vazio ou arquivo zip, respectivamente. Para saber mais, consulte Como excluir arquivos do Amazon S3.
Por que não vejo meus plug-ins no menu Plugins de administração do Apache Airflow v2.0.2?
Por motivos de segurança, o servidor Web do Apache Airflow no Amazon MWAA tem saída de rede limitada e não instala plug-ins nem dependências do Python diretamente no servidor web Apache Airflow para ambientes da versão 2.0.2. O plug-in exibido permite que o Amazon MWAA autentique seus usuários do Apache Airflow no (IAM). AWS Identity and Access Management
Para conseguir instalar plug-ins e dependências do Python diretamente no servidor web, recomendamos criar um novo ambiente com o Apache Airflow v2.2 e superior. O Amazon MWAA instala dependências e plug-ins personalizados do Python diretamente no servidor web para o Apache Airflow v2.2 e superior.
Posso usar operadores do AWS Database Migration Service (DMS)?
O Amazon MWAA é compatível a operadores de DMS
