Criar um ambiente do Amazon MWAA - Amazon Managed Workflows for Apache Airflow
Antes de começarVersões do Apache AirflowCriar um ambiente

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Criar um ambiente do Amazon MWAA

O Amazon Managed Workflows for Apache Airflow configura o Apache Airflow em um ambiente na versão escolhida usando o mesmo Apache Airflow de código aberto e a mesma interface de usuário disponíveis no Apache. Este guia descreve as etapas para criar um ambiente do Amazon MWAA.

Antes de começar

  • A rede VPC que você especifica para seu ambiente não pode ser modificada após a criação do ambiente.

  • Você precisa de um bucket do Amazon S3 configurado para bloquear todo o acesso público, com o controle de versionamento do bucket ativado.

  • Você precisa de uma AWS conta com permissões para usar o Amazon MWAA e permissão no AWS Identity and Access Management (IAM) para criar funções do IAM. Se você escolher o modo de acesso à rede privada para o servidor web Apache Airflow, que limita o acesso ao Apache Airflow dentro do seu Amazon VPC, você precisará de permissão no IAM para criar endpoints do Amazon VPC.

Versões do Apache Airflow

As seguintes versões do Apache Airflow são compatíveis no Amazon Managed Workflows for Apache Airflow.

nota

  • A partir do Apache Airflow v2.2.2, o Amazon MWAA oferece suporte à instalação de requisitos de Python, pacotes de provedores e plug-ins personalizados diretamente no servidor web Apache Airflow.

  • A partir do Apache Airflow v2.7.2, seu arquivo de requisitos deve incluir uma declaração --constraint. Se você não fornecer uma restrição, o Amazon MWAA especificará uma para garantir que os pacotes listados em seus requisitos sejam compatíveis com a versão do Apache Airflow que você está usando.

    Para obter mais informações sobre como configurar restrições em seu arquivo de requisitos, consulte Instalando dependências do Python.

Versão do Apache Airflow Guia do Apache Airflow Restrições do Apache Airflow Versão do Python

v2.8.1

Guia de referência do Apache Airflow v2.8.1

Arquivo de restrições do Apache Airflow v2.8.1

Python 3.11

v2.7.2

Guia de referência do Apache Airflow v2.7.2

Arquivo de restrições do Apache Airflow v2.7.2

Python 3.11

v2.6.3

Guia de referência do Apache Airflow v2.6.3

Arquivo de restrições do Apache Airflow v2.6.3

Python 3.10

v2.5.1

Guia de referência do Apache Airflow v2.5.1

Arquivo de restrições do Apache Airflow v2.5.1

Python 3.10

v2.4.3

Guia de referência do Apache Airflow v2.4.3

Arquivo de restrições do Apache Airflow v2.4.3

Python 3.10

v2.2.2

Guia de referência do Apache Airflow v2.2.2

Arquivo de restrições do Apache Airflow v2.2.2

Python 3.7

v2.0.2

Guia de referência do Apache Airflow v2.0.2

Arquivo de restrições do Apache Airflow v2.0.2

Python 3.7

Para obter mais informações sobre como migrar suas implantações autogerenciadas do Apache Airflow ou migrar um ambiente Amazon MWAA existente, incluindo instruções para fazer backup do seu banco de dados de metadados, consulte Guia de migração do Amazon MWAA.

Criar um ambiente

A seção a seguir descreve as etapas para criar um ambiente do Amazon MWAA.

Etapa um: especificar detalhes

Para especificar detalhes do ambiente

  1. Abra o console do Amazon MWAA.

  2. Use o seletor de AWS região para selecionar sua região.

  3. Selecione Create environment (Criar ambiente).

  4. Na página Especificar detalhes, em Detalhes do ambiente:

    1. Digite um nome exclusivo para seu ambiente em Nome.

    2. Escolha a versão Apache Airflow na versão Airflow.

      nota

      Se nenhum valor for especificado, a versão será padronizada para a mais recente do Airflow. A versão mais recente disponível é o Apache Airflow v2.8.1.

  5. Em Código DAG no Amazon S3, selecione seu bucket do Amazon S3, especifique o seguinte:

    1. S3 Bucket. Escolha Browse S3 e selecione seu bucket do Amazon S3 ou insira o URI do Amazon S3.

    2. Pasta DAGs. Escolha Browse S3 e selecione a pasta dags em seu bucket do Amazon S3 ou insira o URI do Amazon S3.

    3. Arquivo de plug-ins - opcional. Escolha Browse S3 e selecione o arquivo plugins.zip em seu bucket do Amazon S3 ou insira o URI do Amazon S3.

    4. Arquivo de requisitos - opcional. Escolha Browse S3 e selecione o arquivo requirements.txt em seu bucket do Amazon S3 ou insira o URI do Amazon S3.

    5. Arquivo de script de inicialização - opcional, escolha Browse S3 e selecione o arquivo de script em seu bucket do Amazon S3 ou insira o URI do Amazon S3.

  6. Escolha Próximo.

Etapa 2: definir as configurações avançadas

Para definir configurações avançadas

  1. Na página Definir configurações avançadas, em Rede:

    1. Escolha sua Amazon VPC.

      Essa etapa preenche duas das sub-redes privadas em seu Amazon VPC.

  2. Em Acesso ao servidor Web, selecione seu modo de acesso preferido do Apache Airflow:

    1. Rede privada. Isso limita o acesso da interface do usuário do Apache Airflow aos usuários dentro de seu Amazon VPC que receberam acesso à política do IAM para seu ambiente. Você precisa de permissão para criar endpoints da VPC Amazon para esta etapa.

      nota

      Escolha a opção de rede privada se sua IU do Apache Airflow for acessada somente dentro de uma rede corporativa e você não precisar de acesso a repositórios públicos para a instalação dos requisitos do servidor web. Se escolher essa opção de modo de acesso, precisará criar um mecanismo para acessar seu servidor Web do Apache Airflow em seu Amazon VPC. Para ter mais informações, consulte Como acessar o endpoint da VPC para seu servidor Web Apache Airflow (acesso à rede privada).

    2. Rede pública. Isso permite que a IU do Apache Airflow seja acessada pela Internet por usuários com acesso à política do IAM do seu ambiente.

  3. Em Grupo (s) de segurança, escolha o grupo de segurança usado para proteger sua Amazon VPC:

    1. Por padrão, o Amazon MWAA cria um grupo de segurança em sua Amazon VPC com regras específicas de entrada e saída em Criar novo grupo de segurança.

    2. Opcional. Desmarque a caixa de seleção em Criar novo grupo de segurança para selecionar até 5 grupos de segurança.

      nota

      Um grupo de segurança existente do Amazon VPC deve ser configurado com regras específicas de entrada e saída para permitir o tráfego na rede. Para saber mais, consulte Segurança em sua VPC no Amazon MWAA.

  4. Em Classe de ambiente, escolha uma classe de ambiente.

    Recomendamos escolher o menor tamanho necessário para dar suporte a sua workload. É possível fazer alterações na classe de ambiente a qualquer momento.

  5. Em Contagem máxima de operadores, especifique o número máximo de operadores do Apache Airflow a serem executados no ambiente.

    Para ter mais informações, consulte Exemplo de caso de uso de alto desempenho.

  6. Especifique a contagem máxima de servidores web e a contagem mínima de servidores web para configurar como o Amazon MWAA escala os servidores web Apache Airflow em seu ambiente.

    Para obter mais informações sobre o escalonamento automático de servidores web, consulteConfigurando a escalabilidade automática do servidor web Amazon MWAA.

  7. Em Criptografia, escolha uma opção de criptografia de dados:

    1. Por padrão, o Amazon MWAA usa uma chave AWS própria para criptografar seus dados.

    2. Opcional. Escolha Personalizar configurações de criptografia (avançadas) para escolher uma AWS KMS chave diferente. Se você optar por especificar uma chave gerenciada pelo cliente nesta etapa, deverá especificar um ID de AWS KMS chave ou ARN. AWS KMS aliases e chaves multirregionais não são compatíveis com o Amazon MWAA. Se você especificou uma chave Amazon S3 para criptografia do lado do servidor em seu bucket Amazon S3, você deve especificar a mesma chave para seu ambiente Amazon MWAA.

      nota

      Você deve ter permissões para a chave para selecioná-la no console do Amazon MWAA. Você também deve conceder permissões para que o Amazon MWAA use a chave anexando a política descrita em Anexar política de chave.

  8. Recomendado. Em Monitoramento, escolha uma ou mais categorias de registro para a configuração de registro do Airflow para enviar os registros do Apache Airflow para os registros: CloudWatch

    1. Logs de tarefas do Airflow. Escolha o tipo de registros de tarefas do Apache Airflow a serem enviados para CloudWatch Logs no nível de registro.

    2. Logs do servidor web Airflow. Escolha o tipo de registros do servidor web Apache Airflow a serem enviados para o nível CloudWatch Logs in Log.

    3. Logs do agendador de Airflow. Escolha o tipo de registros do agendador do Apache Airflow a serem enviados para CloudWatch Logs no nível de registro.

    4. Logs de operadores do Airflow. Escolha o tipo de registros de trabalho do Apache Airflow a serem enviados para CloudWatch Logs no nível de registro.

    5. Logs de processamento do Airflow DAG. Escolha o tipo de registros de processamento do Apache Airflow DAG a serem enviados para CloudWatch Logs no nível de registro.

  9. Opcional. Para opções de configuração do Airflow, escolha Adicionar opção de configuração personalizada.

    É possível escolher na lista suspensa sugerida das opções de configuração do Apache Airflow para sua versão do Apache Airflow ou especificar opções de configuração personalizadas. Por exemplo, core.default_task_retries : 3.

  10. Opcional. Em Tags, escolha Adicionar nova tag para associar tags ao seu ambiente. Por exemplo, Environment: Staging.

  11. Em Permissões, escolha um perfil de execução:

    1. Por padrão, o Amazon MWAA cria um perfil de execução em Create a new role (Criar um nova perfil). Você deve ter permissão para criar perfis do IAM.

    2. Opcional. Escolha Inserir ARN de perfil (ARN) para inserir o nome do recurso da Amazon (ARN) de um perfil de execução existente.

  12. Escolha Next (Próximo).

Etapa 3: Revisar e criar

Para revisar um resumo do ambiente

  • Revise o resumo do ambiente e escolha Criar ambiente.

    nota

    Leva cerca de vinte a trinta minutos para criar um ambiente.