Atualizar um ambiente Amazon MWAA - Amazon Managed Workflows for Apache Airflow
Antes de começarEstratégia de substituição de trabalhadoresAtualize os recursos do ambienteAtualizar um ambiente

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Atualizar um ambiente Amazon MWAA

nota

As atualizações regulares do Amazon MWAA ainda não são suportadas nas regiões Oeste do Canadá (Calgary) e Ásia-Pacífico (Malásia).

As atualizações do ambiente Amazon MWAA aplicam as alterações e os patches de segurança mais recentes. Você também pode editar as configurações existentes e atualizar a versão do Apache Airflow. Este guia descreve as etapas para atualizar um ambiente Amazon MWAA.

Antes de começar

  • A rede VPC que você especificou para seu ambiente não pode ser modificada após a criação do ambiente.

  • Você precisa de um bucket do Amazon S3 configurado para bloquear todo o acesso público, com o controle de versionamento do bucket ativado.

  • Você precisa de uma AWS conta com permissões para usar o Amazon MWAA e permissão no AWS Identity and Access Management (IAM) para criar funções do IAM. Caso escolha o modo de acesso Rede privada para o servidor Web do Apache Airflow, que limita o acesso do Apache Airflow na Amazon VPC, você precisará de permissão no IAM para criar endpoints da Amazon VPC.

  • Para habilitar as atualizações do ambiente Graceful, você precisa atualizar para a versão 2.4.3 ou superior do Apache Airflow. Para atualizar a versão do Airflow, consulte. Alterando a versão do Apache Airflow

Estratégia de substituição de trabalhadores

Você pode escolher uma estratégia de substituição de trabalhadores para controlar como o Amazon MWAA lida com trabalhadores ativos durante uma atualização do ambiente. Você pode selecionar uma das seguintes estratégias:

Atualizações forçadas

A atualização forçada é a estratégia padrão de substituição de trabalhadores. As atualizações forçadas interrompem imediatamente todos os trabalhadores ativos, fazendo com que as tarefas em execução falhem durante a atualização.

Atualizações elegantes

Atualizações elegantes permitem que os funcionários continuem executando tarefas por até 12 horas antes de desligarem. Isso evita que as tarefas falhem devido a interrupções na atualização, desde que terminem em menos de 12 horas. Novas tarefas são encaminhadas para trabalhadores atualizados.

Para habilitar as atualizações do Graceful em um ambiente existente, você deve concluir uma atualização forçada e garantir que o ambiente esteja no Apache Airflow versão 2.4.3 ou superior.

nota

Se você realizar uma atualização enquanto seu ambiente estiver em MAINTENANCE status, a estratégia de substituição de trabalhadores para qualquer atualização contínua do ambiente mudará de GRACEFUL paraFORCED. Sua atualização é executada após a conclusão da manutenção.

Atualize os recursos do ambiente

As atualizações do ambiente Amazon MWAA usam a configuração do ambiente existente por padrão. Para atualizar o ambiente sem alterar sua configuração atual:

  1. Abra a página Ambientes no console do Amazon MWAA.

  2. Na lista Ambientes, escolha o ambiente que você deseja atualizar.

  3. Na página do ambiente, escolha Editar para editar o ambiente.

  4. Escolha Avançar até que você esteja na página Revisar e salvar.

  5. Na página Revisar e salvar, revise o resumo da política e depois escolha Salvar alterações para salvar seu trabalho.

Atualizar um ambiente

A seção a seguir descreve as etapas para atualizar um ambiente Amazon MWAA.

Etapa um: especificar detalhes

Para especificar detalhes do ambiente

  1. Abra a página Ambientes no console do Amazon MWAA.

  2. Na lista Ambientes, escolha o ambiente que você deseja atualizar.

  3. Na página do ambiente, escolha Editar para editar o ambiente.

  4. Na seção Detalhes do ambiente, para a versão do Airflow, escolha o novo número da versão do Apache Airflow para o qual você deseja atualizar o ambiente na lista suspensa.

    nota

    Antes de atualizar, certifique-se de que seus recursos de fluxo de trabalho DAGs e outros sejam compatíveis com a nova versão do Apache Airflow. Para obter mais informações, consulte Alterando a versão do Apache Airflow.

  5. Em Código DAG no Amazon S3, selecione seu bucket do Amazon S3, especifique o seguinte:

    1. S3 Bucket. Escolha Browse S3 e selecione seu bucket do Amazon S3 ou insira o URI do Amazon S3.

    2. DAGs folder. Escolha Browse S3 e selecione a pasta dags em seu bucket do Amazon S3 ou insira o URI do Amazon S3.

    3. Arquivo de plug-ins - opcional. Escolha Browse S3 e selecione o arquivo plugins.zip em seu bucket do Amazon S3 ou insira o URI do Amazon S3.

    4. Arquivo de requisitos - opcional. Escolha Browse S3 e selecione o arquivo requirements.txt em seu bucket do Amazon S3 ou insira o URI do Amazon S3.

    5. Arquivo de script de inicialização - opcional, escolha Browse S3 e selecione o arquivo de script em seu bucket do Amazon S3 ou insira o URI do Amazon S3.

  6. Escolha Próximo.

Etapa 2: definir as configurações avançadas

Para definir configurações avançadas

  1. Em Acesso ao servidor Web, selecione seu modo de acesso preferido do Apache Airflow:

    1. Rede privada. Isso limita o acesso da interface do usuário do Apache Airflow aos usuários dentro de seu Amazon VPC que receberam acesso à política do IAM para seu ambiente. Você precisa de permissão para criar endpoints da VPC Amazon para esta etapa.

      nota

      Escolha a opção de rede privada se sua IU do Apache Airflow for acessada somente dentro de uma rede corporativa e você não precisar de acesso a repositórios públicos para a instalação dos requisitos do servidor web. Se escolher essa opção de modo de acesso, precisará criar um mecanismo para acessar seu servidor Web do Apache Airflow em seu Amazon VPC. Para obter mais informações, consulte Como acessar o endpoint da VPC para seu servidor Web Apache Airflow (acesso à rede privada).

    2. Rede pública. Isso permite que a IU do Apache Airflow seja acessada pela Internet por usuários com acesso à política do IAM do seu ambiente.

  2. Em Grupo (s) de segurança, escolha o grupo de segurança usado para proteger sua Amazon VPC:

    1. Por padrão, o Amazon MWAA cria um grupo de segurança em sua Amazon VPC com regras específicas de entrada e saída em Criar novo grupo de segurança.

    2. Opcional. Desmarque a caixa de seleção em Criar novo grupo de segurança para selecionar até 5 grupos de segurança.

      nota

      Um grupo de segurança existente do Amazon VPC deve ser configurado com regras específicas de entrada e saída para permitir o tráfego na rede. Para saber mais, consulteSegurança em sua VPC no Amazon MWAA.

  3. Em Classe de ambiente, escolha uma classe de ambiente.

    Recomendamos escolher o menor tamanho necessário para dar suporte a sua workload. É possível fazer alterações na classe de ambiente a qualquer momento.

  4. Em Contagem máxima de operadores, especifique o número máximo de operadores do Apache Airflow a serem executados no ambiente.

    Para obter mais informações, consulte Exemplo de caso de uso de alto desempenho.

  5. Especifique a contagem máxima de servidores Web e a contagem mínima de servidores Web para configurar como o Amazon MWAA escala os servidores Web do Apache Airflow no ambiente.

    Para obter mais informações sobre o escalonamento automático de servidores web, consulte. Como configurar o ajuste de escala automático do servidor Web do Amazon MWAA

  6. Em Criptografia, escolha uma opção de criptografia de dados:

    1. Por padrão, o Amazon MWAA usa uma chave AWS própria para criptografar seus dados.

    2. Opcional. Escolha Personalizar configurações de criptografia (avançadas) para escolher uma AWS KMS chave diferente. Se você optar por especificar uma chave gerenciada pelo cliente nesta etapa, deverá especificar um ID de AWS KMS chave ou ARN. AWS KMS aliases e chaves multirregionais não são compatíveis com o Amazon MWAA. Se você especificou uma chave Amazon S3 para criptografia do lado do servidor em seu bucket Amazon S3, você deve especificar a mesma chave para seu ambiente Amazon MWAA.

      nota

      Você deve ter permissões para a chave para selecioná-la no console do Amazon MWAA. Você também deve conceder permissões para que o Amazon MWAA use a chave anexando a política descrita em Anexar política de chave.

  7. Recomendado. Em Monitoramento, escolha uma ou mais categorias de registro para a configuração de registro do Airflow para enviar os registros do Apache Airflow para os registros: CloudWatch

    1. Logs de tarefas do Airflow. Escolha o tipo de registros de tarefas do Apache Airflow a serem enviados para Logs no nível CloudWatch de registro.

    2. Logs do servidor web Airflow. Escolha o tipo de registros do servidor web Apache Airflow a serem enviados para Logs no nível CloudWatch de registro.

    3. Logs do agendador de Airflow. Escolha o tipo de registros do agendador do Apache Airflow a serem enviados CloudWatch para Logs no nível de registro.

    4. Logs de operadores do Airflow. Escolha o tipo de registros de trabalho do Apache Airflow a serem enviados para Logs no nível CloudWatch de registro.

    5. Logs de processamento do Airflow DAG. Escolha o tipo de registros de processamento do Apache Airflow DAG a serem enviados CloudWatch para Logs no nível de registro.

  8. Opcional. Para opções de configuração do Airflow, escolha Adicionar opção de configuração personalizada.

    É possível escolher na lista suspensa sugerida das opções de configuração do Apache Airflow para sua versão do Apache Airflow ou especificar opções de configuração personalizadas. Por exemplo, core.default_task_retries : 3.

  9. Em Permissões, escolha um perfil de execução:

    1. Por padrão, o Amazon MWAA cria um perfil de execução em Create a new role (Criar um nova perfil). Você deve ter permissão para criar perfis do IAM.

    2. Opcional. Escolha Inserir ARN de perfil (ARN) para inserir o nome do recurso da Amazon (ARN) de um perfil de execução existente.

  10. Em Atualizar especificações, escolha um Estratégia de substituição de trabalhadores para controlar como os trabalhadores ativos são tratados durante uma atualização.

  11. Escolha Próximo.

Etapa três: revisar e atualizar

Para revisar um resumo do ambiente

  • Revise o resumo do ambiente e escolha Salvar.

    nota

    A atualização de um ambiente usando atualizações forçadas leva cerca de vinte a trinta minutos. As atualizações elegantes do ambiente podem levar até doze horas para serem concluídas, enquanto aguardam a conclusão de suas tarefas em andamento.