Como trabalhar com DAGs no Amazon MWAA - Amazon Managed Workflows for Apache Airflow
Visão geral do bucket Amazon S3

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Como trabalhar com DAGs no Amazon MWAA

Para executar Gráficos acíclicos direcionados (Directed Acyclic Graphs, DAGs) em um ambiente Amazon Managed Workflows for Apache Airflow, copie seus arquivos para o bucket de armazenamento Amazon S3 conectado ao seu ambiente e, em seguida, informe ao Amazon MWAA onde seus DAGs e arquivos complementares estão localizados no console do Amazon MWAA. O Amazon MWAA se encarrega de sincronizar os DAGs entre operadores, agendadores e o servidor web. Este guia descreve como adicionar ou atualizar seus DAGs e instalar plug-ins personalizados e dependências do Python em um ambiente do Amazon MWAA.

Tópicos

Visão geral do bucket Amazon S3

Um bucket do Amazon S3 para um ambiente Amazon MWAA deve ter acesso público bloqueado. Por padrão, todos os recursos do Amazon S3, como buckets, objetos e sub-recursos relacionados (por exemplo, configuração de ciclo de vida), são privados.

  • Somente o proprietário do recurso, a conta da AWS que criou o bucket, pode acessar esse recurso. O proprietário do recurso (por exemplo, seu administrador) pode conceder permissões de acesso a outros, criando uma política de controle de acesso.

  • A política de acesso que você configura deve ter permissão para adicionar DAGs, plug-ins personalizados em plugins.zip e dependências do Python em requirements.txt ao seu bucket do Amazon S3. Para ver um exemplo de política que contém as permissões necessárias, consulte AmazonMWAAFullConsoleAccess.

Um bucket do Amazon S3 para um ambiente Amazon MWAA deve ter versionamento habilitado. Quando o controle de versionamento do bucket do Amazon S3 é ativado, sempre que uma nova versão for criada, uma nova cópia será criada.

  • O versionamento está habilitado para os plug-ins personalizados em plugins.zip a e dependências do Python em um requirements.txt no seu bucket do Amazon S3.

  • Você deve especificar a versão de um plugins.zip e um requirements.txt no console do Amazon MWAA sempre que esses arquivos forem atualizados em seu bucket do Amazon S3.