Modos de acesso do Apache Airflow - Amazon Managed Workflows for Apache Airflow

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Modos de acesso do Apache Airflow

O console Amazon Managed Workflows for Apache Airflow contém opções integradas para configurar o roteamento privado ou público para o servidor web do Apache Airflow em seu ambiente. Este guia descreve os modos de acesso disponíveis para o servidor web Apache Airflow em seu ambiente Amazon Managed Workflows for Apache Airflow e os recursos adicionais que você precisará configurar em seu Amazon VPC se escolher a opção de rede privada.

Modos de acesso do Apache Airflow

Você pode escolher o roteamento privado ou público para o seu servidor Web Apache Airflow. Para ativar o roteamento privado, escolha Rede privada. Isso limita o acesso do usuário a um servidor Web Apache Airflow dentro de um Amazon VPC. Para habilitar o roteamento público, escolha Rede pública. Isso permite que os usuários acessem o servidor Web Apache Airflow pela Internet.

Rede pública

O diagrama de arquitetura a seguir mostra um ambiente do Amazon MWAA com um servidor web público.

Esta imagem mostra a arquitetura de um ambiente Amazon MWAA com um servidor Web privado.

O modo de acesso à rede pública permite que a IU do Apache Airflow seja acessada pela Internet por usuários com acesso à Política do IAM do seu ambiente.

A imagem a seguir mostra onde encontrar a opção Rede pública no console do Amazon MWAA.

Esta imagem mostra onde encontrar a opção Rede pública no console do Amazon MWAA.

Rede privada

O diagrama de arquitetura a seguir mostra um ambiente do Amazon MWAA com um servidor web privado.

Esta imagem mostra a arquitetura de um ambiente Amazon MWAA com um servidor Web privado.

O modo de acesso à rede privada limita o acesso à interface do usuário do Apache Airflow aos usuários da Amazon VPC que receberam acesso à política do IAM do seu ambiente.

Ao criar um ambiente com acesso privado ao servidor web, você deve empacotar todas as suas dependências em um arquivo wheel do Python (.whl) e, em seguida, referenciar .whl em seu requirements.txt. Para obter instruções sobre como empacotar e instalar suas dependências usando o wheel, consulte Gerenciando dependências usando o Python wheel.

A imagem a seguir mostra onde encontrar a opção Rede privada no console do Amazon MWAA.

Esta imagem mostra onde encontrar a opção de Rede privada no console do Amazon MWAA.

Visão geral dos modos de acesso

Esta seção descreve os endpoints da VPC (AWS PrivateLink) criados em seu Amazon VPC quando você escolhe o modo de acesso à rede pública ou à rede privada.

Modo de acesso à rede pública

Se você escolher o modo de acesso à rede pública para seu servidor Web Apache Airflow, o tráfego de rede será roteado publicamente pela Internet.

  • O Amazon MWAA cria um endpoint de interface VPC para seu banco de dados de metadados Amazon Aurora PostgreSQL. O endpoint é criado nas zonas de disponibilidade mapeadas para suas sub-redes privadas e é independente de outras contas. AWS

  • Em seguida, o Amazon MWAA vincula um endereço IP de suas sub-redes privadas aos endpoints da interface. Isso foi projetado para apoiar a prática recomendada de vincular um único IP de cada zona de disponibilidade do Amazon VPC.

Modo de acesso à rede privada

Se você escolheu o modo de acesso à rede privada para seu servidor Web Apache Airflow, o tráfego de rede será roteado de forma privada dentro do Amazon VPC.

  • O Amazon MWAA cria um endpoint de interface VPC para seu servidor Web do Apache Airflow e uma interface endpoint para seu banco de dados de metadados Amazon Aurora PostgreSQL. Os endpoints são criados nas zonas de disponibilidade mapeadas para suas sub-redes privadas e são independentes de outras contas. AWS

  • Em seguida, o Amazon MWAA vincula um endereço IP de suas sub-redes privadas aos endpoints da interface. Isso foi projetado para apoiar a prática recomendada de vincular um único IP de cada zona de disponibilidade do Amazon VPC.

Para saber mais, consulte Exemplos de casos de uso para um modo de acesso Amazon VPC e Apache Airflow.

Configuração para modos de acesso público e privado

A seção a seguir descreve as configurações e as configurações adicionais necessárias de acordo com o modo de acesso escolhido do Apache Airflow para o seu ambiente.

Configuração de rede pública

Se você escolher a opção de rede pública para seu servidor Web do Apache Airflow, poderá começar a usar a IU do Apache Airflow depois de criar seu ambiente.

Você precisará seguir as etapas a seguir para configurar o acesso de seus usuários e a permissão para que seu ambiente use outros AWS serviços.

  1. Adicione permissão. O Amazon MWAA precisa de permissão para usar outros AWS serviços. Quando você cria um ambiente, o Amazon MWAA cria uma função vinculada ao serviço que permite usar determinadas ações do IAM para o Amazon Elastic Container Registry (Amazon ECR), Logs e Amazon EC2 CloudWatch .

    Você pode adicionar permissão para usar ações adicionais para esses serviços ou para usar outros AWS serviços adicionando permissões à sua função de execução. Para saber mais, consulte Perfil de execução do Amazon MWAA.

  2. Crie políticas de usuário. Pode ser necessário criar várias políticas do IAM para que os usuários configurem o acesso ao seu ambiente e à IU do Apache Airflow. Para saber mais, consulte Como acessar um ambiente do Amazon MWAA.

Configuração de rede privada

Se você escolher a opção de rede privada para seu servidor Web Apache Airflow, precisará configurar o acesso para seus usuários, a permissão para que seu ambiente use outros AWS serviços e criar um mecanismo para acessar os recursos em sua Amazon VPC a partir do seu computador.

  1. Adicione permissão. O Amazon MWAA precisa de permissão para usar outros AWS serviços. Quando você cria um ambiente, o Amazon MWAA cria uma função vinculada ao serviço que permite usar determinadas ações do IAM para o Amazon Elastic Container Registry (Amazon ECR), Logs e Amazon EC2 CloudWatch .

    Você pode adicionar permissão para usar ações adicionais para esses serviços ou para usar outros AWS serviços adicionando permissões à sua função de execução. Para saber mais, consulte Perfil de execução do Amazon MWAA.

  2. Crie políticas de usuário. Pode ser necessário criar várias políticas do IAM para que os usuários configurem o acesso ao seu ambiente e à IU do Apache Airflow. Para saber mais, consulte Como acessar um ambiente do Amazon MWAA.

  3. Ative o acesso à rede. Você precisará criar um mecanismo no seu Amazon VPC para se conectar ao endpoint da VPC (AWS PrivateLink) do seu servidor Web Apache Airflow. Por exemplo, criando um túnel VPN a partir do seu computador usando um AWS Client VPN.

Como acessar o endpoint da VPC para seu servidor Web Apache Airflow (acesso à rede privada)

Se você escolheu a opção de rede privada, precisará criar um mecanismo em seu Amazon VPC para acessar o endpoint da VPC (AWS PrivateLink) para seu servidor Web Apache Airflow. Recomendamos usar o mesmo Amazon VPC, grupo de segurança VPC e sub-redes privadas do seu ambiente do Amazon MWAA para esses recursos.

Para saber mais, consulte Gerenciamento de acesso para endpoint da VPC.