Apache Airflow のアクセスモード

Apache Airflow 用 Amazon マネージドワークフローコンソールには、お使いの環境上の Apache Airflow ウェブサーバーへのプライベートルーティングまたはパブリックルーティングを構成するための組み込みオプションが含まれています。このガイドでは、Apache Airflow 用 Amazon マネージドワークフロー環境の Apache Airflow ウェブサーバーで使用できるアクセスモードと、プライベートネットワークオプションを選択した場合に Amazon VPC で構成する必要のある追加リソースについて説明します。

目次

• Apache Airflow のアクセスモード
  • パブリックネットワーク
  • プライベートネットワーク
• アクセスモードの概要
  • パブリックネットワークアクセスモード
  • プライベートネットワークアクセスモード
• プライベートアクセスモードとパブリックアクセスモードのセットアップ
  • パブリックネットワークのセットアップ
  • プライベートネットワークのセットアップ
• Apache Airflow ウェブサーバーの VPC エンドポイントへのアクセス (プライベートネットワークアクセス)

Apache Airflow のアクセスモード

Apache Airflow ウェブサーバーのルーティングは、プライベートルーティングまたはパブリックルーティングを選択できます。プライベートルーティングを有効にするには、「プライベートネットワーク」を選択します。これにより、Apache Airflow ウェブサーバーへのユーザーアクセスは Amazon VPC 内のみに制限されます。パブリックルーティングを有効にするには、「パブリックネットワーク」を選択します。これにより、ユーザーはインターネット経由で Apache Airflow ウェブサーバーにアクセスできます。

パブリックネットワーク

次のアーキテクチャ図は、パブリックウェブサーバーを使用する Amazon MWAA 環境を示しています。

パブリックネットワークアクセスモードでは、「環境の IAM ポリシー」へのアクセスを許可されたユーザーは、インターネット経由で Apache Airflow UI にアクセスできます。

次の画像は、Amazon MWAA コンソールの [パブリックネットワーク] オプションの場所を示しています。

プライベートネットワーク

以下のアーキテクチャ図は、プライベートウェブサーバーを備えた Amazon MWAA 環境を示しています。

プライベートネットワークアクセスモードは、Apache Airflow UI へのアクセスを、「お使いの環境のIAM ポリシー」へのアクセスが許可されている Amazon VPC 内のユーザーに制限します。

プライベートなウェブサーバーアクセスを持つ環境を作成する場合、すべての依存関係を Python Wheel アーカイブ (.whl) にパッケージ化し、その後、requirements.txt で .whl を参照する必要があります。wheel を使用して依存関係をパッケージ化およびインストールする手順については、「Python wheel を使用した依存関係の管理」を参照してください。。

以下の画像は、Amazon MWAA コンソールの [プライベートネットワーク] オプションの場所を示しています。

アクセスモードの概要

このセクションでは、[パブリックネットワーク] または [プライベートネットワーク] のアクセスモードを選択したときに Amazon VPC に作成される VPC エンドポイント (AWS PrivateLink) について説明します。

パブリックネットワークアクセスモード

Apache Airflow ウェブサーバーでパブリックネットワークアクセスモードを選択した場合、ネットワークトラフィックはインターネット経由でパブリックにルーティングされます。

• Amazon MWAA は Amazon Aurora PostgreSQL メタデータデータベース用の VPC インターフェイスエンドポイントを作成します。エンドポイントは、プライベートサブネットにマッピングされたアベイラビリティーゾーンに作成され、他の AWS アカウントから独立しています。

• その後、Amazon MWAA はプライベートサブネットの IP アドレスをインターフェイスエンドポイントにバインドします。これは、Amazon VPC の各アベイラビリティーゾーンから単一の IP をバインドするというベストプラクティスをサポートするように設計されています。

プライベートネットワークアクセスモード

Apache Airflow ウェブサーバーでプライベートネットワークアクセスモードを選択した場合、ネットワークトラフィックは Amazon VPC 内でプライベートにルーティングされます。

• Amazon MWAA は、Apache Airflow ウェブサーバー用の VPC インターフェイスエンドポイントと、Amazon Aurora PostgreSQL メタデータデータベース用のインターフェイスエンドポイントを作成します。エンドポイントは、プライベートサブネットにマッピングされたアベイラビリティーゾーンに作成され、他の AWS アカウントから独立しています。

• その後、Amazon MWAA はプライベートサブネットの IP アドレスをインターフェイスエンドポイントにバインドします。これは、Amazon VPC の各アベイラビリティーゾーンから単一の IP をバインドするというベストプラクティスをサポートするように設計されています。

詳細については、「Amazon VPC と Apache エアフローアクセスモードのユースケース例」を参照してください。

プライベートアクセスモードとパブリックアクセスモードのセットアップ

次のセクションでは、環境に合わせて選択した Apache Airflow アクセスモードに基づいて必要となる追加のセットアップと構成について説明します。

パブリックネットワークのセットアップ

Apache Airflow ウェブサーバーのパブリックネットワークオプションを選択した場合、環境を作成した後に Apache Airflow UI を使い始めることができます。

ユーザーのアクセスと、環境が他の AWS のサービスを使用するためのアクセス許可を設定するには、次のステップを実行する必要があります。

1. アクセス許可を追加します。Amazon MWAA には、他の AWS のサービスを使用するためのアクセス許可が必要です。環境を作成すると、Amazon MWAA は、Amazon Elastic Container Registry (Amazon ECR)、 CloudWatch Logs、および Amazon EC2 に対して特定の IAM アクションを使用できるようにするサービスにリンクされたロールを作成します。

   これらのサービスに追加のアクションを使用するアクセス許可を追加したり、実行ロールにアクセス許可を追加することで、他の AWS サービスを使用するアクセス許可を追加したりできます。詳細については、「Amazon MWAA 実行ロール」を参照してください。

2. ユーザーポリシーを作成します。環境と Apache Airflow UI へのアクセスを構成するために、ユーザー用に複数の IAM ポリシーを作成する必要がある場合があります。詳細については、「Amazon MWAA 環境へのアクセス」を参照してください。

プライベートネットワークのセットアップ

Apache Airflow ウェブサーバー のプライベートネットワークオプションを選択した場合は、ユーザーのアクセス、他の AWS のサービスを使用する環境のアクセス許可を設定し、コンピュータから Amazon VPC 内のリソースにアクセスするメカニズムを作成する必要があります。

1. アクセス許可を追加します。Amazon MWAA には、他の AWS のサービスを使用するためのアクセス許可が必要です。環境を作成すると、Amazon MWAA は、Amazon Elastic Container Registry (Amazon ECR)、 CloudWatch Logs、および Amazon EC2 に対して特定の IAM アクションを使用できるようにするサービスにリンクされたロールを作成します。

   これらのサービスに追加のアクションを使用するアクセス許可を追加したり、実行ロールにアクセス許可を追加することで、他の AWS サービスを使用するアクセス許可を追加したりできます。詳細については、「Amazon MWAA 実行ロール」を参照してください。

2. ユーザーポリシーを作成します。環境と Apache Airflow UI へのアクセスを構成するために、ユーザー用に複数の IAM ポリシーを作成する必要がある場合があります。詳細については、「Amazon MWAA 環境へのアクセス」を参照してください。

3. ネットワークアクセスを有効にします。Amazon VPC で、Apache Airflow ウェブサーバーの VPC エンドポイント (AWS PrivateLink) に接続するメカニズムを作成する必要があります。たとえば、 AWS Client VPNを使用して、コンピューターから VPN トンネルを作成します。

Apache Airflow ウェブサーバーの VPC エンドポイントへのアクセス (プライベートネットワークアクセス)

[プライベートネットワーク] オプションを選択した場合は、Amazon VPC に Apache Airflow ウェブサーバーの VPC エンドポイント (AWS PrivateLink) にアクセスするメカニズムを作成する必要があります。これらのリソースには、Amazon MWAA 環境と同じ Amazon MWAA、VPC セキュリティグループ、プライベートサブネットを使用することを推奨します。

詳細については、「VPC エンドポイントのアクセス管理」を参照してください。