翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon MWAA ネットワークアーキテクチャを試す
次のセクションでは、Amazon MWAA 環境を構成する主なコンポーネントと、各環境がリソースの管理、データの安全な維持、ワークフローのモニタリングと可視性を提供するために統合する一連の AWS サービスについて説明します。
Amazon MWAA コンポーネント
Amazon MWAA 環境は、次の 4 つの主要コンポーネントで構成されます。
-
スケジューラー — すべての DAG を解析及び監視し、DAG の依存関係が満たされた場合に実行するタスクをキューに入れます。Amazon MWAA は、2 つ以上のスケジューラを持つ AWS Fargate クラスターとしてスケジューラをデプロイします。ワークロードに応じて、スケジューラーの数を最大 5 つまで増やすことができます。Amazon MWAA 環境クラスの詳細については、「Amazon MWAA 環境クラス」を参照してください。
-
ワーカー — スケジュールされたタスクを実行する 1 つ以上の Fargate タスク。環境のワーカー数は、指定した最小数と最大数の間の範囲によって決まります。Amazon MWAA は、キューに入れられたタスクと実行中のタスクの数が既存のワーカーが処理できる数を超えると、自動スケーリングワーカーを開始します。実行中のタスクとキューに入れられたタスクの合計が 2 分を超えてゼロになると、Amazon MWAA はワーカーの数を最小値まで縮小します。Amazon MWAA が自動スケーリングワーカーを処理する方法の詳細については、「Amazon MWAA 自動スケーリング」を参照してください。
-
ウェブサーバー — Apache Airflow ウェブ UI を実行します。プライベートまたはパブリックネットワークアクセスを使用してウェブサーバーを設定できます。いずれの場合も、Apache Airflow ユーザーへのアクセスは、 AWS Identity and Access Management (IAM) で定義したアクセスコントロールポリシーによって制御されます。環境に合わせた IAM アクセスポリシーの設定の詳細については、「Amazon MWAA 環境へのアクセス」を参照してください。
-
データベース — DAG 実行履歴を含む、Apache Airflow 環境とワークフローに関するメタデータを保存します。データベースは、 によって管理され AWS、プライベートに保護された Amazon VPC エンドポイントを介してスケジューラとワーカーの Fargate コンテナにアクセスできるシングルテナントの Aurora PostgreSQL データベースです。
すべての Amazon MWAA 環境は、一連の AWS サービスとやり取りして、DAGs とタスクの依存関係の保存とアクセス、保管中のデータの保護、環境のログ記録とモニタリングなど、さまざまなタスクを処理します。次の図は、Amazon MWAA 環境のさまざまなコンポーネントを示しています。
注記
Amazon VPC サービスは共有 VPC ではありません。Amazon MWAA は、作成する環境ごとに AWS 所有 VPC を作成します。
-
Amazon S3 — Amazon MWAA は、DAG、要件、プラグインファイルなど、すべてのワークフローリソースを Amazon S3 バケットに保存します。環境作成の一環としてバケットを作成し、Amazon MWAA リソースをアップロードする方法の詳細については、Amazon MWAA ユーザーガイドの「Amazon MWAA 用の Amazon S3 バケットの作成」を参照してください。
-
Amazon SQS — Amazon MWAA は Amazon SQS を使用して、Celery エグゼキューター
を用いワークフロータスクをキューイングします。 -
Amazon ECR — Amazon ECR はすべてのApache Airflow イメージをホストします。Amazon MWAA は、 AWS マネージド Apache Airflow イメージのみをサポートしています。
-
AWS KMS — Amazon MWAA は を使用して AWS KMS 、保管中のデータの安全性を確保します。デフォルトでは、Amazon MWAA は AWS マネージド AWS KMS キーを使用しますが、独自のカスタマーマネージド AWS KMS キーを使用するように環境を設定できます。独自のカスタマーマネージド AWS KMS キーの使用の詳細については、「Amazon MWAA ユーザーガイド」の「データ暗号化のカスタマーマネージドキー」を参照してください。
-
CloudWatch — Amazon MWAA は CloudWatch と統合され、Apache Airflow ログと環境メトリクスをCloudWatch に送信します。これにより、Amazon MWAA リソースを監視し、問題をトラブルシューティングできるようになります。
接続
Amazon MWAA 環境は、統合するすべての AWS サービスにアクセスする必要があります。Amazon MWAA 実行ロールは、ユーザーに代わって他の AWS サービスに接続するためのアクセス許可を Amazon MWAA に付与する方法を制御します。ネットワーク接続については、Amazon VPC へのパブリックインターネットアクセスを提供するか、Amazon VPC エンドポイントを作成できます。環境に合わせた Amazon VPC エンドポイント (AWS PrivateLink) の設定の詳細については、Amazon MWAA ユーザーガイドの「Amazon MWAA での VPC エンドポイントへのアクセスの管理」を参照してください。
Amazon MWAA はスケジューラーとワーカーに要件をインストールします。要件がパブリックPyPi.whlファイルにバンドルできます。
Apache Airflow をプライベートモードで設定すると、Apache Airflow UI には Amazon VPC エンドポイントを介してのみ Amazon VPC からアクセスできます。
ネットワークの詳細については、「Amazon MWAA User Guide」の「Networking」を参照してください。
