Amazon Managed Workflows for Apache Airflow (MWAA) とは - Amazon Managed Workflows for Apache Airflow

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon Managed Workflows for Apache Airflow (MWAA) とは

Amazon Managed Workflows for Apache Airflow (MWAA) は、Apache Airflowこれにより、セットアップと操作が簡単になります end-to-end クラウド内の大規模なデータパイプライン。Apache Airflow は、「ワークフロー」と呼ばれる一連のプロセスとタスクをプログラムで作成、スケジュール、監視するために使用されるオープンソースのツールです。Amazon MWAA では、Airflow と Python を使用してワークフローを作成できます。スケーラビリティ、可用性、セキュリティのために基盤となるインフラストラクチャを管理する必要はありません。Amazon MWAA は、お客様のニーズに合わせてワークフロー実行容量を自動的にスケーリングし、AWSセキュリティサービスにより、データへの高速かつ安全なアクセスを提供します。

機能

  • 自動エアフロー設定— Apache Airflowを選択して、すばやくセットアップできますApache エアフローバージョンAmazon MWAA 環境を作成するとき。Amazon MWAA は、インターネットからダウンロードできるのと同じ Apache Airflow ユーザーインターフェイスとオープンソースコードを使用して Apache Airflow をセットアップします。

  • 自動スケーリング— Apache エアフローを自動的にスケーリングしますワーカーの最小数と最大数を設定してワーカーそれはあなたの環境で実行されます。Amazon MWAA はワーカーあなたの環境で、そしてそれを使っています自動スケーリングコンポーネント追加ワーカー需要を満たすために、最大数に達するまでワーカーあなたが定義した。

  • ビルトイン認証— Apache Airflowのロールベースの認証と承認を有効にするウェブサーバーを定義することによってアクセスコントロールポリシーにAWS Identity and Access Management(IAM)。Apache Airflowワーカー安全なアクセスのためにこれらのポリシーを想定してくださいAWSのサービス。

  • ビルトインセキュリティ— アパッチ・エアフローワーカーそしてスケジューラーで実行するAmazon MWAA のアマゾン VPC。データも自動的に暗号化されますAWS Key Management Serviceそのため、環境はデフォルトで安全です。

  • パブリックまたはプライベートアクセスモード— Apache Airflowにアクセスするウェブサーバープライベート、またはパブリックの使用アクセスモード。-パブリックネットワークアクセスモードでは、Apache Airflow に VPC エンドポイントを使用しますウェブサーバーそれはアクセス可能ですインターネット経由。-プライベートネットワークアクセスモードでは、Apache Airflow に VPC エンドポイントを使用しますウェブサーバーそれはアクセス可能ですVPC の。どちらの場合も、Apache Airflow ユーザーのアクセスは、で定義したアクセス制御ポリシーによって制御されます。AWS Identity and Access Management(IAM)、およびAWSSSO。

  • アップグレードとパッチの効率化— Amazon MWAA は定期的に新しいバージョンの Apache Airflow を提供しています。Amazon MWAA チームは、これらのバージョンのイメージを更新してパッチを適用します。

  • ワークフローの監視— Apache エアフローのログを表示し、Apache Airflow メトリクスアマゾンで CloudWatch 追加のサードパーティツールを必要とせずに、Apache Airflow のタスク遅延やワークフローエラーを特定できます。Amazon MWAA は環境メトリクスを自動的に送信し、有効になっている場合は Apache Airflow ログを CloudWatch。

  • AWS統合— Amazon MWAA は Amazon Athena とのオープンソース統合をサポートしています。AWS Batch、アマゾン CloudWatch、Amazon DynamoDB、AWS DataSync、Amazon EMR、AWS Fargate、Amazon EKS、Amazon Kinesis Data Firehose、AWS Glue,AWS Lambda、Amazon Redshift、Amazon SQS、Amazon SNS、Amazon SageMaker、Amazon S3 のほか、コミュニティが作成した何百もの組み込みのオペレーターやセンサー。

  • ワーカーフリート— Amazon MWAA は、コンテナを使用して作業員をオンデマンドでスケーリングし、スケジューラの停止を減らすためのサポートを提供しています。Amazon ECS onAWS Fargate。Amazon ECS コンテナでタスクを呼び出すオペレーターと、Kubernetes クラスターでポッドを作成して実行する Kubernetes オペレーターがサポートされています。

アーキテクチャ

外側のボックス (下の画像) に含まれるすべてのコンポーネントは、アカウント内では単一の Amazon MWAA 環境として表示されます。Apache AirflowスケジューラーそしてワーカーですAWS Fargate (Fargate)環境の Amazon VPC のプライベートサブネットに接続するコンテナ。各環境には、以下によって管理される独自の Apache Airflow メタデータベースがあります。AWSそこにアクセスできるスケジューラーそしてワーカープライベートに保護された VPC エンドポイント経由でコンテナをFargate します。

アマゾン CloudWatch、Amazon S3、Amazon SQS、Amazon ECR、およびAWS KMSAmazon MWAA とは別のもので、Apache Airflow からアクセスできる必要がありますスケジューラーそしてワーカーFargate コンテナに入れて。

Apache Airflowウェブサーバーどちらかにアクセスできますインターネット経由を選択することでパブリックネットワークApache Airflow アクセスモード、またはあなたの VPC 内を選択することでプライベートネットワークApache エアフローアクセスモード。どちらの場合も、Apache Airflow ユーザーのアクセスは、で定義したアクセス制御ポリシーによって制御されます。AWS Identity and Access Management(IAM)。

注記

Apache AirflowスケジューラーApache Airflow v2 以上でのみ使用できます。Apache Airflow タスクライフサイクルの詳細については、以下をご覧ください。概念()Apache Airflow リファレンスガイド


      この画像は、Amazon MWAA 環境のアーキテクチャを示します。

Integration

活発で成長を続けている Apache Airflow オープンソースコミュニティでは、Apache Airflow と統合するためのオペレーター (サービスへの接続を簡素化するプラグイン) が提供されていますAWSのサービス。これには、Amazon S3、Amazon Redshift、Amazon EMR、AWS Batch、そしてアマゾン SageMaker、他のクラウドプラットフォーム上のサービスも同様です。

Amazon MWAA で Apache Airflow を使用すると、との統合が完全にサポートされますAWSサービスと、データ処理タスクを実行するための Apache Hadoop、Presto、Hive、Spark などの一般的なサードパーティツール。Amazon MWAA は Amazon MWAA API との互換性を維持することに尽力しており、Amazon MWAA は、以下のような信頼性の高い統合を提供する予定です。AWSサービスをコミュニティに提供し、コミュニティ機能の開発に参加してください。

サンプルコードについては、「Amazon Managed Workflows (MWAA) のコード例」を参照してください。

利用可能なリージョン

Amazon MWAA は以下で利用できますAWSリージョン別。

  • 欧州 (ストックホルム) eu-north-1

  • 欧州 (フランクフルト) eu-central-1

  • ヨーロッパ (アイルランド) eu-west-1

  • 欧州 (ロンドン) eu-west-2

  • 欧州 (パリ) eu-west-3

  • アジアパシフィック (ムンバイ) ap-south-1

  • アジアパシフィック (シンガポール) ap-southeast-1

  • アジアパシフィック (シドニー) - ap-southeast-2

  • アジアパシフィック (東京) - ap-northeast-1

  • アジアパシフィック (ソウル) ap-northeast-2

  • 米国東部 (バージニア北部) - us-east-1

  • 米国東部 (オハイオ) - us-east-2

  • 米国東部 (オレゴン) - us-west-2

  • カナダ (中部) ca-central-1

  • 南米 (サンパウロ) sa-east-1

サポートされるバージョン

Amazon MWAA は複数のバージョンの Apache Airflow をサポートしています。サポートしている Apache Airflow バージョンと各バージョンに含まれる Apache Airflow コンポーネントの詳細については、以下を参照してください。Amazon Managed Workflows for Apache Airflow (MWAA) で環境を作成します。

次のステップ