Amazon Managed Workflows for Apache Airflow とは何ですか？ - Amazon Managed Workflows for Apache Airflow
機能アーキテクチャIntegrationサポートバージョン次のステップ

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon Managed Workflows for Apache Airflow とは何ですか？

Amazon Managed Workflows for Apache Airflow は、Apache Airflow 用のマネージドオーケストレーションサービスで、クラウド上でデータパイプラインを大規模に設定・運用するために使用できます。Apache Airflow は、ワークフローと呼ばれる一連のプロセスとタスクをプログラムで作成、スケジュール、監視するために使用されるオープンソースのツールです。Amazon ではMWAA、Apache Airflow と Python を使用してワークフローを作成できます。スケーラビリティ、可用性、セキュリティの基盤となるインフラストラクチャを管理する必要はありません。Amazon は、ワークフロー実行容量をニーズに合わせてMWAA自動的にスケーリングし、Amazon は AWS セキュリティサービスとMWAA統合して、データへの高速かつ安全なアクセスを提供します。

機能

  • 自動エアフロー設定 — Amazon MWAA環境の作成時に Apache Airflow バージョンを選択して、Apache Airflow をすばやくセットアップします。Amazon MWAAは、インターネットでダウンロードできるのと同じ Apache Airflow ユーザーインターフェイスとオープンソースコードを使用して Apache Airflow をセットアップします。

  • 自動スケーリング — 環境内で稼働するワーカーの最小数と最大数を設定して、Apache Airflow ワーカーを自動的にスケーリングします。Amazon は環境内のワーカーをMWAAモニタリングし、自動スケーリングコンポーネントを使用して、定義したワーカーの最大数に達するまで、需要を満たすワーカーを追加します。

  • 組み込み認証 — AWS Identity and Access Management () でアクセスコントロールポリシーを定義することで、Apache Airflow ウェブサーバーのロールベースの認証と承認を有効にしますIAM。Apache Airflow ワーカーは、 AWS サービスへの安全なアクセスのためにこれらのポリシーを引き受けます。

  • 組み込みセキュリティ — Apache Airflow ワーカーとスケジューラは Amazon MWAAの Amazon VPCで実行されます。また、データは を使用して自動的に暗号化されるため AWS Key Management Service、環境はデフォルトで安全です。

  • パブリックアクセスモードまたはプライベートアクセスモード — プライベートまたはパブリックアクセスモードを使用して Apache Airflow ウェブサーバーにアクセスします。パブリックネットワークアクセスモードでは、インターネット経由でアクセス可能な Apache Airflow ウェブサーバーのVPCエンドポイントを使用します。プライベートネットワークアクセスモードでは、 でVPCアクセス可能な Apache Airflow ウェブサーバーのVPCエンドポイントを使用します。いずれの場合も、Apache Airflow ユーザーのアクセスは、 AWS Identity and Access Management （IAM）、および で定義したアクセスコントロールポリシーによって制御されます AWS SSO。

  • アップグレードとパッチの合理化 — Amazon MWAAは Apache Airflow の新しいバージョンを定期的に提供しています。Amazon MWAAチームは、これらのバージョンのイメージを更新してパッチを適用します。

  • ワークフローモニタリング — Amazon で Apache Airflow ログと Apache Airflow メトリクスを表示 CloudWatch して、追加のサードパーティーツールを必要とせずに Apache Airflow タスクの遅延やワークフローエラーを特定します。Amazon は環境メトリクスMWAAを自動的に送信し、有効にした場合は Apache Airflow ログを に送信します CloudWatch。

  • AWS 統合 — Amazon MWAAは、Amazon Athena 、 AWS Batch、Amazon CloudWatch、Amazon DynamoDB 、 AWS DataSync、Amazon EMR、 AWS Fargate、Amazon EKS、Amazon Data Firehose AWS Glue、 AWS Lambda、Amazon Redshift、Amazon SQS、Amazon 、Amazon SNS、Amazon SageMaker、および Amazon S3 とのオープンソース統合、および数百の組み込みおよびコミュニティで作成された演算子とセンサーをサポートしています。

  • ワーカーフリート — Amazon MWAAは、コンテナを使用してワーカーフリートをオンデマンドでスケーリングし、 ECSで Amazon AWS Fargateを使用してスケジューラの停止を減らすためのサポートを提供しています。Amazon ECSコンテナでタスクを呼び出すオペレータ、および Kubernetes クラスターでポッドを作成して実行する Kubernetes オペレータがサポートされています。

アーキテクチャ

外部ボックス (下の図) に含まれるすべてのコンポーネントは、アカウント内の単一の Amazon MWAA環境として表示されます。Apache Airflow スケジューラとワーカーは、環境VPCの Amazon のプライベートサブネットに接続する AWS Fargate (Fargate) コンテナです。各環境には、 によって管理される独自の Apache Airflow メタデータベース AWS があり、プライベートに保護されたVPCエンドポイントを介してスケジューラと Workers Fargate コンテナにアクセスできます。

Amazon CloudWatch、Amazon S3、Amazon 、および AWS KMS は Amazon とは別のMWAAものでありSQS、Fargate コンテナ内の Apache Airflow スケジューラおよびワーカーからアクセス可能である必要があります。

Apache Airflow ウェブサーバーには、パブリックネットワーク Apache Airflow アクセスモードを選択することでインターネット経由でアクセスすることも、プライベートネットワーク Apache Airflow アクセスモードを選択することで 内でVPCアクセスすることもできます。いずれの場合も、Apache Airflow ユーザーのアクセスは、 AWS Identity and Access Management () で定義したアクセスコントロールポリシーによって制御されますIAM。

注記

複数の Apache Airflow スケジューラーは Apache Airflow v2 以上でのみ使用できます。Apache Airflow タスクライフサイクルの詳細については、Apache Airflow リファレンスガイドの 「概念」 を参照してください。

この図は、Amazon MWAA環境のアーキテクチャを示しています。

Integration

アクティブで成長を続ける Apache Airflow オープンソースコミュニティは、Apache Airflow が サービスと統合するためのオペレーター ( AWS サービスへの接続を簡素化するプラグイン) を提供します。これには、Amazon S3、Amazon Redshift、Amazon EMR AWS Batch、Amazon などのサービス SageMaker、および他のクラウドプラットフォーム上のサービスが含まれます。

Amazon で Apache Airflow を使用すると、データ処理タスクを実行するために、Apache Hadoop、Presto、Hive、Spark などの AWS サービスや一般的なサードパーティーツールとの統合MWAAが完全にサポートされます。Amazon MWAA は、Amazon との互換性を維持することにコミットしておりAPI、Amazon MWAA は AWS サービスに信頼性の高い統合MWAAを提供し、コミュニティで利用可能にし、コミュニティ機能の開発に関わっています。

サンプルコードについては、「Amazon Managed Workflows for Apache Airflow」を参照してください。

サポートバージョン

Amazon は Apache Airflow の複数のバージョンMWAAをサポートしています。サポートされている Apache Airflow のバージョンと、各バージョンに含まれている Apache Airflow コンポーネントの詳細については、Amazon Managed Workflows for Apache Airflow 上の Apache Airflow のバージョン を参照してください。

次のステップ