Amazon Managed Workflows for Apache Airflow とは何ですか? - Amazon Managed Workflows for Apache Airflow

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon Managed Workflows for Apache Airflow とは何ですか?

Amazon Managed Workflows for Apache Airflow は、「Apache Airflow」用のマネージドオーケストレーションサービスで、クラウド上でデータパイプラインを大規模に設定・運用するために使用できます。Apache Airflow は、「ワークフロー」と呼ばれる一連のプロセスとタスクをプログラムで作成、スケジュール、監視するために使用されるオープンソースのツールです。Amazon MWAA を使用すると、スケーラビリティ、可用性、セキュリティのための基盤を管理する必要なく、Apache Airflow と Python を使用してワークフローを作成できます。Amazon MWAA は、ワークフロー実行容量をニーズに合わせて自動的にスケーリングし、Amazon MWAA は AWS セキュリティサービスと統合して、データへの高速かつ安全なアクセスを提供します。

機能

  • 自動エアフローセットアップ — Amazon MWAA 環境を作成するときに「Apache Airflow バージョン」を選択することで、Apache Airflow をすばやくセットアップできます。Amazon MWAA は、インターネット上でダウンロードできる同じ Apache Airflow ユーザーインターフェイスとオープンソースコードを使用して、Apache Airflow を自動的にセットアップします。

  • 自動スケーリング — 環境内で稼働するワーカーの最小数と最大数を設定して、Apache Airflow ワーカーを自動的にスケーリングします。Amazon MWAA は環境内のワーカーを監視し、「自動スケーリングコンポーネント」を使用して需要を満たすワーカーを、定義したワーカーの最大数に達するまで追加します。

  • 組み込み認証 – AWS Identity and Access Management (IAM) でアクセスコントロールポリシーを定義することで、Apache Airflow ウェブサーバーのロールベースの認証と認可を有効にします。Apache Airflow ワーカーは、 サービスへの安全なアクセスのためにこれらのポリシーを引き受けます。 AWS

  • ビルトインセキュリティ — Apache Airflow ワーカーとスケジューラーは「Amazon MWAA の Amazon VPC」で実行されます。また、データは を使用して自動的に暗号化されるため AWS Key Management Service、環境はデフォルトで安全です。

  • パブリックアクセスモードまたはプライベートアクセスモード — プライベートまたはパブリック「アクセスモード」を使用して Apache Airflow ウェブサーバーにアクセスします。[パブリックネットワーク] アクセスモードは、インターネット経由でアクセス可能な Apache Airflow ウェブサーバーの VPC エンドポイントを使用します。プライベートネットワークアクセスモードは、VPC からアクセス可能な Apache Airflow ウェブサーバーの VPC エンドポイントを使用します。どちらの場合も、Apache Airflow ユーザーのアクセスは、 AWS Identity and Access Management (IAM) および AWS SSO で定義したアクセスコントロールポリシーによって制御されます。

  • アップグレードとパッチの効率化 — Amazon MWAA は Apache Airflow の新しいバージョンを定期的に提供しています。Amazon MWAA チームはこれらのバージョンに合わせてイメージを更新し、パッチを適用します。

  • ワークフローモニタリング – 追加のサードパーティーツールを必要とせずに、Apache Airflow ログと Apache Airflow メトリクスを Amazon で表示 CloudWatch して、Apache Airflow タスクの遅延やワークフローエラーを特定します。Amazon MWAA は、環境メトリクスを自動的に送信し、有効になっている場合は Apache Airflow ログを に送信します CloudWatch。

  • AWS 統合 — Amazon MWAA は、Amazon Athena AWS Batch 、、Amazon CloudWatch、Amazon DynamoDB AWS DataSync、Amazon EMR AWS Fargate、Amazon EKS、Amazon Data Firehose AWS Glue、 AWS LambdaAmazon Redshift、Amazon SQS、Amazon SNS、Amazon S3 とのオープンソース統合に加えて SageMaker、組み込みおよびコミュニティで作成された数百の演算子とセンサーをサポートしています。

  • ワーカーフリート — Amazon MWAA は、コンテナを使用してワーカーフリートをオンデマンドでスケーリングし、「AWS Fargate のAmazon ECS」を使用してでスケジューラーの停止を減らすことをサポートしています。Amazon ECS コンテナでタスクを呼び出すオペレーターと、Kubernetes クラスターでポッドを作成して実行する Kubernetes オペレーターがサポートされています。

アーキテクチャ

外側のボックス (下の画像) に含まれるすべてのコンポーネントは、アカウント内では単一の Amazon MWAA 環境として表示されます。Apache Airflow スケジューラワーカーは、環境の Amazon VPC 内のプライベートサブネットに接続する AWS Fargate (Fargate) コンテナです。各環境には、 によって管理 AWS される独自の Apache Airflow メタデータベースがあり、プライベートに保護された VPC エンドポイントを介してスケジューラおよびワーカー Fargate コンテナにアクセスできます。

Amazon CloudWatch、Amazon S3、Amazon SQS、Amazon ECR、および AWS KMS は Amazon MWAA とは別のものであり、Fargate コンテナ内の Apache Airflow スケジューラ (1 つ)ワーカーからアクセスできる必要があります。

Apache Airflow ウェブサーバーには、[パブリックネットワーク] の Apache Airflow アクセスモードを選択してインターネット経由でアクセスすることも、[プライベートネットワーク] の Apache Airflow アクセスモードを選択して VPC 内からアクセスすることもできます。どちらの場合も、Apache Airflow ユーザーのアクセスは、 AWS Identity and Access Management (IAM) で定義したアクセスコントロールポリシーによって制御されます。

注記

複数の Apache Airflow スケジューラーは Apache Airflow v2 以上でのみ使用できます。Apache Airflow タスクライフサイクルの詳細については、Apache Airflow リファレンスガイドの 「概念」 を参照してください。

次の画像は、Amazon MWAA 環境のアーキテクチャを示します。

Integration

アクティブで増加している Apache Airflow オープンソースコミュニティは、Apache Airflow が サービスと統合するためのオペレーター (サービスへの接続を簡素化するプラグイン) を提供します AWS 。これには、Amazon S3、Amazon Redshift、Amazon EMR AWS Batch、Amazon などのサービス SageMaker、および他のクラウドプラットフォーム上のサービスが含まれます。

Amazon MWAA で Apache Airflow を使用すると、データ処理タスクを実行するための AWS サービスや、Apache Hadoop、Presto、Hive、Spark などの一般的なサードパーティーツールとの統合が完全にサポートされます。Amazon MWAA は、Amazon MWAA API との互換性を維持することに重点を置いており、Amazon MWAA は AWS サービスへの信頼性の高い統合を提供し、コミュニティで利用できるようにし、コミュニティの機能開発に関与することを目的としています。

サンプルコードについては、「Amazon Managed Workflows for Apache Airflow」を参照してください。

サポートバージョン

Amazon MWAA は複数のバージョンの Apache Airflow をサポートしています。サポートされている Apache Airflow のバージョンと、各バージョンに含まれている Apache Airflow コンポーネントの詳細については、Apache Airflow 用 Amazon マネージドワークフロー上の Apache Airflow のバージョン を参照してください。

次のステップ