Amazon MWAA に関するよくある質問 - Amazon Managed Workflows for Apache Airflow

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon MWAA に関するよくある質問

このページでは、Amazon Managed Workflows for Apache Airflow (MWAA) を使用する際の一般的な質問について説明します。

目次

サポートされるバージョン

Amazon MWAA は Apache Airflow v2 に対して何をサポートしていますか

Amazon MWAA がサポートしているものについては、「」を参照してください。Amazon Managed Workflows for Apache Airflow (MWAA) の Apache Airflow バージョン

古いバージョンの Apache Airflow がサポートされていないのはなぜですか?

古いバージョンのセキュリティ上の懸念から、Apache Airflow v1.10.12 の最新版 (発売時点) のみをサポートしています。

Python のどのバージョンを使用する必要がありますか?

次の Apache Airflow バージョンは、Amazon Managed Workflows for Apache Airflow (MWAA) でサポートされています。

25 人を超える Apache エアフローワーカーを指定することはできますか?

はい。Amazon MWAA コンソールで最大 25 の Apache Airflow ワーカーを指定できますが、クォータの引き上げをリクエストすることで、1 つの環境で最大 50 を設定できます。詳細については、次を参照してください。クォータ引き上げのリクエスト

ユースケース

が適している用途AWS Step Functionsvs Amazon MWAA?

  1. Step Functions は、1 つの注文または 100 万件の注文の需要を満たすようにスケーリングできるため、Step Functions を使用して個々の顧客注文を処理できます。

  2. 前日の注文を処理する夜間ワークフローを実行している場合は、Step Functions または Amazon MWAA を使用できます。Amazon MWAA では、オープンソースオプションを使用して、ワークフローをAWS使用しているリソース。

環境仕様

各環境で使用できるタスクストレージはどれくらいですか。

タスクストレージは 10 GB に制限されており、Amazon ECS Fargate 1.3。RAM の容量は、指定した環境クラスによって決まります。環境クラスの詳細については、「」を参照してください。Amazon MWAA 環境クラス

Amazon MWAA 環境で使用されるデフォルトのオペレーティングシステムは何ですか?

Amazon MWAA 環境は、Amazon Linux AMI を実行しているインスタンス上に作成されます。

Amazon MWAA 環境にカスタムイメージを使用できますか?

カスタムイメージはサポートされていません。Amazon MWAA は、Amazon Linux AMI で構築されたイメージを使用します。Amazon MWAA は、以下を実行して追加の要件をインストールします。pip3 -r installrequirements.txt ファイルで指定された要件については、環境の Amazon S3 バケットに追加します。

MWAA HIPAAは準拠していますか

Amazon MWAA は現在、HIPAA に準拠していません。

Amazon MWAA はスポットインスタンスをサポートしていますか

Amazon MWAA は現在、Apache Airflow のオンデマンドの Amazon EC2 スポットインスタンスタイプをサポートしていません。ただし、Amazon MWAA 環境では、たとえば Amazon EMR や Amazon EC2 でスポットインスタンスをトリガーできます。

Amazon MWAA はカスタムドメインをサポートしていますか?

Amazon MWAA ホスト名にカスタムドメインを使用するには、次のいずれかを行います。

  • パブリックウェブサーバーアクセスを持つ Amazon MWAA デプロイでは、Amazon を使用できます CloudFront Lambda @Edge を使用してトラフィックを環境に誘導し、カスタムドメイン名を CloudFront にマッピングします。パブリック環境のカスタムドメインの設定の詳細および例については、パブリックウェブサーバー用の Amazon MWAA カスタムドメインAmazon MWAA の例のサンプル GitHub repository.

  • プライベートウェブサーバーアクセスを持つ Amazon MWAA デプロイでは、Application Load Balancer (ALB) を使用してトラフィックを Amazon MWAA に送信し、カスタムドメイン名を ALB にマッピングできます。詳細については、を参照してください。Load Balancer サーの使用 (詳細)

自分の環境に SSH 接続することはできますか?

SSH は Amazon MWAA 環境ではサポートされていませんが、DAG を使用して bash コマンドを実行することは可能ですBashOperator。例:

from airflow import DAG from airflow.operators.bash_operator import BashOperator from airflow.utils.dates import days_ago with DAG(dag_id="any_bash_command_dag", schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag: cli_command = BashOperator( task_id="bash_command", bash_command="{{ dag_run.conf['command'] }}" )

Apache Airflow UI で DAG をトリガーするには、以下を使用します。

{ "command" : "your bash command"}

VPC セキュリティグループで自己参照ルールが必要なのはなぜですか

自己参照ルールを作成することで、ソースを VPC 内の同じセキュリティグループに制限し、すべてのネットワークに公開されているわけではありません。詳細については、「Amazon MWAA の VPC 内のセキュリティ」を参照してください。

IAM のさまざまなグループから環境を非表示にすることはできますか?

で環境名を指定することで、アクセスを制限できます。AWS Identity and Access Managementただし、可視性フィルタリングは、AWSコンソール-ユーザーが 1 つの環境を表示できる場合、すべての環境を表示できます。

Apache Airflow ワーカーに一時データを保存することはできますか?

Apache Airflow オペレータは、一時データをワーカー。Apache Airflowワーカーのテンポラリファイルにアクセスできる/tmpお使いの環境の Fargate コンテナで。

注記

によると、合計タスクストレージは 10 GB に制限されています。Amazon ECS Fargate 1.3。後続のタスクが同じ Fargate コンテナインスタンスで実行される保証はありません。このインスタンスでは、別のインスタンスを使用する可能性があります。/tmpfolder

Amazon MWAA は共有 Amazon VPC または共有サブネットをサポートしていますか?

Amazon MWAA は、共有 Amazon VPC または共有サブネットをサポートしていません。環境の作成時に選択する Amazon VPC は、環境を作成しようとするアカウントによって所有されている必要があります。ただし、Amazon MWAA アカウント内の Amazon VPC から共有 VPC にトラフィックをルーティングできます。詳細については、および共有 Amazon VPC にトラフィックをルーティングする例については、「」を参照してください。インターネットへの一元的な発信ルーティングAmazon VPC Transit Gateway ガイド

メトリクス

Worker のスケーリングを行うかどうかを決定するために使用する指標は何ですか。

Amazon MWAA はキューに入れられたタスクそしてタスクの実行に CloudWatch Apache Airflow をスケールするかどうかを判断するにはワーカー環境で. 詳細については、「Amazon Managed Workflows for Apache Airflow (MWAA) のモニタリングおよびメトリクス」を参照してください。

CloudWatch でカスタムメトリクスを作成できますか?

上にない CloudWatch console. ただし、CloudWatch でカスタムメトリクスを書き込む DAG を作成できます。詳細については、「DAG を使用して CloudWatch でカスタムメトリクスを記述する」を参照してください。

DAG、オペレータ、接続、およびその他の質問

を使用することはできますか?PythonVirtualenvOperator?

-PythonVirtualenvOperatorは Amazon MWAA では明示的にサポートされていませんが、PythonVirtualenvOperator。サンプルコードについては、「Apache Airflow のカスタムプラグインを作成する PythonVirtualenvOperator」を参照してください。

Amazon MWAA が新しい DAG ファイルを認識するのにどれくらい時間がかかりますか?

DAG は、Amazon S3 バケットから環境へ定期的に同期されます。新しい DAG ファイルを追加すると、Amazon MWAA が起動するまで約 300 秒かかりますを使用します新しいファイル。既存の DAG を更新すると、Amazon MWAA が更新を認識するのに約 30 秒かかります。

これらの値は、新しい DAG の場合は 300 秒、既存の DAG の更新は 30 秒で、Apache Airflow 設定オプションに対応しています。dag_dir_list_interval, およびmin_file_process_intervalそれぞれ。

自分の DAG ファイルが Apache Airflow でピックアップされないのはなぜですか?

この問題の考えられる解決策は次のとおりです。

  1. 実行ロールに Amazon S3 バケットに対する十分なアクセス許可があることを確認します。詳細については、「Amazon MWAA 実行ロール」を参照してください。

  2. Amazon S3 バケットにブロックパブリックアクセス構成された、およびバージョニング有効. 詳細については、「Amazon MWAA 用の Amazon S3 バケットを作成する」を参照してください。

  3. DAG ファイル自体を確認します。たとえば、各 DAG に一意の DAG ID があることを確認します。

を削除できますかplugins.zipまたはrequirements.txt環境から?

現在、plugins.zip または requirements.txt を追加した環境から削除する方法はありませんが、この問題に取り組んでいます。その間、回避策は、空のテキストまたは zip ファイルをそれぞれ指すことです。詳細については、「Amazon S3 のファイルの削除」を参照してください。

Apache Airflow v2.0.2 の管理プラグインメニューにプラグインが表示されないのはなぜですか?

セキュリティ上の理由から、Amazon MWAA 上の Apache Airflow ウェブサーバーはネットワーク出力に制限があり、プラグインや Python の依存関係を Apache Airflow に直接インストールしません。ウェブサーバーバージョン 2.0.2 環境. 表示されるプラグインにより、Amazon MWAA が Apache Airflow ユーザーを認証できるようになります。AWS Identity and Access Management(IAM)。

プラグインと Python の依存関係をウェブサーバーに直接インストールできるようにするには、Apache Airflow v2.2 以降で新しい環境を作成することをお勧めします。Amazon MWAA は、Apache Airflow v2.2 以降のウェブサーバーに Python の依存関係とカスタムプラグインを直接インストールします。

を使用することはできますか?AWSDatabase Migration Service (DMS) オペレータ

Amazon MWAA は現在、サポートしていません。DMS オペレータ。各環境には、によって管理される独自の Amazon Aurora PostgreSQL があります。AWS。

移行中

オンプレミスまたは自己管理型 Apache Airflow デプロイから Amazon MWAA に移行する方法を教えてください。

それぞれの状況は異なりますが、一般的には、オンプレミスまたは自己管理型のデプロイを廃止する前に、ワークロードを徐々に移動して、可能な場合はparallel に実行することをお勧めします。