Amazon MWAA に関するよくある質問 - Apache Airflow 用の Amazon マネージドワークフロー

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon MWAA に関するよくある質問

このページでは、Amazon Managed Workflows for Apache Airflow (MWAA) を使用する際に発生する可能性がある一般的な質問について説明します。

目次

サポートされるバージョン

Apache Airflowの古いバージョンがサポートされていないのはなぜですか?

古いバージョンでのセキュリティ上の懸念のため、最新の(発売時点)Apache Airflow バージョン Apache Airflow v1.10.12 のみをサポートしています。

どのPythonバージョンを使用する必要がありますか?

Apache Airflow 用の Amazon マネージドワークフロー (MWAA) では、次の Apache Airflow バージョンがサポートされています。

Apacheエアフローワーカーを25人以上指定できますか?

はい。最大25個のApache Airflow を指定することはできますがワーカーでは、クォータの増加をリクエストすることで、環境上で最大 50 個を設定できます。25を超える環境では、Apache エアフロー v2.0.2 を使用することをお勧めします。ワーカー。詳細については、次を参照してください。クォータ引き上げのリクエスト

ユースケース

が適切である用途AWS Step Functions対Amazon MWAA?

  1. Step Functions、1つの注文または100万注文の需要を満たすようにスケーリングできるため、ステップ機能を使用して個々の顧客注文を処理できます。

  2. 前日の注文を処理する夜間のワークフローを実行している場合は、Step Functions または Amazon MWAA を使用できます。Amazon MWAA では、オープンソースオプションを使用して、ワークフローをAWSリソースを使用します。

環境仕様

各環境で使用できる一時ストレージの容量を教えてください。

一時記憶域 (RAM) は、指定した環境クラスによって決まります。詳細については、Amazon MWAA環境クラスを参照してください。

Amazon MWAA 環境で使用されるデフォルトのオペレーティングシステムは何ですか?

Amazon MWAA 環境は、Amazon Linux AMI を実行するインスタンスに作成されます。

Amazon MWAA 環境にカスタムイメージを使用できますか?

カスタムイメージはサポートされていません。Amazon MWAA は、Amazon Linux AMI 上に構築されたイメージを使用します。Amazon MWAA は、pip3 -r installで、環境の Amazon S3 バケットに追加する requirements.txt ファイルで指定されている要件を確認してください。

MWAA HIPAAに準拠していますか?

Amazon MWAA は現在 HIPAA に準拠していません。

Amazon MWAA はスポットインスタンスをサポートしていますか?

Amazon MWAA は現在、Apache Airflow のオンデマンドの Amazon EC2 スポットインスタンスタイプをサポートしていません。ただし、Amazon MWAA 環境では、Amazon EMR や Amazon EC2 などのスポットインスタンスをトリガーできます。

Amazon MWAA はカスタムドメインをサポートしていますか?

はい。Apache Airflow ホスト名のカスタムドメインは、Amazon Route 53。適用するAWS Certificate Manager(ACM) 証明書をApplication Load Balancer に追加し、Route 53 CNAME をApplication Load Balancer に適用して、証明書の完全修飾ドメイン名 (FQDN) に一致させます。

自分の環境に SSH 接続できますか?

SSH は Amazon MWAA 環境ではサポートされていませんが、DAG を使用してBashOperator。次に例を示します。

from airflow import DAG from airflow.operators.bash_operator import BashOperator from airflow.utils.dates import days_ago with DAG(dag_id="any_bash_command_dag", schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag: cli_command = BashOperator( task_id="bash_command", bash_command="{{ dag_run.conf['command'] }}" )

Apache エアフロー UI で DAG をトリガーするには、以下を使用します。

{ "command" : "your bash command"}

VPC セキュリティグループで自己参照ルールが必要なのはなぜですか?

自己参照ルールを作成することで、ソースを VPC 内の同じセキュリティグループに制限することができ、ネットワーク全体には公開されません。詳細については、Amazon MWAA 上の VPC のセキュリティを参照してください。

IAM 内の異なるグループから環境を非表示にすることはできますか?

アクセスを制限するには、環境名をAWS Identity and Access Managementただし、可視性フィルタリングはAWSconsole:ユーザーが 1 つの環境を表示できる場合、すべての環境を表示できます。

Apache エアフローワーカーに一時的なデータを保存できますか?

Apache エアフローオペレータは、一時データをワーカー。Apache Airflowワーカーでテンポラリファイルにアクセスできる/tmpを環境の Fargate コンテナーにインストールします。

注記

一時ストレージの総容量は 4 GB に制限されています。後続のタスクが同じFargate コンテナインスタンスで実行される保証はありません。/tmpfolder

Metrics

ワーカーをスケーリングするかどうかを判断するには、どのような指標が使用されますか。

Amazon MWAA は、キューされたタスクおよびタスクの実行を使用して、Apache のエアフローをスケーリングするかどうかを判断します。ワーカー環境にある。詳細については、Amazon CloudWatch での Amazon MWAA パフォーマンスメトリックスを参照してください。

CloudWatch でカスタムメトリックスを作成できますか?

CloudWatch コンソールにはありません。ただし、CloudWatch でカスタムメトリクスを書き込む DAG を作成できます。詳細については、DAG を使用した CloudWatch でのカスタムメトリックスの書き込みを参照してください。

また、Kubernetes エグゼキュータに似たサーバーレスネイティブエグゼキュータを 2021 年 9 月にオープンソース経由でリリースする予定です。

DAG、オペレータ、接続、およびその他の質問

使用できるPythonVirtualenvOperator?

-PythonVirtualenvOperatorは Amazon MWAA では明示的にサポートされていませんが、PythonVirtualenvOperator。サンプルコードについては、「ApacheのエアフローPythonVirtualEnvOperator用のカスタムプラグインの作成」を参照してください。

Amazon MWAA が新しい DAG ファイルを認識するのにどれくらいの時間がかかりますか?

DAG は、環境の S3 バケットから同期されます。新しい DAG ファイルを追加すると、Amazon MWAA が起動するまでに 1 分ほどかかります。を使用した新しいファイル. 既存の DAG ファイルを更新する場合、Amazon MWAA が更新を認識するのに約 10 秒かかります。

私のDAGファイルがApacheエアフローによって取得されないのはなぜですか?

この問題の解決策は以下の通りです。

  1. 実行ロールに、Amazon S3 バケットに対する十分なアクセス権限があることを確認します。詳細については、Amazon MWAA実行ロールを参照してください。

  2. Amazon S3 バケットにブロックパブリックアクセス構成され、バージョニング有効. 詳細については、Amazon MWAA 用の Amazon S3 バケットの作成を参照してください。

  3. DAG ファイル自体を確認します。たとえば、各 DAG に一意の DAG ID があることを確認します。

削除することはできますかplugins.zipまたはrequirements.txt環境から?

現在、削除する方法はありませんplugins.zipまたはrequirements.txtを追加した後、環境から。しかし、この問題に取り組んでいます。この間、回避策は、それぞれ空のテキストファイルまたは zip ファイルを指すことです。

Migrating

オンプレミスまたは自己管理型の Apache Airflow デプロイメントから Amazon MWAA に移行するにはどうすればよいですか?

各状況は異なりますが、一般的に、オンプレミスまたは自己管理型の展開を中止する前に、すべてが期待どおりに動作することを確認できるようになるまで、ワークロードを徐々に移動して、可能な場合は並行して実行することをお勧めします。