Configurazione della classe di ambiente Amazon MWAA - Amazon Managed Workflows for Apache Airflow

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configurazione della classe di ambiente Amazon MWAA

La classe di ambiente scelta per il tuo ambiente Amazon MWAA determina la dimensione dei AWS Fargate contenitori AWS gestiti su cui viene eseguito Celery Executor e del database di metadati AWS Amazon Aurora PostgreSQL gestito in cui gli scheduler Apache Airflow creano istanze di attività. Questa pagina descrive ogni classe di ambiente Amazon MWAA e i passaggi per aggiornare la classe di ambiente sulla console Amazon MWAA.

Funzionalità ambientali

La sezione seguente contiene le attività simultanee predefinite di Apache Airflow, la memoria ad accesso casuale (RAM) e le unità di elaborazione centralizzate virtuali (vCPU) per ogni classe di ambiente. Le attività simultanee elencate presuppongono che la contemporanea delle attività non superi la capacità di Apache Airflow Worker nell'ambiente.

Nella tabella seguente, la capacità DAG si riferisce alle definizioni DAG, non alle esecuzioni, e presuppone che i DAG siano dinamici in un singolo file Python e scritti con le best practice di Apache Airflow.

Le esecuzioni delle attività dipendono dal numero di operazioni pianificate contemporaneamente e presuppone che il numero di esecuzioni DAG impostate per l'avvio alla stessa ora non superi il valore predefinito max_dagruns_per_loop_to_schedule, nonché le dimensioni e il numero di lavoratori, come descritto in questo argomento.

mw1.small
  • Capacità fino a 50 DAG

  • 5 attività simultanee (per impostazione predefinita)

  • 1 vCPU

  • 2 GB DI RAM

mw1.medium
  • Capacità fino a 200 DAG

  • 10 attività simultanee (per impostazione predefinita)

  • 2 vCPU

  • 4 GB DI RAM

mw1.large
  • Capacità fino a 1000 DAG

  • 20 attività simultanee (per impostazione predefinita)

  • 4 vCPU

  • 8 GB RAM

mw1.xlarge
  • Capacità fino a 2000 DAG

  • 40 attività simultanee (per impostazione predefinita)

  • 8 vCPU

  • 24 GB DI RAM

mw1.2xlarge
  • Capacità fino a 4000 DAG

  • 80 attività simultanee (per impostazione predefinita)

  • 16 vCPU

  • 48 GB DI RAM

È possibile utilizzarlo celery.worker_autoscale per aumentare le attività per lavoratore. Per ulteriori informazioni, consulta Esempio di utilizzo ad alte prestazioni.

Apache Airflow Scheduler

La sezione seguente contiene le opzioni di pianificazione di Apache Airflow disponibili su Amazon MWAA e il modo in cui il numero di scheduler influisce sul numero di trigger.

In Apache Airflow, un trigger gestisce le attività che rimanda finché non vengono soddisfatte determinate condizioni specificate utilizzando un trigger. In Amazon MWAA, il trigger viene eseguito insieme allo scheduler per la stessa attività di Fargate. L'aumento del numero di pianificatori aumenta di conseguenza il numero di trigger disponibili, ottimizzando il modo in cui l'ambiente gestisce le attività differite. Ciò garantisce una gestione efficiente delle attività, pianificandone tempestivamente l'esecuzione quando le condizioni sono soddisfatte.

Apache Airflow v2
  • v2 - Accetta tra a. 2 5 L'impostazione predefinita è 2.