Architettura di rete Amazon MWAA

La sezione seguente descrive i componenti principali che compongono un ambiente Amazon MWAA e il set di AWS servizi con cui ogni ambiente si integra per gestirne le risorse, proteggere i dati e fornire monitoraggio e visibilità per i flussi di lavoro.

Componenti Amazon MWAA

Gli ambienti Amazon MWAA sono costituiti dai seguenti quattro componenti principali:

1. Scheduler: analizza e monitora tutti i DAG e mette in coda le attività per l'esecuzione quando vengono soddisfatte le dipendenze di un DAG. Amazon MWAA distribuisce lo scheduler come cluster con un minimo di 2 scheduler. AWS Fargate Puoi aumentare il numero di pianificatori fino a cinque, a seconda del carico di lavoro. Per ulteriori informazioni sulle classi di ambiente Amazon MWAA, consulta Amazon MWAA Environment Class.

2. Lavoratori: una o più attività Fargate che eseguono le attività pianificate. Il numero di lavoratori per l'ambiente è determinato da un intervallo tra il numero minimo e massimo specificato. Amazon MWAA inizia l'auto-scaling dei lavoratori quando il numero di attività in coda e in esecuzione è superiore a quello che i lavoratori esistenti sono in grado di gestire. Quando le attività in esecuzione e quelle in coda si sommano a zero per più di due minuti, Amazon MWAA riduce il numero di lavoratori al minimo. Per ulteriori informazioni su come Amazon MWAA gestisce i lavoratori con scalabilità automatica, consulta Amazon MWAA automatic scaling.

3. Server Web: esegue l'interfaccia utente web di Apache Airflow. È possibile configurare il server Web con accesso alla rete pubblica o privata. In entrambi i casi, l'accesso agli utenti di Apache Airflow è controllato dalla politica di controllo degli accessi definita in AWS Identity and Access Management (IAM). Per ulteriori informazioni sulla configurazione delle policy di accesso IAM per il tuo ambiente, consulta Accedere a un ambiente Amazon MWAA.

4. Database: archivia i metadati sull'ambiente Apache Airflow e sui flussi di lavoro, inclusa la cronologia di esecuzione di DAG. Il database è un database Aurora PostgreSQL single-tenant gestito AWS e accessibile ai contenitori Fargate di Scheduler e Workers tramite un endpoint Amazon VPC protetto privatamente.

Ogni ambiente Amazon MWAA interagisce anche con una serie di AWS servizi per gestire una serie di attività, tra cui l'archiviazione e l'accesso ai DAG e alle dipendenze delle attività, la protezione dei dati inattivi e la registrazione e il monitoraggio dell'ambiente. Il diagramma seguente illustra i diversi componenti di un ambiente Amazon MWAA.

Nota

Il servizio Amazon VPC non è un VPC condiviso. Amazon MWAA crea un AWS VPC di proprietà per ogni ambiente che crei.

• Amazon S3 — Amazon MWAA archivia tutte le risorse del flusso di lavoro, come DAG, requisiti e file di plug-in, in un bucket Amazon S3. Per ulteriori informazioni sulla creazione del bucket come parte della creazione dell'ambiente e sul caricamento delle risorse Amazon MWAA, consulta Create an Amazon S3 bucket per Amazon MWAA nella Amazon MWAA User Guide.

• Amazon SQS: Amazon MWAA utilizza Amazon SQS per mettere in coda le attività del flusso di lavoro con un esecutore Celery.

• Amazon ECR — Amazon ECR ospita tutte le immagini Apache Airflow. Amazon MWAA supporta solo immagini Apache Airflow gestite. AWS

• AWS KMS— Amazon MWAA lo utilizza AWS KMS per garantire la sicurezza dei dati quando sono inattivi. Per impostazione predefinita, Amazon MWAA utilizza AWS KMSchiavi AWS gestite, ma è possibile configurare l'ambiente in modo da utilizzare una chiave gestita dal cliente. AWS KMS Per ulteriori informazioni sull'utilizzo della tua AWS KMS chiave gestita dal cliente, consulta Customer managed keys for Data Encryption nella Amazon MWAA User Guide.

• CloudWatch— Amazon MWAA si integra CloudWatch e fornisce log e parametri ambientali di Apache Airflow, consentendoti di monitorare le risorse Amazon MWAA e risolvere CloudWatch i problemi.

Connettività

Il tuo ambiente Amazon MWAA deve accedere a tutti i servizi con cui si integra. AWS Il ruolo di esecuzione di Amazon MWAA controlla il modo in cui viene concesso l'accesso ad Amazon MWAA per connettersi ad altri servizi per tuo conto. AWS Per la connettività di rete, puoi fornire l'accesso pubblico a Internet al tuo Amazon VPC o creare endpoint Amazon VPC. Per ulteriori informazioni sulla configurazione degli endpoint Amazon VPC AWS PrivateLink () per il tuo ambiente, consulta Gestire l'accesso agli endpoint VPC su Amazon MWAA nella Amazon MWAA User Guide.

Amazon MWAA installa i requisiti sullo scheduler e sul worker. Se i requisiti provengono da un PyPiarchivio pubblico, l'ambiente necessita della connettività a Internet per scaricare le librerie richieste. Per gli ambienti privati, puoi utilizzare un PyPi repository privato o raggruppare le librerie in .whlfile come plug-in personalizzati per il tuo ambiente.

Quando configuri Apache Airflow in modalità privata, l'interfaccia utente di Apache Airflow può essere accessibile al tuo Amazon VPC solo tramite gli endpoint Amazon VPC.

Per ulteriori informazioni sul networking, consulta Networking in the Amazon MWAA User Guide.