Crea un MWAA ambiente Amazon

Amazon Managed Workflows for Apache Airflow configura Apache Airflow su un ambiente nella versione prescelta utilizzando lo stesso Apache Airflow open source e la stessa interfaccia utente disponibili in Apache. Questa guida descrive i passaggi per creare un MWAA ambiente Amazon.

Indice

• Prima di iniziare
• Versioni Apache Airflow
• Creazione di un ambiente
  • Fase uno: Specificare i dettagli
  • Fase due: configurare le impostazioni avanzate
  • Fase tre: rivedere e creare

Prima di iniziare

• La VPCrete specificata per l'ambiente non può essere modificata dopo la creazione dell'ambiente.

• È necessario un bucket Amazon S3 configurato per bloccare tutti gli accessi pubblici, con Bucket Versioning abilitato.

• È necessario un AWS account con autorizzazioni per utilizzare Amazon e MWAA l'autorizzazione in AWS Identity and Access Management (IAM) per creare IAM ruoli. Se scegli la modalità di accesso alla rete privata per il server web Apache Airflow, che limita l'accesso ad Apache Airflow all'interno di AmazonVPC, avrai bisogno dell'autorizzazione per IAM creare endpoint Amazon. VPC

Versioni Apache Airflow

Le seguenti versioni di Apache Airflow sono supportate su Amazon Managed Workflows for Apache Airflow.

Nota

• A partire da Apache Airflow v2.2.2, Amazon MWAA supporta l'installazione di requisiti Python, pacchetti provider e plugin personalizzati direttamente sul server web Apache Airflow.

• A partire da Apache Airflow v2.7.2, il file dei requisiti deve includere una dichiarazione. --constraint Se non fornisci un vincolo, Amazon te ne MWAA specificherà uno per garantire che i pacchetti elencati nei tuoi requisiti siano compatibili con la versione di Apache Airflow che stai utilizzando.

  Per ulteriori informazioni sull'impostazione dei vincoli nel file dei requisiti, consulta Installazione delle dipendenze in Python.

Versione Apache Airflow	Guida Apache Airflow	Vincoli di Apache Airflow	Versione di Python
v2.10.1	Guida di riferimento di Apache Airflow v2.10.1	File dei vincoli di Apache Airflow v2.10.1	Python 3.11
v2.9.2	Guida di riferimento di Apache Airflow v2.9.2	File dei vincoli di Apache Airflow v2.9.2	Python 3.11
v2.8.1	Guida di riferimento di Apache Airflow v2.8.1	File dei vincoli di Apache Airflow v2.8.1	Python 3.11
v2.7.2	Guida di riferimento di Apache Airflow v2.7.2	File dei vincoli di Apache Airflow v2.7.2	Python 3.11
v2.6.3	Guida di riferimento di Apache Airflow v2.6.3	File dei vincoli di Apache Airflow v2.6.3	Python 3.10
v2.5.1	Guida di riferimento di Apache Airflow v2.5.1	File dei vincoli di Apache Airflow v2.5.1	Python 3.10
v2.4.3	Guida di riferimento di Apache Airflow v2.4.3	File dei vincoli di Apache Airflow v2.4.3	Python 3.10
v2.2.2	Guida di riferimento di Apache Airflow v2.2.2	File dei vincoli di Apache Airflow v2.2.2	Python 3.7
v2.0.2	Guida di riferimento di Apache Airflow v2.0.2	File dei vincoli di Apache Airflow v2.0.2	Python 3.7

Per ulteriori informazioni sulla migrazione delle distribuzioni di Apache Airflow autogestite o sulla migrazione di un MWAA ambiente Amazon esistente, incluse le istruzioni per il backup del database di metadati, consulta Amazon Migration Guide. MWAA

Creazione di un ambiente

La sezione seguente descrive i passaggi per creare un MWAA ambiente Amazon.

Fase uno: Specificare i dettagli

Per specificare i dettagli per l'ambiente

1. Apri la MWAA console Amazon.

2. Usa il selettore AWS della regione per selezionare la tua regione.

3. Seleziona Create environment (Crea ambiente).

4. Nella pagina Specificare i dettagli, in Dettagli sull'ambiente:

   1. Digita un nome univoco per il tuo ambiente in Nome.

   2. Scegli la versione Apache Airflow nella versione Airflow.

      Nota

      Se non viene specificato alcun valore, per impostazione predefinita viene utilizzata la versione più recente di Apache Airflow. L'ultima versione disponibile è.

5. In DAGcodice in Amazon S3, specifica quanto segue:

   1. Bucket S3. Scegli Browse S3 e seleziona il tuo bucket Amazon S3 oppure accedi ad Amazon S3. URI

   2. DAGscartella. Scegli Browse S3 e seleziona la dags cartella nel tuo bucket Amazon S3 oppure accedi ad Amazon S3. URI

   3. File dei plugin: opzionale. Scegli Browse S3 e seleziona il plugins.zip file nel tuo bucket Amazon S3 oppure accedi ad Amazon S3. URI

   4. File dei requisiti: facoltativo. Scegli Browse S3 e seleziona il requirements.txt file nel tuo bucket Amazon S3 oppure accedi ad Amazon S3. URI

   5. File di script di avvio: facoltativo, scegli Browse S3e seleziona il file di script sul tuo bucket Amazon S3 oppure inserisci Amazon S3. URI

6. Scegli Next (Successivo).

Fase due: configurare le impostazioni avanzate

Configurazione delle impostazioni avanzate

1. Nella pagina Configura impostazioni avanzate, in Rete:

   1. Scegli il tuo Amazon VPC.

      Questo passaggio popola due sottoreti private del tuo Amazon. VPC

2. In Accesso al server Web, seleziona la modalità di accesso Apache Airflow preferita:

   1. Rete privata. Ciò limita l'accesso all'interfaccia utente di Apache Airflow agli utenti all'interno del tuo Amazon a VPC cui è stato concesso l'accesso alla IAMpolicy per il tuo ambiente. È necessaria l'autorizzazione per creare VPC endpoint Amazon per questa fase.

      Nota

      Scegli l'opzione Rete privata se si accede all'interfaccia utente di Apache Airflow solo all'interno di una rete aziendale e non è necessario accedere a repository pubblici per l'installazione dei requisiti del server Web. Se scegli questa opzione di modalità di accesso, devi creare un meccanismo per accedere al tuo server Web Apache Airflow in Amazon. VPC Per ulteriori informazioni, consulta Accesso all'endpoint VPC per il server Web Apache Airflow (accesso alla rete privata).

   2. Rete pubblica. Ciò consente l'accesso all'interfaccia utente di Apache Airflow tramite Internet agli utenti a cui è stato concesso l'accesso alla IAMpolicy per l'ambiente in uso.

3. In Gruppi di sicurezza, scegli il gruppo di sicurezza utilizzato per proteggere il tuo Amazon VPC:

   1. Per impostazione predefinita, Amazon MWAA crea un gruppo di sicurezza nel tuo Amazon VPC con regole specifiche in entrata e in uscita in Crea nuovo gruppo di sicurezza.

   2. Facoltativo. Deseleziona la casella di controllo in Crea nuovo gruppo di sicurezza per selezionare fino a 5 gruppi di sicurezza.

      Nota

      Un gruppo VPC di sicurezza Amazon esistente deve essere configurato con regole specifiche in entrata e in uscita per consentire il traffico di rete. Per ulteriori informazioni, consulta Sicurezza nella tua azienda VPC su Amazon MWAA.

4. In Classe Environment, scegli una classe di ambiente.

   Ti consigliamo di scegliere la dimensione più piccola necessaria per supportare il tuo carico di lavoro. Puoi cambiare la classe di ambiente in qualsiasi momento.

5. Per Numero massimo di lavoratori, specifica il numero massimo di lavoratori Apache Airflow da eseguire nell'ambiente.

   Per ulteriori informazioni, consulta Esempio di utilizzo ad alte prestazioni.

6. Specificate il numero massimo di server Web e il numero minimo di server Web per configurare il modo in cui Amazon MWAA ridimensiona i server Web Apache Airflow nel tuo ambiente.

   Per ulteriori informazioni sulla scalabilità automatica dei server Web, consulta. Configurazione della scalabilità automatica del server Web Amazon MWAA

7. In Crittografia, scegli un'opzione di crittografia dei dati:

   1. Per impostazione predefinita, Amazon MWAA utilizza una chiave AWS proprietaria per crittografare i dati.

   2. Facoltativo. Scegli Personalizza le impostazioni di crittografia (avanzate) per scegliere una AWS KMS chiave diversa. Se scegli di specificare una chiave gestita dal cliente in questo passaggio, devi specificare un ID di AWS KMS chiave oARN. AWS KMS gli alias e le chiavi multiregionali non sono supportati da Amazon. MWAA Se hai specificato una chiave Amazon S3 per la crittografia lato server sul tuo bucket Amazon S3, devi specificare la stessa chiave per il tuo ambiente Amazon. MWAA

      Nota

      Devi disporre delle autorizzazioni per la chiave per selezionarla sulla MWAA console Amazon. È inoltre necessario concedere le autorizzazioni MWAA ad Amazon per utilizzare la chiave allegando la politica descritta in. Allega una politica chiave

8. Consigliato. In Monitoraggio, scegli una o più categorie di log per la configurazione di registrazione Airflow per inviare i log di Apache Airflow a Logs: CloudWatch

   1. Registri delle attività di Airflow. Scegli il tipo di log delle attività di Apache Airflow da inviare a CloudWatch Logs in Log level.

   2. Registri del server web Airflow. Scegli il tipo di log del server web Apache Airflow da inviare a CloudWatch Logs in Log level.

   3. Registri dello scheduler Airflow. Scegli il tipo di log dello scheduler Apache Airflow da inviare a Logs in Log level. CloudWatch

   4. Registri degli operatori di Airflow. Scegli il tipo di log di lavoro di Apache Airflow da inviare a CloudWatch Logs in Log level.

   5. Registri di elaborazione Airflow. DAG Scegli il tipo di log di DAG elaborazione di Apache Airflow da inviare a CloudWatch Logs in Log level.

9. Facoltativo. Per le opzioni di configurazione Airflow, scegli Aggiungi l'opzione di configurazione personalizzata.

   Puoi scegliere dall'elenco a discesa suggerito delle opzioni di configurazione di Apache Airflow per la tua versione di Apache Airflow o specificare opzioni di configurazione personalizzate. Ad esempio,:. core.default_task_retries 3

10. Facoltativo. In Tag, scegli Aggiungi nuovo tag per associare i tag al tuo ambiente. Ad esempio,Environment:Staging.

11. In Autorizzazioni, scegli un ruolo di esecuzione:

    1. Per impostazione predefinita, Amazon MWAA crea un ruolo di esecuzione in Crea un nuovo ruolo. È necessario disporre dell'autorizzazione per creare IAM ruoli per utilizzare questa opzione.

    2. Facoltativo. Scegli Enter role ARN per inserire l'Amazon Resource Name (ARN) di un ruolo di esecuzione esistente.

12. Scegli Next (Successivo).

Fase tre: rivedere e creare

Per esaminare un riepilogo dell'ambiente

• Esamina il riepilogo dell'ambiente, scegli Crea ambiente.

  Nota

  Occorrono dai venti ai trenta minuti per creare un ambiente.