Aggiornamento della versione di Apache Airflow

Amazon MWAA supporta aggiornamenti di versioni minori. Ciò significa che puoi aggiornare il tuo ambiente dalla versione a. x.4.z x.5.z Per eseguire un aggiornamento della versione principale, ad esempio dalla versione 1.y.z a2.y.z, è necessario creare un nuovo ambiente e migrare le risorse. Per ulteriori informazioni sull'aggiornamento a una nuova versione principale di Apache Airflow, consulta Migrazione a un nuovo ambiente Amazon MWAA nella Amazon MWAA Migration Guide.

Durante il processo di aggiornamento, Amazon MWAA acquisisce un'istantanea dei metadati dell'ambiente, aggiorna i lavoratori, gli scheduler e il server Web alla nuova versione di Apache Airflow e infine ripristina il database di metadati utilizzando lo snapshot.

Nota

Non puoi effettuare il downgrade della versione di Apache Airflow per il tuo ambiente.

Prima di eseguire l'aggiornamento, assicurati che i DAG e le altre risorse del flusso di lavoro siano compatibili con la nuova versione di Apache Airflow a cui stai effettuando l'aggiornamento. Se utilizzi requirements.txt a per gestire le dipendenze, devi anche assicurarti che le dipendenze specificate nei requisiti siano compatibili con la nuova versione.

Aggiorna le risorse del tuo flusso di lavoro

Ogni volta che modifichi le versioni di Apache Airflow, assicurati di fare riferimento all'--constraintURL corretto nel tuo. requirements.txt

avvertimento

La specificazione di requisiti incompatibili con la versione di Apache Airflow di destinazione durante un aggiornamento potrebbe comportare un lungo processo di rollback alla versione precedente di Apache Airflow con la versione dei requisiti precedente.

Per migrare le risorse del flusso di lavoro

1. Crea un fork del aws-mwaa-local-runnerrepository e clona una copia del runner locale di Amazon MWAA.

2. Effettua il checkout nel ramo del aws-mwaa-local-runner repository corrispondente alla versione a cui stai effettuando l'aggiornamento.

3. Usa lo strumento CLI Amazon MWAA local runner per creare l'immagine Docker ed eseguire Apache Airflow localmente. Per ulteriori informazioni, consulta il file README del runner locale nel repository. GitHub

4. Per aggiornare le tuerequirements.txt, segui le best practice consigliate nella sezione Managing Python dependencies, nella Amazon MWAA User Guide.

5. (Facoltativo) Per accelerare il processo di aggiornamento, pulisci il database dei metadati dell'ambiente. L'aggiornamento degli ambienti con una grande quantità di metadati può richiedere molto più tempo.

6. Dopo aver testato con successo le risorse del flusso di lavoro, copia i DAG e i plug-in nel bucket Amazon S3 del tuo ambiente. requirements.txt

Ora sei pronto per modificare l'ambiente, specificare una nuova versione di Apache Airflow e avviare la procedura di aggiornamento.

Specificare la nuova versione

Dopo aver completato l'aggiornamento delle risorse del flusso di lavoro per garantire la compatibilità con la nuova versione di Apache Airflow, procedi come segue per modificare i dettagli dell'ambiente e specificare la versione di Apache Airflow a cui desideri eseguire l'aggiornamento.

Nota

Quando si esegue un aggiornamento, tutte le attività attualmente in esecuzione nell'ambiente vengono terminate durante la procedura. La procedura di aggiornamento può richiedere fino a due ore, durante le quali l'ambiente non sarà disponibile.

Per specificare una nuova versione utilizzando la console

1. Apri la pagina Ambienti sulla console Amazon MWAA.

2. Dall'elenco Ambienti, scegli l'ambiente che desideri aggiornare.

3. Nella pagina dell'ambiente, scegli Modifica per modificare l'ambiente.

4. Nella sezione Dettagli sull'ambiente, per la versione Airflow, scegli il nuovo numero di versione di Apache Airflow a cui desideri aggiornare l'ambiente dall'elenco a discesa.

5. Scegli Avanti finché non ti trovi nella pagina Rivedi e salva.

6. Nella pagina Rivedi e salva, rivedi le modifiche, quindi scegli Salva.

Quando si applicano le modifiche, l'ambiente avvia la procedura di aggiornamento. Durante questo periodo, lo stato dell'ambiente indica le azioni intraprese da Amazon MWAA e l'esito positivo della procedura.

In uno scenario di aggiornamento riuscito, lo stato verrà visualizzato UPDATING non CREATING_SNAPSHOT appena Amazon MWAA acquisirà un backup dei metadati. Infine, lo stato tornerà prima al termine della procedura e poi a quello UPDATING in AVAILABLE cui è stata completata.

Se l'aggiornamento dell'ambiente non riesce, verrà visualizzato lo stato dell'ambienteROLLING_BACK. Se il rollback ha esito positivo, viene innanzitutto visualizzato lo statoUPDATE_FAILED, a indicare che l'aggiornamento non è riuscito ma che l'ambiente è disponibile. Se il rollback fallisce, verrà visualizzato lo statoUNAVAILABLE, a indicare che non è possibile accedere all'ambiente.