Utilizzo di una chiave segreta inAWS Secrets Managerper una connessione Apache Airflow

I seguenti esempi di chiamateAWS Secrets Managerper ottenere una chiave segreta per una connessione Apache Airflow su Amazon Managed Workflows per Apache Airflow. Si presuppone che tu abbia completato i passaggi inConfigurazione di una connessione Apache Airflow utilizzando un segreto AWS Secrets Manager.

Versione

• Il codice di esempio in questa pagina può essere utilizzato conApache Airflow v1nelPython 3.7.

• Puoi usare l'esempio di codice in questa pagina conApache Airflow v2 e versioni successivenelPython 3.10.

Prerequisiti

Per utilizzare il codice di esempio in questa pagina, avrai bisogno di quanto segue:

• Il backend di Secrets Manager come opzione di configurazione di Apache Airflow, come mostrato inConfigurazione di una connessione Apache Airflow utilizzando un segreto AWS Secrets Manager.

• Una stringa di connessione Apache Airflow in Secrets Manager come mostrata inConfigurazione di una connessione Apache Airflow utilizzando un segreto AWS Secrets Manager.

Autorizzazioni

• Autorizzazioni di Secrets Manager come mostrato inConfigurazione di una connessione Apache Airflow utilizzando un segreto AWS Secrets Manager.

Requisiti

• Per utilizzare questo esempio di codice con Apache Airflow v1, non sono necessarie dipendenze aggiuntive. Il codice utilizzaInstallazione base di Apache Airflow v1sul tuo ambiente.

• Per utilizzare questo esempio di codice con Apache Airflow v2, non sono necessarie dipendenze aggiuntive. Il codice utilizzaInstallazione base di Apache Airflow v2sul tuo ambiente.

Esempio di codice

I passaggi seguenti descrivono come creare il codice DAG che richiama Secrets Manager per ottenere il segreto.

Apache Airflow v2

1. Nel prompt dei comandi, accedi alla directory in cui è archiviato il codice DAG. Ad esempio:

   cd dags

2. Copia il contenuto del seguente esempio di codice e salvalo localmente comesecrets-manager.py.

   """
   Copyright Amazon.com, Inc. or its affiliates. All Rights Reserved.
    
   Permission is hereby granted, free of charge, to any person obtaining a copy of
   this software and associated documentation files (the "Software"), to deal in
   the Software without restriction, including without limitation the rights to
   use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of
   the Software, and to permit persons to whom the Software is furnished to do so.
    
   THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
   IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS
   FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR
   COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER
   IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN
   CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
   """
   from airflow import DAG, settings, secrets
   from airflow.operators.python import PythonOperator
   from airflow.utils.dates import days_ago
   from airflow.providers.amazon.aws.hooks.base_aws import AwsBaseHook
   
   from datetime import timedelta
   import os
   
   ### The steps to create this secret key can be found at: https://docs.aws.amazon.com/mwaa/latest/userguide/connections-secrets-manager.html
   sm_secretId_name = 'airflow/connections/myconn'
   
   default_args = {
       'owner': 'airflow',
       'start_date': days_ago(1),
       'depends_on_past': False
   }
   
   
   ### Gets the secret myconn from Secrets Manager
   def read_from_aws_sm_fn(**kwargs):
       ### set up Secrets Manager
       hook = AwsBaseHook(client_type='secretsmanager')
       client = hook.get_client_type('secretsmanager')
       response = client.get_secret_value(SecretId=sm_secretId_name)
       myConnSecretString = response["SecretString"]
   
       return myConnSecretString
   
   ### 'os.path.basename(__file__).replace(".py", "")' uses the file name secrets-manager.py for a DAG ID of secrets-manager
   with DAG(
           dag_id=os.path.basename(__file__).replace(".py", ""),
           default_args=default_args,
           dagrun_timeout=timedelta(hours=2),
           start_date=days_ago(1),
           schedule_interval=None
   ) as dag:
       write_all_to_aws_sm = PythonOperator(
           task_id="read_from_aws_sm",
           python_callable=read_from_aws_sm_fn,
           provide_context=True
       )
   

Apache Airflow v1

1. Nel prompt dei comandi, accedi alla directory in cui è archiviato il codice DAG. Ad esempio:

   cd dags

2. Copia il contenuto del seguente esempio di codice e salvalo localmente comesecrets-manager.py.

   from airflow import DAG, settings, secrets
   from airflow.operators.python_operator import PythonOperator
   from airflow.utils.dates import days_ago
   from airflow.contrib.hooks.aws_hook import AwsHook
   
   from datetime import timedelta
   import os
   
   ### The steps to create this secret key can be found at: https://docs.aws.amazon.com/mwaa/latest/userguide/connections-secrets-manager.html
   sm_secretId_name = 'airflow/connections/myconn'
   
   default_args = {
       'owner': 'airflow',
       'start_date': days_ago(1),
       'depends_on_past': False
   }
   
   
   ### Gets the secret myconn from Secrets Manager
   def read_from_aws_sm_fn(**kwargs):
       ### set up Secrets Manager
       hook = AwsHook()
       client = hook.get_client_type('secretsmanager')
       response = client.get_secret_value(SecretId=sm_secretId_name)
       myConnSecretString = response["SecretString"]
   
       return myConnSecretString
   
   ### 'os.path.basename(__file__).replace(".py", "")' uses the file name secrets-manager.py for a DAG ID of secrets-manager
   with DAG(
           dag_id=os.path.basename(__file__).replace(".py", ""),
           default_args=default_args,
           dagrun_timeout=timedelta(hours=2),
           start_date=days_ago(1),
           schedule_interval=None
   ) as dag:
       write_all_to_aws_sm = PythonOperator(
           task_id="read_from_aws_sm",
           python_callable=read_from_aws_sm_fn,
           provide_context=True
       )

Fasi successive

• Scopri come caricare il codice DAG in questo esempio sudagscartella nel tuo bucket Amazon S3 inAggiunta o aggiornamento di DAG.