Utilisation de dbt-core avec EMR Serverless

Avec les versions Amazon EMR emr-7.13.0 et ultérieures, vous pouvez utiliser dbt-core avec des sessions interactives compatibles avec Spark Connect pour exécuter des transformations sur EMR Serverless.

Pour utiliser dbt-core avec EMR Serverless

1. Installez l'adaptateur dbt-Spark avec support de session.

   pip install dbt-spark[session]

2. Dans votre profil dbt (profiles.yml), définissez la host configuration commeNA. Ce champ est obligatoire mais ignoré lorsqu'il SPARK_REMOTE est défini.

   emrs_spark_sample:
     target: dev
     outputs:
       dev:
         type: spark
         method: session
         schema: sample_schema
         host: NA

3. Démarrez une session interactive et définissez l'URL du point SPARK_REMOTE de terminaison de session avant d'exécuter dbt. Pour plus d'informations sur la façon d'obtenir l'URL du point de terminaison de session, consultezOrganisez des sessions interactives avec Amazon EMR Serverless via Spark Connect.

   import os
   os.environ['SPARK_REMOTE'] = spark_remote_url

4. Exécutez les commandes dbt sur la session interactive de l'application EMR Serverless.

   dbt run --select my_dbt_model