Uso de dbt-core con EMR Serverless

Con la versión de Amazon EMR emr-7.13.0 y versiones posteriores, puedes usar dbt-core con sesiones interactivas habilitadas para Spark Connect para ejecutar transformaciones en EMR Serverless.

Para usar dbt-core con EMR Serverless

1. Instale el adaptador dbt-spark con soporte de sesión.

   pip install dbt-spark[session]

2. En su perfil dbt (profiles.yml), defina la host configuración como. NA Este campo es obligatorio, pero se ignora cuando SPARK_REMOTE se establece.

   emrs_spark_sample:
     target: dev
     outputs:
       dev:
         type: spark
         method: session
         schema: sample_schema
         host: NA

3. Inicie una sesión interactiva y SPARK_REMOTE configúrela en la URL del punto final de la sesión antes de ejecutar dbt. Para obtener más información sobre cómo obtener la URL del punto de enlace de la sesión, consulteRealice sesiones interactivas con Amazon EMR Serverless a través de Spark Connect.

   import os
   os.environ['SPARK_REMOTE'] = spark_remote_url

4. Ejecute los comandos dbt en la sesión interactiva de la aplicación EMR Serverless.

   dbt run --select my_dbt_model