Verwenden von dbt-core mit EMR Serverless

Mit der Amazon EMR-Version emr-7.13.0 und höher können Sie dbt-core mit Spark Connect-fähigen interaktiven Sitzungen verwenden, um Transformationen auf EMR Serverless auszuführen.

So verwenden Sie dbt-core mit EMR Serverless

1. Installieren Sie den DBT-Spark-Adapter mit Sitzungsunterstützung.

   pip install dbt-spark[session]

2. Stellen Sie in Ihrem dbt-Profil (profiles.yml) die host Konfiguration als ein. NA Dieses Feld ist erforderlich, wird aber ignoriert, wenn SPARK_REMOTE es gesetzt ist.

   emrs_spark_sample:
     target: dev
     outputs:
       dev:
         type: spark
         method: session
         schema: sample_schema
         host: NA

3. Starten Sie eine interaktive Sitzung und geben Sie die SPARK_REMOTE URL des Sitzungsendpunkts ein, bevor Sie dbt ausführen. Weitere Hinweise zum Abrufen der URL des Sitzungsendpunkts finden Sie unterFühren Sie interaktive Sitzungen mit Amazon EMR Serverless über Spark Connect durch.

   import os
   os.environ['SPARK_REMOTE'] = spark_remote_url

4. Führen Sie dbt-Befehle für die interaktive Sitzung in der EMR Serverless-Anwendung aus.

   dbt run --select my_dbt_model