Menggunakan dbt-core dengan EMR Serverless

Dengan rilis Amazon EMR emr-7.13.0 dan versi lebih baru, Anda dapat menggunakan dbt-core dengan sesi interaktif yang diaktifkan Spark Connect untuk menjalankan transformasi di EMR Tanpa Server.

Untuk menggunakan dbt-core dengan EMR Serverless

1. Instal adaptor dbt-spark dengan dukungan sesi.

   pip install dbt-spark[session]

2. Di profil dbt (profiles.yml) Anda, setel host konfigurasi sebagai. NA Bidang ini diperlukan tetapi diabaikan ketika SPARK_REMOTE disetel.

   emrs_spark_sample:
     target: dev
     outputs:
       dev:
         type: spark
         method: session
         schema: sample_schema
         host: NA

3. Mulai sesi interaktif dan atur SPARK_REMOTE ke URL titik akhir sesi sebelum menjalankan dbt. Untuk informasi selengkapnya tentang cara mendapatkan URL titik akhir sesi, lihatJalankan sesi interaktif dengan Amazon EMR Tanpa Server melalui Spark Connect.

   import os
   os.environ['SPARK_REMOTE'] = spark_remote_url

4. Jalankan perintah dbt terhadap sesi interaktif pada aplikasi EMR Tanpa Server.

   dbt run --select my_dbt_model