Usando dbt-core com o EMR Serverless

Com a versão do Amazon EMR emr-7.13.0 e versões posteriores, você pode usar o dbt-core com sessões interativas habilitadas para o Spark Connect para executar transformações no EMR Serverless.

Para usar o dbt-core com o EMR Serverless

1. Instale o adaptador dbt-spark com suporte de sessão.

   pip install dbt-spark[session]

2. Em seu perfil dbt (profiles.yml), defina a host configuração como. NA Esse campo é obrigatório, mas SPARK_REMOTE é ignorado quando definido.

   emrs_spark_sample:
     target: dev
     outputs:
       dev:
         type: spark
         method: session
         schema: sample_schema
         host: NA

3. Inicie uma sessão interativa e SPARK_REMOTE defina a URL do endpoint da sessão antes de executar o dbt. Para obter mais informações sobre como obter a URL do endpoint da sessão, consulteExecute sessões interativas com o Amazon EMR Serverless por meio do Spark Connect.

   import os
   os.environ['SPARK_REMOTE'] = spark_remote_url

4. Execute comandos dbt na sessão interativa no aplicativo EMR Serverless.

   dbt run --select my_dbt_model