View a markdown version of this page

Utilizzo di dbt-core con EMR Serverless - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Utilizzo di dbt-core con EMR Serverless

Con la versione di Amazon EMR emr-7.13.0 e successive, puoi utilizzare dbt-core con sessioni interattive abilitate a Spark Connect per eseguire trasformazioni su EMR Serverless.

Per usare dbt-core con EMR Serverless

  1. Installa l'adattatore dbt-spark con supporto di sessione.

    pip install dbt-spark[session]

  2. Nel tuo profilo dbt (profiles.yml), imposta la configurazione come. host NA Questo campo è obbligatorio ma viene ignorato quando SPARK_REMOTE è impostato.

    emrs_spark_sample:
  target: dev
  outputs:
    dev:
      type: spark
      method: session
      schema: sample_schema
      host: NA

  3. Avvia una sessione interattiva e imposta SPARK_REMOTE l'URL dell'endpoint della sessione prima di eseguire dbt. Per ulteriori informazioni su come ottenere l'URL dell'endpoint della sessione, consulta. Esegui sessioni interattive con Amazon EMR Serverless tramite Spark Connect

    import os
os.environ['SPARK_REMOTE'] = spark_remote_url

  4. Esegui i comandi dbt nella sessione interattiva sull'applicazione EMR Serverless.

    dbt run --select my_dbt_model