View a markdown version of this page

EMR Serverless での dbt-core の使用 - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

EMR Serverless での dbt-core の使用

Amazon EMR リリース emr-7.13.0以降では、Spark Connect が有効なインタラクティブセッションで dbt-core を使用して EMR Serverless で変換を実行できます。

EMR Serverless で dbt-core を使用するには

  1. セッションをサポートする dbt-spark アダプターをインストールします。

    pip install dbt-spark[session]

  2. dbt プロファイル (profiles.yml) host で、設定を に設定しますNA。このフィールドは必須ですが、 が設定されている場合SPARK_REMOTEは無視されます。

    emrs_spark_sample:
  target: dev
  outputs:
    dev:
      type: spark
      method: session
      schema: sample_schema
      host: NA

  3. dbt を実行する前に、インタラクティブセッションを開始し、セッションエンドポイント URL SPARK_REMOTEに設定します。セッションエンドポイント URL を取得する方法の詳細については、「」を参照してくださいSpark Connect を使用して Amazon EMR Serverless でインタラクティブセッションを実行する。

    import os
os.environ['SPARK_REMOTE'] = spark_remote_url

  4. EMR Serverless アプリケーションのインタラクティブセッションに対して dbt コマンドを実行します。

    dbt run --select my_dbt_model