View a markdown version of this page

EMR Serverless에서 dbt-core 사용 - Amazon EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

EMR Serverless에서 dbt-core 사용

Amazon EMR 릴리스 emr-7.13.0 이상에서는 Spark Connect가 활성화된 대화형 세션과 함께 dbt-core를 사용하여 EMR Serverless에서 변환을 실행할 수 있습니다.

EMR Serverless에서 dbt-core를 사용하려면

  1. 세션 지원을 통해 dbt-spark 어댑터를 설치합니다.

    pip install dbt-spark[session]

  2. dbt 프로파일(profiles.yml)에서 host 구성을 로 설정합니다NA. 이 필드는 필수이지만이 설정되면 무시SPARK_REMOTE됩니다.

    emrs_spark_sample:
  target: dev
  outputs:
    dev:
      type: spark
      method: session
      schema: sample_schema
      host: NA

  3. dbt를 실행SPARK_REMOTE하기 전에 대화형 세션을 시작하고를 세션 엔드포인트 URL로 설정합니다. 세션 엔드포인트 URL을 가져오는 방법에 대한 자세한 내용은 섹션을 참조하세요Spark Connect를 통해 Amazon EMR Serverless로 대화형 세션 실행.

    import os
os.environ['SPARK_REMOTE'] = spark_remote_url

  4. EMR Serverless 애플리케이션의 대화형 세션에 대해 dbt 명령을 실행합니다.

    dbt run --select my_dbt_model