Hive Live Long and Process () 사용 LLAP

Amazon EMR 6.0.0은 Hive의 롱 라이브 및 프로세스 (LLAP) 기능을 지원합니다. LLAP지능형 인메모리 캐싱과 함께 영구 데몬을 사용하여 이전의 기본 Tez 컨테이너 실행 모드에 비해 쿼리 성능을 개선합니다.

Hive LLAP 데몬은 서비스로 관리되고 실행됩니다. YARN YARN서비스는 장기 실행 YARN 애플리케이션으로 간주될 수 있으므로 일부 클러스터 리소스는 Hive LLAP 전용이며 다른 워크로드에는 사용할 수 없습니다. 자세한 내용은 서비스를 참조하십시오 LLAP. YARN API

LLAPAmazon에서 Hive 활성화 EMR

LLAPEMRAmazon에서 Hive를 활성화하려면 클러스터를 시작할 때 다음 구성을 제공하십시오.

[
  {
    "Classification": "hive",
    "Properties": {
      "hive.llap.enabled": "true"
    }
  }
]

자세한 내용은 애플리케이션 구성을 참조하세요.

기본적으로 Amazon은 클러스터 YARN 리소스의 약 60% 를 Hive LLAP 데몬에 EMR 할당합니다. Hive에 할당되는 클러스터 YARN 리소스의 LLAP 비율과 Hive 할당 시 고려할 작업 및 코어 노드의 수를 구성할 수 있습니다. LLAP

예를 들어, 다음 구성은 세 개의 작업 또는 코어 노드에 세 개의 LLAP 데몬으로 Hive를 시작하고 세 개의 코어 또는 작업 노드 리소스 중 40% 를 Hive YARN 데몬에 할당합니다. LLAP

[
  {
    "Classification": "hive",
    "Properties": {
      "hive.llap.enabled": "true",
      "hive.llap.percent-allocation": "0.4",
      "hive.llap.num-instances": "3"
    }
  }
]

분류에서 다음 hive-site 구성을 사용하여 기본 리소스 설정을 재정의할 수 있습니다. API LLAP

속성	설명
hive.llap.daemon.yarn.container.mb	총 LLAP 데몬 컨테이너 크기 (MB)
hive.llap.daemon.memory.per.instance.mb	LLAP데몬 컨테이너에서 실행자가 사용한 총 메모리 (MB)
hive.llap.io.memory.size	입력/출력용 캐시 크기 LLAP
hive.llap.daemon.num.executors	데몬당 실행자 수 LLAP

클러스터에서 Hive를 수동으로 LLAP 시작하십시오.

에서 사용하는 모든 종속성 및 구성은 클러스터 시작의 일부로 LLAP tar 아카이브에 LLAP 패키징됩니다. 를 사용하여 "hive.llap.enabled": "true" 활성화한 경우 LLAP Amazon EMR 재구성을 사용하여 구성을 변경하는 것이 LLAP 좋습니다.

그렇지 않으면 수동으로 변경하려면 hive-site.xml 다음 예제에서 볼 수 있듯이 hive --service llap 명령을 사용하여 LLAP tar 아카이브를 다시 빌드해야 합니다.

# Define how many resources you want to allocate to Hive LLAP

LLAP_INSTANCES=<how many llap daemons to run on cluster>
LLAP_SIZE=<total container size per llap daemon>
LLAP_EXECUTORS=<number of executors per daemon>
LLAP_XMX=<Memory used by executors>
LLAP_CACHE=<Max cache size for IO allocator>

yarn app -enableFastLaunch

hive --service llap \
--instances $LLAP_INSTANCES \
--size ${LLAP_SIZE}m \
--executors $LLAP_EXECUTORS \
--xmx ${LLAP_XMX}m \
--cache ${LLAP_CACHE}m \
--name llap0 \
--auxhbase=false \
--startImmediately

Hive 상태를 확인하세요. LLAP

다음 명령을 사용하여 Hive를 LLAP 통해 Hive 상태를 확인합니다.

hive --service llapstatus

다음 명령을 사용하여 LLAP Hive 사용 상태를 확인합니다. YARN

yarn app -status (name-of-llap-service)

# example: 
yarn app -status llap0 | jq

Hive 시작 또는 중지 LLAP

Hive는 영구 YARN 서비스로 LLAP 실행되므로 서비스를 중지하거나 다시 시작하여 LLAP Hive를 중지하거나 다시 시작합니다. YARN 다음 명령은 이를 보여줍니다.

yarn app -stop llap0
yarn app -start llap0

Hive 데몬 수 크기 조정 LLAP

다음 명령을 사용하여 인스턴스 수를 줄이십시오. LLAP

yarn app -flex llap0 -component llap -1

자세한 내용은 서비스 구성 요소 Flex를 참조하십시오.