Verwendung von Hive Live Long und Process () LLAP

Amazon EMR 6.0.0 unterstützt die Funktionen Live Long und Process (LLAP) für Hive. LLAPverwendet persistente Daemons mit intelligentem In-Memory-Caching, um die Abfrageleistung im Vergleich zum vorherigen Standard-Tez-Container-Ausführungsmodus zu verbessern.

Die LLAP Hive-Daemons werden als Dienst verwaltet und ausgeführt. YARN Da ein YARN Dienst als lang laufende YARN Anwendung betrachtet werden kann, sind einige Ihrer Clusterressourcen Hive vorbehalten LLAP und können nicht für andere Workloads verwendet werden. Weitere Informationen finden Sie unter LLAPService. YARN API

Hive LLAP auf Amazon aktivieren EMR

Um Hive LLAP auf Amazon zu aktivierenEMR, geben Sie beim Starten eines Clusters die folgende Konfiguration an.

[
  {
    "Classification": "hive",
    "Properties": {
      "hive.llap.enabled": "true"
    }
  }
]

Weitere Informationen finden Sie unter Konfigurieren von Anwendungen.

Standardmäßig EMR weist Amazon etwa 60 Prozent der YARN Cluster-Ressourcen LLAP Hive-Daemons zu. Sie können den Prozentsatz der YARN Cluster-Ressourcen, die Hive zugewiesen sind, LLAP und die Anzahl der Task- und Core-Knoten, die bei der Hive-Zuweisung berücksichtigt werden sollen, konfigurieren. LLAP

Bei der folgenden Konfiguration wird Hive beispielsweise LLAP mit drei Daemons auf drei Aufgaben- oder Kernknoten gestartet und 40 Prozent der Ressourcen der drei Kern- oder Aufgabenknoten werden den Hive-Daemons zugewiesen. YARN LLAP

[
  {
    "Classification": "hive",
    "Properties": {
      "hive.llap.enabled": "true",
      "hive.llap.percent-allocation": "0.4",
      "hive.llap.num-instances": "3"
    }
  }
]

Sie können die folgenden hive-site Konfigurationen in der Klassifizierung verwenden, um die Standardressourceneinstellungen zu überschreiben. API LLAP

Property (Eigenschaft)	Description (Beschreibung)
hive.llap.daemon.yarn.container.mb	Gesamtgröße des LLAP Daemon-Containers (in MB)
hive.llap.daemon.memory.per.instance.mb	Der Gesamtspeicher, der von den Executoren im LLAP Daemon-Container verwendet wird (in MB)
hive.llap.io.memory.size	Cache-Größe für Eingabe/Ausgabe LLAP
hive.llap.daemon.num.executors	Anzahl der Executoren pro Daemon LLAP

Starten Sie Hive manuell LLAP auf Ihrem Cluster

Alle Abhängigkeiten und Konfigurationen, die von verwendet werden, LLAP werden im Rahmen des Cluster-Starts in das LLAP Tar-Archiv gepackt. Wenn aktiviert LLAP ist, empfehlen wir Ihnen"hive.llap.enabled": "true", die EMR Amazon-Neukonfiguration zu verwenden, um Konfigurationsänderungen an LLAP vorzunehmen.

Andernfalls müssen Sie bei manuellen Änderungen hive-site.xml das LLAP Tar-Archiv mithilfe des hive --service llap Befehls neu erstellen, wie das folgende Beispiel zeigt.

# Define how many resources you want to allocate to Hive LLAP

LLAP_INSTANCES=<how many llap daemons to run on cluster>
LLAP_SIZE=<total container size per llap daemon>
LLAP_EXECUTORS=<number of executors per daemon>
LLAP_XMX=<Memory used by executors>
LLAP_CACHE=<Max cache size for IO allocator>

yarn app -enableFastLaunch

hive --service llap \
--instances $LLAP_INSTANCES \
--size ${LLAP_SIZE}m \
--executors $LLAP_EXECUTORS \
--xmx ${LLAP_XMX}m \
--cache ${LLAP_CACHE}m \
--name llap0 \
--auxhbase=false \
--startImmediately

Überprüfen Sie den Hive-Status LLAP

Verwenden Sie den folgenden Befehl, um den Status von Hive LLAP über Hive zu überprüfen.

hive --service llapstatus

Verwenden Sie den folgenden Befehl, um den Status von Hive LLAP using zu überprüfen. YARN

yarn app -status (name-of-llap-service)

# example: 
yarn app -status llap0 | jq

Starten oder beenden Sie Hive LLAP

Da Hive als persistenter YARN Dienst LLAP ausgeführt wird, beenden oder starten Sie den YARN Dienst neu, um Hive LLAP zu beenden oder neu zu starten. Die folgenden Befehle veranschaulichen dies.

yarn app -stop llap0
yarn app -start llap0

Ändern Sie die Größe der Anzahl der Hive-Daemons LLAP

Verwenden Sie den folgenden Befehl, um die Anzahl der LLAP Instanzen zu reduzieren.

yarn app -flex llap0 -component llap -1

Weitere Informationen finden Sie unter Flexible auf eine Komponente eines Services reagieren.