Utilizzo di Hive Live Long and Process () LLAP

Amazon EMR 6.0.0 supporta le funzionalità Live Long e Process (LLAP) per Hive. LLAPutilizza demoni persistenti con caching intelligente in memoria per migliorare le prestazioni delle query rispetto alla precedente modalità di esecuzione predefinita del contenitore Tez.

I LLAP daemon Hive sono gestiti ed eseguiti come servizio. YARN Poiché un YARN servizio può essere considerato un'YARNapplicazione a esecuzione prolungata, alcune risorse del cluster sono dedicate a Hive LLAP e non possono essere utilizzate per altri carichi di lavoro. Per ulteriori informazioni, vedere LLAPand Service. YARN API

Abilita Hive LLAP su Amazon EMR

Per abilitare Hive LLAP su AmazonEMR, fornisci la seguente configurazione quando avvii un cluster.

[
  {
    "Classification": "hive",
    "Properties": {
      "hive.llap.enabled": "true"
    }
  }
]

Per ulteriori informazioni, consulta Configurazione delle applicazioni.

Per impostazione predefinita, Amazon EMR alloca circa il 60 percento delle YARN risorse del cluster ai daemon Hive. LLAP Puoi configurare la percentuale di YARN risorse del cluster allocate a Hive LLAP e il numero di task e nodi principali da prendere in considerazione per l'allocazione di Hive. LLAP

Ad esempio, la seguente configurazione avvia Hive LLAP con tre daemon su tre task o nodi principali e alloca il 40 percento della risorsa dei tre nodi principali o dei task node ai daemon Hive. YARN LLAP

[
  {
    "Classification": "hive",
    "Properties": {
      "hive.llap.enabled": "true",
      "hive.llap.percent-allocation": "0.4",
      "hive.llap.num-instances": "3"
    }
  }
]

È possibile utilizzare le seguenti hive-site configurazioni nella classificazione per sovrascrivere le impostazioni predefinite delle risorse. API LLAP

Proprietà	Descrizione
hive.llap.daemon.yarn.container.mb	Dimensione totale del contenitore del LLAP demone (in MB)
hive.llap.daemon.memory.per.instance.mb	La memoria totale utilizzata dagli esecutori nel contenitore del LLAP demone (in MB)
hive.llap.io.memory.size	Dimensione della cache per Input/Output LLAP
hive.llap.daemon.num.executors	Numero di esecutori per demone LLAP

Avvia Hive LLAP sul tuo cluster manualmente

Tutte le dipendenze e le configurazioni utilizzate da LLAP vengono impacchettate nell'archivio LLAP tar come parte dell'avvio del cluster. Se LLAP è abilitato l'utilizzo"hive.llap.enabled": "true", ti consigliamo di utilizzare la EMR riconfigurazione Amazon per apportare modifiche alla LLAP configurazione.

Altrimenti, per qualsiasi modifica manuale ahive-site.xml, è necessario ricostruire l'archivio LLAP tar utilizzando il hive --service llap comando, come dimostra l'esempio seguente.

# Define how many resources you want to allocate to Hive LLAP

LLAP_INSTANCES=<how many llap daemons to run on cluster>
LLAP_SIZE=<total container size per llap daemon>
LLAP_EXECUTORS=<number of executors per daemon>
LLAP_XMX=<Memory used by executors>
LLAP_CACHE=<Max cache size for IO allocator>

yarn app -enableFastLaunch

hive --service llap \
--instances $LLAP_INSTANCES \
--size ${LLAP_SIZE}m \
--executors $LLAP_EXECUTORS \
--xmx ${LLAP_XMX}m \
--cache ${LLAP_CACHE}m \
--name llap0 \
--auxhbase=false \
--startImmediately

Controlla lo stato di Hive LLAP

Usa il seguente comando per controllare lo stato di Hive LLAP tramite Hive.

hive --service llapstatus

Usa il seguente comando per controllare lo stato di LLAP Hive utilizzando. YARN

yarn app -status (name-of-llap-service)

# example: 
yarn app -status llap0 | jq

Avvia o arresta Hive LLAP

Poiché Hive LLAP viene eseguito come YARN servizio persistente, interrompi o riavvii il YARN servizio per arrestare o riavviare LLAP Hive. I comandi seguenti illustrano come funziona.

yarn app -stop llap0
yarn app -start llap0

Ridimensiona il numero di demoni Hive LLAP

Utilizzate il seguente comando per ridurre il numero di istanze. LLAP

yarn app -flex llap0 -component llap -1

Per ulteriori informazioni, vedere Flex di un componente di un servizio.