Hive Live Long and Process の使用 (LLAP）

Amazon EMR 6.0.0 は、Hive の Live Long および Process (LLAP) 機能をサポートしています。LLAP は、インテリジェントなインメモリキャッシュを備えた永続デーモンを使用して、以前のデフォルトの Tez コンテナ実行モードと比較してクエリパフォーマンスを向上させます。

Hive LLAPデーモンは管理され、YARNサービスとして実行されます。YARN サービスは長時間実行されるYARNアプリケーションと見なされる可能性があるため、クラスターリソースの一部は Hive 専用LLAPであり、他のワークロードには使用できません。詳細については、LLAP「」およびYARN「サービスAPI」を参照してください。

Amazon LLAPで Hive を有効にする EMR

Amazon LLAPで Hive を有効にするにはEMR、クラスターを起動するときに次の設定を指定します。

[
  {
    "Classification": "hive",
    "Properties": {
      "hive.llap.enabled": "true"
    }
  }
]

詳細については、「アプリケーションの設定」を参照してください。

デフォルトでは、Amazon はクラスターYARNリソースの約 60% を Hive LLAP デーモンにEMR割り当てます。Hive に割り当てられたクラスターYARNリソースの割合LLAPと、Hive LLAP割り当ての対象となるタスクノードとコアノードの数を設定できます。

例えば、次の設定では、3 つのタスクノードまたはコアノードで 3 つのデーモンLLAPを使用して Hive を開始し、3 つのコアノードまたはタスクノードのYARNリソースの 40% を Hive LLAP デーモンに割り当てます。

[
  {
    "Classification": "hive",
    "Properties": {
      "hive.llap.enabled": "true",
      "hive.llap.percent-allocation": "0.4",
      "hive.llap.num-instances": "3"
    }
  }
]

分類で次のhive-site設定を使用してAPI、デフォルトのLLAPリソース設定を上書きできます。

プロパティ	説明
hive.llap.daemon.yarn.container.mb	LLAP デーモンコンテナの合計サイズ (MB)
hive.llap.daemon.memory.per.instance.mb	LLAP デーモンコンテナ内のエグゼキュターが使用するメモリの合計 (MB)
hive.llap.io.memory.size	LLAP 入出力のキャッシュサイズ
hive.llap.daemon.num.executors	LLAP デーモンあたりのエグゼキュター数

クラスターLLAPで Hive を手動で起動する

で使用されるすべての依存関係と設定LLAPは、クラスターの起動の一部として LLAP tar アーカイブにパッケージ化されます。を使用して が有効になっている場合LLAPは"hive.llap.enabled": "true"、Amazon EMRの再設定を使用して の設定変更を行うことをお勧めしますLLAP。

それ以外の場合、 を手動で変更する場合はhive-site.xml、次の例に示すように、 hive --service llap コマンドを使用して LLAP tar アーカイブを再構築する必要があります。

# Define how many resources you want to allocate to Hive LLAP

LLAP_INSTANCES=<how many llap daemons to run on cluster>
LLAP_SIZE=<total container size per llap daemon>
LLAP_EXECUTORS=<number of executors per daemon>
LLAP_XMX=<Memory used by executors>
LLAP_CACHE=<Max cache size for IO allocator>

yarn app -enableFastLaunch

hive --service llap \
--instances $LLAP_INSTANCES \
--size ${LLAP_SIZE}m \
--executors $LLAP_EXECUTORS \
--xmx ${LLAP_XMX}m \
--cache ${LLAP_CACHE}m \
--name llap0 \
--auxhbase=false \
--startImmediately

Hive LLAPステータスを確認する

次のコマンドを使用して、Hive LLAP経由で Hive のステータスを確認します。

hive --service llapstatus

次のコマンドを使用して、 LLAPを使用して Hive のステータスを確認しますYARN。

yarn app -status (name-of-llap-service)

# example: 
yarn app -status llap0 | jq

Hive を開始または停止する LLAP

Hive は永続YARNサービスとしてLLAP実行されるため、YARNサービスを停止または再起動して Hive を停止または再起動しますLLAP。次のコマンドはこれを示しています。

yarn app -stop llap0
yarn app -start llap0

Hive LLAP デーモンの数を変更する

インスタンスの数を減らすには、次のコマンドを使用しますLLAP。

yarn app -flex llap0 -component llap -1

詳細については、「Flex a component of a service」を参照してください。