As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Usando o Hive Live Long and Process () LLAP
O Amazon EMR 6.0.0 oferece suporte às funcionalidades Live Long and Process (LLAP) para o Hive. LLAPusa daemons persistentes com cache inteligente na memória para melhorar o desempenho da consulta em comparação com o modo de execução de contêiner Tez padrão anterior.
Os LLAP daemons do Hive são gerenciados e executados como um serviço. YARN Como um YARN serviço pode ser considerado um YARN aplicativo de longa execução, alguns dos recursos do cluster são dedicados ao Hive LLAP e não podem ser usados para outras cargas de trabalho. Para obter mais informações, consulte LLAP
Ative o Hive LLAP na Amazon EMR
Para habilitar o Hive LLAP na AmazonEMR, forneça a seguinte configuração ao iniciar um cluster.
[
{
"Classification": "hive",
"Properties": {
"hive.llap.enabled": "true"
}
}
]
Para obter mais informações, consulte Configurar aplicações.
Por padrão, a Amazon EMR aloca cerca de 60% dos YARN recursos do cluster para daemons do HiveLLAP. Você pode configurar a porcentagem de YARN recursos de cluster alocados para o Hive LLAP e o número de tarefas e nós principais a serem considerados para a alocação do HiveLLAP.
Por exemplo, a configuração a seguir inicia o Hive LLAP com três daemons em três tarefas ou nós principais e aloca 40% dos recursos dos três núcleos ou dos nós de tarefas para os daemons do Hive. YARN LLAP
[
{
"Classification": "hive",
"Properties": {
"hive.llap.enabled": "true",
"hive.llap.percent-allocation": "0.4",
"hive.llap.num-instances": "3"
}
}
]
Você pode usar as seguintes hive-site
configurações na classificação API para substituir as configurações padrão de LLAP recursos.
Propriedade | Descrição |
---|---|
hive.llap.daemon.yarn.container.mb | Tamanho total LLAP do contêiner do daemon (em MB) |
hive.llap.daemon.memory.per.instance.mb |
A memória total usada pelos executores no contêiner do LLAP daemon (em MB) |
hive.llap.io.memory.size |
Tamanho do cache para LLAP entrada/saída |
hive.llap.daemon.num.executors |
Número de executores por daemon LLAP |
Inicie o Hive LLAP em seu cluster manualmente
Todas as dependências e configurações usadas pelo LLAP são empacotadas no arquivo LLAP tar como parte da inicialização do cluster. Se LLAP estiver habilitado usando"hive.llap.enabled": "true"
, recomendamos que você use a EMR reconfiguração da Amazon para fazer LLAP alterações na configuração.
Caso contrário, para qualquer alteração manualhive-site.xml
, você deverá reconstruir o arquivo LLAP tar usando o hive --service llap
comando, conforme demonstra o exemplo a seguir.
# Define how many resources you want to allocate to Hive LLAP
LLAP_INSTANCES=<how many llap daemons to run on cluster>
LLAP_SIZE=<total container size per llap daemon>
LLAP_EXECUTORS=<number of executors per daemon>
LLAP_XMX=<Memory used by executors>
LLAP_CACHE=<Max cache size for IO allocator>
yarn app -enableFastLaunch
hive --service llap \
--instances $LLAP_INSTANCES \
--size ${LLAP_SIZE}m \
--executors $LLAP_EXECUTORS \
--xmx ${LLAP_XMX}m \
--cache ${LLAP_CACHE}m \
--name llap0 \
--auxhbase=false \
--startImmediately
Verifique o status do Hive LLAP
Use o comando a seguir para verificar o status do Hive LLAP por meio do Hive.
hive --service llapstatus
Use o comando a seguir para verificar o status de LLAP uso YARN do Hive.
yarn app -status (name-of-llap-service)
# example:
yarn app -status llap0 | jq
Iniciar ou parar o Hive LLAP
Como o Hive LLAP é executado como um YARN serviço persistente, você interrompe ou reinicia o YARN serviço para interromper ou reiniciar o HiveLLAP. Os comandos a seguir demonstram isso.
yarn app -stop llap0
yarn app -start llap0
Redimensionar o número de daemons do Hive LLAP
Use o comando a seguir para reduzir o número de LLAP instâncias.
yarn app -flex llap0 -component llap -1
Para obter mais informações, consulte Flex a component of a service