Selecione suas preferências de cookies

Usamos cookies essenciais e ferramentas semelhantes que são necessárias para fornecer nosso site e serviços. Usamos cookies de desempenho para coletar estatísticas anônimas, para que possamos entender como os clientes usam nosso site e fazer as devidas melhorias. Cookies essenciais não podem ser desativados, mas você pode clicar em “Personalizar” ou “Recusar” para recusar cookies de desempenho.

Se você concordar, a AWS e terceiros aprovados também usarão cookies para fornecer recursos úteis do site, lembrar suas preferências e exibir conteúdo relevante, incluindo publicidade relevante. Para aceitar ou recusar todos os cookies não essenciais, clique em “Aceitar” ou “Recusar”. Para fazer escolhas mais detalhadas, clique em “Personalizar”.

Usando o Hive Live Long and Process () LLAP - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Usando o Hive Live Long and Process () LLAP

O Amazon EMR 6.0.0 oferece suporte às funcionalidades Live Long and Process (LLAP) para o Hive. LLAPusa daemons persistentes com cache inteligente na memória para melhorar o desempenho da consulta em comparação com o modo de execução de contêiner Tez padrão anterior.

Os LLAP daemons do Hive são gerenciados e executados como um serviço. YARN Como um YARN serviço pode ser considerado um YARN aplicativo de longa execução, alguns dos recursos do cluster são dedicados ao Hive LLAP e não podem ser usados para outras cargas de trabalho. Para obter mais informações, consulte LLAPe YARNServiço API.

Ative o Hive LLAP na Amazon EMR

Para habilitar o Hive LLAP na AmazonEMR, forneça a seguinte configuração ao iniciar um cluster.

[ { "Classification": "hive", "Properties": { "hive.llap.enabled": "true" } } ]

Para obter mais informações, consulte Configurar aplicações.

Por padrão, a Amazon EMR aloca cerca de 60% dos YARN recursos do cluster para daemons do HiveLLAP. Você pode configurar a porcentagem de YARN recursos de cluster alocados para o Hive LLAP e o número de tarefas e nós principais a serem considerados para a alocação do HiveLLAP.

Por exemplo, a configuração a seguir inicia o Hive LLAP com três daemons em três tarefas ou nós principais e aloca 40% dos recursos dos três núcleos ou dos nós de tarefas para os daemons do Hive. YARN LLAP

[ { "Classification": "hive", "Properties": { "hive.llap.enabled": "true", "hive.llap.percent-allocation": "0.4", "hive.llap.num-instances": "3" } } ]

Você pode usar as seguintes hive-site configurações na classificação API para substituir as configurações padrão de LLAP recursos.

Propriedade Descrição
hive.llap.daemon.yarn.container.mb Tamanho total LLAP do contêiner do daemon (em MB)
hive.llap.daemon.memory.per.instance.mb

A memória total usada pelos executores no contêiner do LLAP daemon (em MB)

hive.llap.io.memory.size

Tamanho do cache para LLAP entrada/saída

hive.llap.daemon.num.executors

Número de executores por daemon LLAP

Inicie o Hive LLAP em seu cluster manualmente

Todas as dependências e configurações usadas pelo LLAP são empacotadas no arquivo LLAP tar como parte da inicialização do cluster. Se LLAP estiver habilitado usando"hive.llap.enabled": "true", recomendamos que você use a EMR reconfiguração da Amazon para fazer LLAP alterações na configuração.

Caso contrário, para qualquer alteração manualhive-site.xml, você deverá reconstruir o arquivo LLAP tar usando o hive --service llap comando, conforme demonstra o exemplo a seguir.

# Define how many resources you want to allocate to Hive LLAP LLAP_INSTANCES=<how many llap daemons to run on cluster> LLAP_SIZE=<total container size per llap daemon> LLAP_EXECUTORS=<number of executors per daemon> LLAP_XMX=<Memory used by executors> LLAP_CACHE=<Max cache size for IO allocator> yarn app -enableFastLaunch hive --service llap \ --instances $LLAP_INSTANCES \ --size ${LLAP_SIZE}m \ --executors $LLAP_EXECUTORS \ --xmx ${LLAP_XMX}m \ --cache ${LLAP_CACHE}m \ --name llap0 \ --auxhbase=false \ --startImmediately

Verifique o status do Hive LLAP

Use o comando a seguir para verificar o status do Hive LLAP por meio do Hive.

hive --service llapstatus

Use o comando a seguir para verificar o status de LLAP uso YARN do Hive.

yarn app -status (name-of-llap-service) # example: yarn app -status llap0 | jq

Iniciar ou parar o Hive LLAP

Como o Hive LLAP é executado como um YARN serviço persistente, você interrompe ou reinicia o YARN serviço para interromper ou reiniciar o HiveLLAP. Os comandos a seguir demonstram isso.

yarn app -stop llap0 yarn app -start llap0

Redimensionar o número de daemons do Hive LLAP

Use o comando a seguir para reduzir o número de LLAP instâncias.

yarn app -flex llap0 -component llap -1

Para obter mais informações, consulte Flex a component of a service.

PrivacidadeTermos do sitePreferências de cookies
© 2025, Amazon Web Services, Inc. ou suas afiliadas. Todos os direitos reservados.