Ajuste de performance
Ao criar uma tabela externa do Hive mapeada em uma tabela do DynamoDB, você não consome nenhuma capacidade de leitura ou gravação do DynamoDB. No entanto, a atividade de leitura e gravação na tabela do Hive (como INSERT
ou SELECT
) se traduz diretamente em operações de leitura e gravação na tabela subjacente do DynamoDB.
O Apache Hive no Amazon EMR implementa sua próxima lógica para balancear a carga de E/S na tabela do DynamoDB e procura minimizar a possibilidade de exceder o throughput provisionado da tabela. No final de cada consulta do Hive, o Amazon EMR retorna as métricas de tempo de execução, incluindo o número de vezes em que o throughput provisionado foi excedido. Você pode usar essas informações, com as métricas do CloudWatch em sua tabela do DynamoDB, para melhorar a performance em solicitações subsequentes.
O console do Amazon EMR fornece ferramentas de monitoramento básicas para seu cluster. Para obter mais informações, consulte Visualizar e monitorar um cluster no Guia de gerenciamento do Amazon EMR.
É possível monitorar o cluster e trabalhos do Hadoop usando ferramentas baseadas na Web, como Matiz, Ganglia e a interface da web do Hadoop. Para obter mais informações, consulte Visualizar interfaces da Web hospedadas em clusters do Amazon EMR no Guia de gerenciamento do Amazon EMR.
Esta seção descreve as etapas que você pode executar para ajustar a performance das operações do Hive em tabelas externas do DynamoDB.