Determinar requisitos de capacidade
Antes de criar uma reserva de capacidade, é possível fazer uma estimativa da capacidade necessária para atribuir a ela o número correto de DPUs. E depois que a reserva estiver em uso, convém verificar se a reserva tem capacidade insuficiente ou excessiva. Este tópico descreve as técnicas que você pode usar para fazer essas estimativas e também descreve algumas ferramentas da AWS para avaliar o uso e o custo.
Tópicos
Fazer a estimativa da capacidade necessária
Ao estimar os requisitos de capacidade, é útil considerar duas perspectivas: a quantidade de capacidade que uma consulta específica pode exigir e a quantidade de capacidade que você pode precisar em geral.
Fazer a estimativa dos requisitos de capacidade por consulta
Para determinar o número de DPUs que uma consulta pode exigir, é possível usar as seguintes diretrizes:
-
As consultas DDL consomem 4 DPUs.
-
As consultas DML normalmente consomem entre 4 e 124 DPUs.
O Athena determina o número de DPUs necessárias para uma consulta DML quando a consulta é enviada. O número varia conforme o tamanho dos dados, o formato de armazenamento, a estrutura da consulta e outros fatores. Geralmente, o Athena tenta selecionar o número de DPUs mais baixo e mais eficiente. Se o Athena determinar que é necessário obter mais capacidade computacional para que a consulta seja concluída com êxito, ele aumentará o número de DPUs atribuídas à consulta.
Como fazer a estimativa dos requisitos de capacidade específicos da workload
Para determinar a quantidade de capacidade necessária para executar várias consultas ao mesmo tempo, considere as diretrizes gerais na tabela a seguir:
| Consultas simultâneas | DPUs necessárias |
|---|---|
| 10 | 40 ou mais |
| 20 | 96 ou mais |
| 30 ou mais | 240 ou mais |
O número real de DPUs necessárias depende de suas metas e padrões de análise. Por exemplo, se você quiser que as consultas comecem imediatamente sem filas, determine o pico de demanda simultânea de consultas e provisione o número de DPUs de acordo.
Você pode provisionar menos DPUs do que sua demanda de pico, mas o enfileiramento poderá ocorrer quando ocorrer o pico de demanda. Quando ocorre o enfileiramento, o Athena mantém as consultas em uma fila e as executa quando a capacidade torna-se disponível.
Se sua meta for executar consultas dentro de um orçamento fixo, você poderá usar a Calculadora de preços da AWS
Por fim, lembre-se de que o tamanho dos dados, o formato de armazenamento e a forma como uma consulta é escrita influenciam as DPUs necessárias para uma consulta. Para aumentar a performance da consulta, é possível compactar ou particionar os dados ou convertê-los para formatos em colunas. Para ter mais informações, consulte Ajuste de performance no Athena.
Sinais da necessidade de mais capacidade
Mensagens de erro de capacidade insuficiente e enfileiramento de consultas são duas indicações de que a capacidade atribuída é inadequada.
Se as consultas falharem com uma mensagem de erro de capacidade insuficiente, o número de DPUs da reserva de capacidade provavelmente será muito baixo para a consulta. Por exemplo, se você tiver uma reserva com 24 DPUs e executar uma consulta que exija mais de 24 DPUs, a consulta falhará. Para monitorar esse erro de consulta, use os eventos do EventBridge do Athena. Tente adicionar mais DPUs e executar a consulta novamente.
Se muitas consultas estiverem em fila, significa que a capacidade foi totalmente utilizada por outras consultas. Para reduzir o enfileiramento, realize uma destas ações:
-
Adicione DPUs à reserva para aumentar a simultaneidade de consultas.
-
Remova grupos de trabalho da reserva para liberar capacidade para outras consultas.
Para verificar se há excesso de filas de consultas, use a métrica do CloudWatch de tempo de fila de consultas do Athena para os grupos de trabalho na sua reserva de capacidade. Se o valor estiver acima de seu limite preferencial, você poderá adicionar DPUs à reserva de capacidade.
Como verificar a capacidade ociosa
Para verificar a capacidade ociosa, você pode diminuir o número de DPUs na reserva ou aumentar a workload e observar os resultados.
Para verificar a capacidade ociosa
-
Execute um destes procedimentos:
-
Reduza o número de DPUs da reserva (reduza os recursos disponíveis)
-
Adicione grupos de trabalho à reserva (aumente a workload)
-
-
Use o CloudWatch para medir o tempo da fila de consultas.
-
Se o tempo de espera ultrapassar um nível desejável, realize uma destas ações:
-
Remova grupos de trabalho
-
Adicione DPUs à reserva de capacidade
-
-
Após cada alteração, verifique a performance e o tempo da fila de consultas.
-
Continue ajustando a workload ou a contagem de DPUs para atingir o equilíbrio desejado.
Caso não queira manter a capacidade fora de um período de tempo preferencial, você pode cancelar a reserva e criar outra reserva posteriormente. Porém, mesmo que você tenha cancelado recentemente a capacidade de outra reserva, as solicitações de nova capacidade não são garantidas e as novas reservas demoram para serem criadas.
Ferramentas para avaliar requisitos de capacidade e custo
Você pode usar os serviços e recursos da AWS a seguir para medir o uso e os custos do Athena.
Métricas do CloudWatch
É possível configurar o Athena para publicar métricas relacionadas a consultas no Amazon CloudWatch no nível do grupo de trabalho. Depois que você habilitar as métricas para o grupo de trabalho, as métricas das consultas do grupo de trabalho serão exibidas no console do Athena na página de detalhes do grupo de trabalho.
Para obter informações sobre as métricas do Athena publicadas no CloudWatch e suas dimensões, consulte Monitorar consultas do Athena com métricas do CloudWatch.
Métricas de uso do CloudWatch
Você pode usar as métricas de uso do CloudWatch para fornecer visibilidade de como a conta usa os recursos, exibindo o uso do serviço atual nos gráficos e painéis do CloudWatch. Para o Athena, as métricas de disponibilidade para uso correspondem às cotas de serviço da AWS para o Athena. Também é possível configurar alarmes que alertem você quando o uso se aproximar de uma cota de serviço.
Para ter mais informações, consulte Monitorar as métricas de uso do Athena.
Eventos do Amazon EventBridge
Você pode usar o Amazon Athena com o Amazon EventBridge para receber notificações em tempo real sobre o estado das consultas. Quando o estado de uma consulta enviada é alterado, o Athena publica um evento no EventBridge que contém informações sobre a transição de estado da consulta. É possível gravar regras simples para eventos do seu interesse e realizar ações automatizadas quando um evento corresponder a uma regra.
Para obter mais informações, consulte os recursos a seguir.
Tags
No Athena, as reservas de capacidade são compatíveis com etiquetas. Uma etiqueta consiste em uma chave e um valor. Para rastrear seus custos no Athena, você pode usar etiquetas de alocação de custos geradas pela AWS. A AWS utiliza as etiquetas de alocação de custos para organizar os custos de recursos em seu Relatório de Custos e Uso. Isso facilita a categorização e o controle de seus custos na AWS. Para ativar as etiquetas de alocação de custos para o Athena, use o console do AWS Billing and Cost Management
Para obter mais informações, consulte os recursos a seguir.
