Como gerenciar a capacidade de processamento de consulta - Amazon Athena

Como gerenciar a capacidade de processamento de consulta

Use as reservas de capacidade para obter capacidade de processamento dedicada para as consultas que você executa no Athena. Com as reservas de capacidade, é possível aproveitar os recursos de gerenciamento de workload que ajudam a priorizar, controlar e escalar suas workloads interativas mais importantes. Por exemplo, você pode adicionar capacidade a qualquer momento para aumentar o número de consultas que poderão ser executadas simultaneamente, controlar quais workloads poderão usar a capacidade e compartilhar a capacidade entre as workloads. A capacidade é totalmente gerenciada pelo Athena e armazenada pelo tempo que você precisar. A configuração é fácil, e não é necessário alterar as instruções SQL.

Para obter capacidade de processamento para suas consultas, crie uma reserva de capacidade, especifique o número de unidades de processamento de dados (DPUs) necessárias e atribua um ou mais grupos de trabalho à reserva.

Os grupos de trabalho têm um papel importante no uso das reservas de capacidade. Os grupos de trabalho permitem organizar consultas em agrupamentos lógicos. Com as reservas de capacidade, atribua seletivamente a capacidade aos grupos de trabalho para controlar como as consultas de cada grupo de trabalho se comportam e como são faturadas. Para obter mais informações sobre grupos de trabalho, consulte Usar grupos de trabalho para controlar o acesso a consultas e os custos.

Atribuir grupos de trabalho às reservas permite que você dê prioridade às consultas enviadas aos grupos de trabalho atribuídos. Por exemplo, é possível alocar capacidade para um grupo de trabalho usado para consultas urgentes de relatórios financeiros para isolá-las de consultas menos essenciais em outro grupo de trabalho. Isso permite a execução consistente de consultas para workloads essenciais, permitindo que outras workloads sejam executadas de forma independente.

Você pode usar reservas de capacidade e grupos de trabalho juntos para cumprir diferentes requisitos. Estes são alguns dos cenários de exemplo:

  • Isolamento: para isolar uma workload importante, atribua um único grupo de trabalho a uma reserva. Somente as consultas do grupo de trabalho designado usam a capacidade de processamento da reserva escolhida.

  • Compartilhamento: várias workloads compartilham a capacidade de uma única reserva. Por exemplo, se você quiser um custo mensal previsível para um conjunto específico de workloads, é possível atribuir vários grupos de trabalho a uma única reserva. Os grupos de trabalho designados compartilham a capacidade da reserva.

  • Modelo misto: você pode usar reservas de capacidade e cobrança por consulta na mesma conta e ao mesmo tempo. Por exemplo, para garantir a execução confiável de consultas que oferecem suporte a uma aplicação de produção, atribua um grupo de trabalho para essas consultas a uma reserva de capacidade. Para desenvolver as consultas antes de passá-las para o grupo de trabalho de produção, use um grupo de trabalho separado que não esteja associado a uma reserva e que, portanto, use cobrança por consulta.

Noções básicas sobre DPUs

A capacidade é medida em unidades de processamento de dados (DPUs). As DPUs representam os recursos de computação e memória usados pelo Athena para acessar e processar dados para você. Uma DPU fornece 4 vCPUs e 16 GB de memória. O número especificado de DPUs influencia o número de consultas que você pode executar simultaneamente. Por exemplo, uma reserva com 256 DPUs permite aproximadamente duas vezes mais consultas simultâneas do que uma reserva com 128 DPUs.

É possível criar até 100 reservas de capacidade com até mil DPUs por conta e por região. O número mínimo de DPUs que você pode solicitar é 24. Caso precise de mais de mil DPUs para seu caso de uso, entre em contato com athena-feedback@amazon.com.

Para obter informações sobre como fazer a estimativa de seus requisitos de capacidade, consulte Determinar requisitos de capacidade. Para obter informações de preço, consulte Preços do Amazon Athena.

Considerações e limitações

  • A propriedade requer o mecanismo Athena versão 3.

  • Um único grupo de trabalho pode ser atribuído a, no máximo, uma reserva por vez, e você pode adicionar no máximo 20 grupos de trabalho a uma reserva.

  • Não é possível adicionar grupos de trabalho habilitados para o Spark a uma reserva de capacidade.

  • Para excluir um grupo de trabalho que tenha sido atribuído a uma reserva, remova antes o grupo de trabalho da reserva.

  • O número mínimo de DPUs que você pode provisionar é 24.

  • É possível criar até 100 reservas de capacidade com até mil DPUs por conta e por região.

  • As solicitações de capacidade não são garantidas e podem levar até 30 minutos para serem concluídas.

  • É cobrado um período mínimo de 1 hora por reserva. Depois de 1 hora, a capacidade é cobrada por minuto. Para obter informações de preço, consulte Preços do Amazon Athena.

  • A capacidade reservada não é transferível para outra reserva de capacidade, Conta da AWS ou Região da AWS.

  • Consultas DDL sobre reservas de capacidade consomem DPUs.

  • As consultas executadas na capacidade provisionada não contam para os limites ativos de consulta de DDL e DML.

  • Se todas as DPUs estiverem em uso, as consultas enviadas entrarão na fila. Essas consultas não são rejeitadas nem vão para a capacidade sob demanda.

  • A métrica do DPUConsumed CloudWatch é por grupo de trabalho, não por reserva. Assim, se você mover um grupo de trabalho de uma reserva para outra, a métrica DPUConsumed incluirá dados de quando o grupo de trabalho pertencia à primeira reserva. Para obter mais informações sobre o uso de métricas do CloudWatch no Athena, consulte Monitorar consultas do Athena com métricas do CloudWatch.

  • No momento, o recurso está disponível nas seguintes Regiões da AWS:

    • Leste dos EUA (Ohio)

    • Leste dos EUA (N. da Virgínia)

    • Oeste dos EUA (Oregon)

    • Ásia-Pacífico (Singapura)

    • Ásia-Pacífico (Sydney)

    • Ásia-Pacífico (Tóquio)

    • Europa (Irlanda)

    • Europa (Estocolmo)