Definir limites de controle de uso de dados - Amazon Athena

Definir limites de controle de uso de dados

O Athena permite a definição de dois tipos de controles de custo: limite por consulta e limite por grupo de trabalho. Para cada grupo de trabalho, você só pode definir um limite por consulta e vários limites por grupo de trabalho.

  • O limite de controle por consulta especifica a quantidade total de dados analisados por consulta. Se qualquer consulta que for executada no grupo de trabalho exceder o limite, ela será cancelada. Você pode criar apenas um limite de controle por consulta em um grupo de trabalho e aplicá-lo a cada consulta que for executada nele. Edite o limite se precisar alterá-lo. Para obter etapas detalhadas, consulte Para criar um controle de uso de dados por consulta.

  • O limite de controle de uso de dados no âmbito do grupo de trabalho especifica a quantidade total de dados verificados para todas as consultas que são executadas neste grupo de trabalho durante o período especificado. Você pode criar vários limites por grupo de trabalho. O limite de consulta no âmbito do grupo de trabalho permite que você defina vários limites em agregados de hora e dia nos dados analisados por consultas em execução no grupo de trabalho.

    Se a quantidade somada de dados verificados exceder o limite, você poderá enviar uma notificação para um tópico do Amazon SNS. Para fazer isso, configure um alarme do Amazon SNS e uma ação no console do Athena para notificar um administrador quando o limite for violado. Para obter etapas detalhadas, consulte Para criar um controle de uso de dados por grupo de trabalho. Você também pode criar um alarme e uma ação com base em qualquer métrica que o Athena publicar pelo console do CloudWatch. Por exemplo, você pode configurar um alerta para um determinado número de consultas com falha. Esse alerta pode acionar um e-mail para um administrador se o número ultrapassar um determinado limite. Se o limite for excedido, uma ação enviará uma notificação de alarme do Amazon SNS aos usuários especificados.

    Outras ações que você pode executar:

Os limites por consulta e por grupo de trabalho são independentes um do outro. Uma ação especificada será executada sempre que o limite for excedido. Se dois ou mais usuários executarem consultas ao mesmo tempo no mesmo grupo de trabalho, é possível que cada consulta não exceda nenhum dos limites especificados, mas a soma dos dados verificados exceda o limite de uso de dados por grupo de trabalho. Nesse caso, um alarme do Amazon SNS será enviado ao usuário.

Para criar um controle de uso de dados por consulta

O limite de controle por consulta especifica a quantidade total de dados analisados por consulta. Se qualquer consulta que for executada no grupo de trabalho exceder o limite, ela será cancelada. As consultas canceladas são cobradas de acordo com os Preços do Amazon Athena.

nota

No caso de consultas canceladas ou com falha, o Athena pode já ter gravado resultados parciais no Amazon S3. Nesses casos, o Athena não excluirá os resultados parciais do prefixo do Amazon S3 em que os resultados são armazenados. Você deve remover o prefixo do Amazon S3 com os resultados parciais. O Athena usa carregamentos fracionados do Amazon S3 para gravar dados do Amazon S3. Recomendamos que você defina a política de ciclo de vida do bucket para encerrar os carregamentos fracionados nos casos em que as consultas falharem. Para obter mais informações, consulte Interromper um multipart upload incompleto usando uma política de ciclo de vida de bucket no Guia do usuário do Amazon Simple Storage Service.

Você pode criar apenas um limite de controle por consulta em um grupo de trabalho e aplicá-lo a cada consulta que for executada nele. Edite o limite se precisar alterá-lo.

  1. Abra o console do Athena em https://console.aws.amazon.com/athena/.

  2. Se o painel de navegação do console não estiver visível, escolha o menu de expansão à esquerda.

    Escolha o menu de expansão.
  3. No painel de navegação, escolha Global networks (Redes globais).

  4. Escolha o nome do grupo de trabalho na lista.

  5. Na guia Data usage controls (Controles de uso de dados), na seção Per query data usage control (Controle de uso de dados por consulta), escolha Manage (Gerenciar).

  6. Na página Manage per query data usage control (Gerenciar controle de uso de dados por consulta), especifique os seguintes valores:

    • Para Data limit (Limite de dados), especifique um valor entre 10 MB (mínimo) e 7 EB (máximo).

      nota

      Esses são os limites impostos pelo console para controles de uso de dados dentro dos grupos de trabalho. Eles não representam nenhum limite de consulta no Athena.

    • Para unidades, selecione o valor unitário na lista suspensa (por exemplo, Kilobytes KB ou Exabytes EB).

    A ação padrão é cancelar a consulta se ela exceder o limite. Essa configuração não pode ser alterada.

  7. Escolha Salvar.

Para criar ou editar um alerta de uso de dados por grupo de trabalho

Você pode definir vários limites de alerta quando as consultas em execução em um grupo de trabalho verificam uma quantidade especificada de dados dentro de um período específico. Os alertas são implementados usando alarmes do Amazon CloudWatch e se aplicam a todas as consultas no grupo de trabalho. Quando um limite é atingido, você pode fazer com que o Amazon SNS envie um e-mail aos usuários que você especificar. As consultas não são canceladas automaticamente quando um limite é atingido.

  1. Abra o console do Athena em https://console.aws.amazon.com/athena/.

  2. Se o painel de navegação do console não estiver visível, escolha o menu de expansão à esquerda.

  3. No painel de navegação, escolha Global networks (Redes globais).

  4. Escolha o nome do grupo de trabalho na lista.

  5. Selecione Edit (Editar) para editar as configurações do grupo de trabalho.

  6. Role para baixo até Workgroup data usage alerts - optional (Alertas de uso de dados do grupo de trabalho - opcional) e expanda essa opção.

  7. Escolha Add alert (Adicionar alerta).

  8. Em Data usage threshold configuration (Configuração de limite de uso de dados), especifique os valores da maneira a seguir:

    • Em Data threshold (Limite de dados), especifique um número e, em seguida, selecione um valor unitário na lista suspensa.

    • Em Time period (Período), escolha um período na lista suspensa.

    • Em SNS topic selection (Seleção de tópico do SNS), escolha um tópico do Amazon SNS na lista suspensa. Se preferir, escolha Create an SNS topic (Criar um tópico do SNS) para acessar diretamente o console do Amazon SNS, crie o tópico do Amazon SNS e configure uma assinatura para ele para um dos usuários em sua conta do Athena. Para obter mais informações, consulte Conceitos básicos do Amazon SNS no Guia do desenvolvedor do Amazon Simple Notification Service.

  9. Escolha Add alert (Adicionar alerta) se estiver criando um alerta ou Save (Salvar) para salvar um alerta existente.