Criação de uma tabela para os logs padrão do CloudFront (legado)

nota

O procedimento a seguir funciona para os logs de acesso de distribuição da Web no CloudFront. Ele não se aplica a logs de streaming de distribuições RTMP.

Para criar uma tabela para campos de arquivo de log padrão do CloudFront

1. Copie e cole o exemplo de instrução DDL a seguir no editor de consultas no console do Athena. O exemplo de instrução usa os campos do arquivo de log documentados na seção Campos de arquivo de log padrão do Guia do usuário do Amazon CloudFront. Modifique o LOCATION para o bucket do Amazon S3 que armazena seus logs. Para obter informações sobre como usar o editor de consultas, acesse Conceitos básicos.

   Essa consulta especifica ROW FORMAT DELIMITED e FIELDS TERMINATED BY '\t' para indicar que os campos são delimitados por caracteres de tabulação. Para ROW FORMAT DELIMITED, o Athena usa o LazySimpleSerDe por padrão. A coluna date é escapada com acentos graves (`) porque se trata de uma palavra reservada no Athena. Para mais informações, consulte Escapar palavras-chave reservadas em consultas.

   CREATE EXTERNAL TABLE IF NOT EXISTS cloudfront_standard_logs (
     `date` DATE,
     time STRING,
     x_edge_location STRING,
     sc_bytes BIGINT,
     c_ip STRING,
     cs_method STRING,
     cs_host STRING,
     cs_uri_stem STRING,
     sc_status INT,
     cs_referrer STRING,
     cs_user_agent STRING,
     cs_uri_query STRING,
     cs_cookie STRING,
     x_edge_result_type STRING,
     x_edge_request_id STRING,
     x_host_header STRING,
     cs_protocol STRING,
     cs_bytes BIGINT,
     time_taken FLOAT,
     x_forwarded_for STRING,
     ssl_protocol STRING,
     ssl_cipher STRING,
     x_edge_response_result_type STRING,
     cs_protocol_version STRING,
     fle_status STRING,
     fle_encrypted_fields INT,
     c_port INT,
     time_to_first_byte FLOAT,
     x_edge_detailed_result_type STRING,
     sc_content_type STRING,
     sc_content_len BIGINT,
     sc_range_start BIGINT,
     sc_range_end BIGINT
   )
   ROW FORMAT DELIMITED 
   FIELDS TERMINATED BY '\t'
   LOCATION 's3://amzn-s3-demo-bucket/'
   TBLPROPERTIES ( 'skip.header.line.count'='2' )
   

2. Execute a consulta no console do Athena. Depois que a consulta for concluída, o Athena registrará a tabela cloudfront_standard_logs, preparando os dados dela para você fazer as consultas.

Consultas de exemplo

A consulta a seguir adiciona o número de bytes processados pelo CloudFront entre 9 e 11 de junho de 2018. Coloque o nome da coluna de data entre aspas duplas porque se trata de uma palavra reservada.

SELECT SUM(bytes) AS total_bytes
FROM cloudfront_standard_logs
WHERE "date" BETWEEN DATE '2018-06-09' AND DATE '2018-06-11'
LIMIT 100;

Para eliminar linhas duplicadas (por exemplo, linhas vazias duplicadas) dos resultados da consulta, é possível usar a instrução SELECT DISTINCT, conforme o exemplo a seguir.

SELECT DISTINCT * 
FROM cloudfront_standard_logs 
LIMIT 10;