Comandos PPL compatíveis - OpenSearch Serviço Amazon
ComandosFunçõesInformações adicionais para usuários do CloudWatch Logs Insights que usam OpenSearch PPL

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Comandos PPL compatíveis

As tabelas de referência a seguir mostram quais PPL comandos são compatíveis com o OpenSearch Discover para consultar dados no CloudWatch Logs, no Amazon S3 ou no Security Lake, e PPL quais comandos são compatíveis com CloudWatch o Logs Insights. A PPL sintaxe compatível com o CloudWatch Logs Insights e a compatível com o OpenSearch Discover para consultar CloudWatch registros é a mesma e é referenciada como CloudWatch registros nas tabelas a seguir.

nota

Ao analisar dados fora do OpenSearch Serviço, os comandos podem ser executados de forma diferente do que nos OpenSearch índices.

Tópicos

Comandos

PPL command Descrição CloudWatch Registros Amazon S3 Security Lake Exemplo de comando
comando fields Exibe um conjunto de campos que precisam de projeção. Suportado Suportado Suportado 
 fields field1, field2
onde comanda

Filtra os dados com base nas condições que você especifica.

 Suportado Suportado Suportado 
 where field1="success"
| where field2 != "i -023fe0a90929d8822"
| fields field3, col4, col5, col6
| head 1000
comando stats

Executa agregações e cálculos.

 Suportado Suportado Suportado 
stats count(),
      count(`field1`),
      min(`field1`),
      max(`field1`),
      avg(`field1`)
by field2
| head 1000
comando parse

Extrai um padrão de expressão regular (regex) de uma string e exibe o padrão extraído. O padrão extraído pode ser usado posteriormente para criar novos campos ou filtrar dados.

 Suportado Suportado Suportado 
parse `field1` ".*/(?<field2>[^/]+$)"
| where field2 = "requestId"
| fields field2, `field2`
| head 1000
comando de padrões

Extrai padrões de registro de um campo de texto e anexa os resultados ao resultado da pesquisa. O agrupamento de registros por seus padrões facilita a agregação de estatísticas de grandes volumes de dados de registro para análise e solução de problemas.

 Não suportado Suportado Suportado 
patterns new_field='no_numbers' pattern='[0-9]' message
| fields message, no_numbers
comando de classificação

Classifique os resultados exibidos por um nome de campo. Use classificar - FieldNamepara classificar em ordem decrescente.

 Suportado Suportado Suportado 
stats count(),
      count(`field1`),
      min(`field1`) as field1Alias,
      max(`field1`),
      avg(`field1`)
by field2
| sort -field1Alias
| head 1000
comando eval

Modifica ou processa o valor de um campo e o armazena em um campo diferente. Isso é útil para modificar matematicamente uma coluna, aplicar funções de string a uma coluna ou aplicar funções de data a uma coluna.

 Suportado Suportado Suportado 
eval field2 = `field1` * 2
| fields field1, field2
| head 20
comando renomear

Renomeia um ou mais campos no resultado da pesquisa.

 Suportado Suportado Suportado 
rename field2 as field1
| fields field1
comando principal

Limita os resultados da consulta exibidos às primeiras N linhas.

 Suportado Suportado Suportado 
 fields `@message`
| head 20
comando grok

Analisa um campo de texto com um padrão grok baseado na expressão regular e anexa os resultados ao resultado da pesquisa.

 Suportado Suportado Suportado 
 grok email '.+@%{HOSTNAME:host}'
| fields email
comando superior

Encontra os valores mais frequentes para um campo.

 Suportado Suportado Suportado 
 top 2 Field1 by Field2
comando dedup

Remove entradas duplicadas com base nos campos que você especifica.

 Suportado Suportado Suportado 
dedup field1
| fields field1, field2, field3
comando de junção

Une dois conjuntos de dados.

 Não suportado Suportado Suportado 
source=customer
| join ON c_custkey = o_custkey orders
| head 10
comando lookup

Enriquece seus dados de pesquisa adicionando ou substituindo dados de um índice de pesquisa (tabela de dimensões). Você pode estender campos de um índice com valores de uma tabela de dimensões, acrescentar ou substituir valores quando a condição de pesquisa corresponder

 Não suportado Suportado Suportado 
where orderType = 'Cancelled'
| lookup account_list, mkt_id AS mkt_code
  replace amount, account_name as name
| stats count(mkt_code), avg(amount)
  by name
comando subquery Executa consultas complexas e aninhadas em suas instruções Piped Processing Language ()PPL. Não suportado Suportado Suportado 
where id in [
  subquery source=users
  | where user in [
    subquery source=actions
    | where action="login"
    | fields user
  ]
  | fields uid
]
comando raro

Encontra os valores menos frequentes de todos os campos na lista de campos.

 Suportado Suportado Suportado 
 rare Field1 by Field2
comando de linha de tendência Calcula as médias móveis dos campos. Suportado Suportado Suportado 
 trendline sma(2, field1) as field1Alias
comando eventstats Enriquece os dados do seu evento com estatísticas resumidas calculadas. Ele analisa campos especificados em seus eventos, calcula várias medidas estatísticas e, em seguida, anexa esses resultados a cada evento original como novos campos.

Compatível (excetocount())

 Suportado Suportado 
 eventstats sum(field1) by field2
comando flatten

Nivela um campo. O campo deve ser deste tipo: struct<?,?> or array<struct<?,?>>

 Não suportado Suportado Suportado 
 source=table | flatten field1
resumo do campo Calcula estatísticas básicas para cada campo (contagem, contagem distinta, min, max, avg, stddev e média). Compatível (um campo por consulta) Suportado Suportado 
where field1 != 200
| fieldsummary includefields=field1 nulls=true
comando fillnull Preenche campos nulos com o valor que você fornece. Ele pode ser usado em um ou mais campos. Não suportado Suportado Suportado 
fields field1
| eval field2=field1
| fillnull value=0 field1
comando de expansão Divide um campo contendo vários valores em linhas separadas, criando uma nova linha para cada valor no campo especificado. Não suportado Suportado Suportado 
expand employee
| stats max(salary) as max
  by state, company
descrever o comando

Obtém informações detalhadas sobre a estrutura e os metadados de tabelas, esquemas e catálogos

 Não suportado Suportado Suportado 
 describe schema.table

Funções

Função do PPL Descrição CloudWatch Registros Amazon S3 Security Lake Exemplo de comando

PPLfunções de string

(CONCAT, CONCAT_WS, LENGTH, LOWER, LTRIM, POSITION, REVERSE, RIGHT, RTRIM, SUBSTRING, TRIM, UPPER)

Funções integradas PPL que podem manipular e transformar dados de string e texto nas PPL consultas. Por exemplo, converter maiúsculas e minúsculas, combinar sequências de caracteres, extrair partes e limpar texto.

 Suportado Suportado Suportado 
eval col1Len = LENGTH(col1)
| fields col1Len

PPLfunções de data e hora

(DAY, DAYOFMONTH, DAY_OF_MONTH,DAYOFWEEK, DAY_OF_WEEK, DAYOFYEAR, DAY_OF_YEAR, DAYNAME, FROM_UNIXTIME, HOUR, HOUR_OF_DAY, LAST_DAY, LOCALTIMESTAMP, LOCALTIME, MAKE_DATE, MINUTE, MINUTE_OF_HOUR, MONTH, MONTHNAME, MONTH_OF_YEAR, NOW, QUARTER, SECOND, SECOND_OF_MINUTE, SUBDATE, SYSDATE, TIMESTAMP, UNIX_TIMESTAMP, WEEK, WEEKDAY, WEEK_OF_YEAR, DATE_ADD, DATE_SUB, TIMESTAMPADD, TIMESTAMPDIFF, UTC_TIMESTAMP, CURRENT_TIMEZONE)

Funções integradas para lidar e transformar dados de data e timestamp em consultas. PPL Por exemplo, date_add, date_format, datediff e current_date.

 Suportado Suportado Suportado 
eval newDate = ADDDATE(DATE('2020-08-26'), 1)
| fields newDate

PPLfunções de condição

(EXISTS, IF, IFNULL, ISNOTNULL, ISNULL, NULLIF)

Funções integradas que realizam cálculos em várias linhas para produzir um único valor resumido. Por exemplo, soma, contagem, média, máxima e mínima.

 Suportado Suportado Suportado 
eval field2 = isnull(col1)
| fields field2, col1, field3

PPLfunções matemáticas

(ABS, ACOS, ASIN, ATAN, ATAN2, CEIL, CEILING, CONV, COS, COT, CRC32, DEGREES, E, EXP, FLOOR, LN, LOG, LOG2, LOG10, MOD, PI. POW, POWER, RADIANS, RAND, ROUND, SIGN, SIN, SQRT, CBRT)

Funções integradas para realizar cálculos matemáticos e transformações em PPL consultas. Por exemplo: abs (valor absoluto), round (arredonda números), sqrt (raiz quadrada), pow (cálculo de potência) e ceil (arredonda até o número inteiro mais próximo).

 Suportado Suportado Suportado 
eval field2 = ACOS(col1)
| fields col1

PPLexpressões

(Operadores aritméticos (+,,*)-, operadores de predicados (,) >. < IN)

Funções integradas para expressões, especialmente expressões de valor, retornam um valor escalar. As expressões têm diferentes tipos e formas.

 Suportado Suportado Suportado 
where age > (25 + 5)
| fields age

PPLFunções de endereço IP

(CIDRMATCH)

Funções integradas para lidar com endereços IP, comoCIDR.

 Não suportado Suportado Suportado 
where cidrmatch(ip, '***********/24')
| fields ip

PPLJSONfunções

(ARRAY_LENGTH, ARRAY_LENGTH, JSON, JSON_ARRAY, JSON_EXTRACT, JSON_KEYS, JSON_OBJECT, JSON_VALID, TO_JSON_STRING)

Funções integradas para manipulaçãoJSON, incluindo matrizes, extração e validação.

 Não suportado Suportado Suportado 
eval `json_extract('{"a":"b"}', '$.a')` = json_extract('{"a":"b"}', '$a')

Funções do PPL função do Lambda

(EXISTS, FILTER, REDUCE, TRANSFORM)

Funções integradas para manipulaçãoJSON, incluindo matrizes, extração e validação.

 Não suportado Suportado Suportado 
eval array = json_array(1, -1, 2),
     result = filter(array, x -> x > 0)
| fields result

PPLfunções hash criptográficas

(MD5, SHA1, SHA2)

Funções integradas que permitem gerar impressões digitais exclusivas de dados, que podem ser usadas para verificação, comparação ou como parte de protocolos de segurança mais complexos.

 Suportado Suportado Suportado 
eval `MD5('hello')` = MD5('hello')
| fields `MD5('hello')`

Informações adicionais para usuários do CloudWatch Logs Insights que usam OpenSearch PPL

Embora o CloudWatch Logs Insights ofereça suporte à maioria dos OpenSearch PPL comandos e funções, alguns comandos e funções não são compatíveis atualmente. Por exemplo, atualmente não oferece suporte para JOIN pesquisa ou subconsultas em. PPL Para obter uma lista completa dos comandos e funções de consulta compatíveis, consulte as colunas Amazon CloudWatch Logs nas tabelas acima.

Exemplos de consultas e cotas

O seguinte se aplica tanto aos usuários do CloudWatch Logs Insights quanto OpenSearch aos usuários que consultam CloudWatch dados.

Para obter informações sobre os limites que se aplicam ao consultar CloudWatch registros do OpenSearch serviço, consulte Cotas de CloudWatch registros no Guia do usuário do Amazon CloudWatch Logs. Os limites envolvem o número de grupos de CloudWatch registros que você pode consultar, o máximo de consultas simultâneas que você pode executar, o tempo máximo de execução da consulta e o número máximo de linhas retornadas nos resultados. Os limites são os mesmos, independentemente da linguagem usada para consultar CloudWatch os registros (ou seja, OpenSearch PPLSQL, e Logs Insights QL).