PPLCommandes prises en charge

Les tableaux de référence suivants indiquent quelles PPL commandes sont prises en charge dans OpenSearch Discover pour interroger des données dans CloudWatch Logs, Amazon S3 ou Security Lake, et quelles PPL commandes sont prises en charge dans CloudWatch Logs Insights. La PPL syntaxe prise en charge dans CloudWatch Logs Insights et celle prise en charge dans OpenSearch Discover pour interroger les CloudWatch journaux sont identiques et référencées sous le nom de CloudWatch journaux dans les tableaux suivants.

Note

Lors de l'analyse de données en dehors du OpenSearch Service, les commandes peuvent s'exécuter différemment de celles OpenSearch des index.

Rubriques

• Commandes

• Fonctions

• Informations supplémentaires pour les utilisateurs de CloudWatch Logs Insights utilisant OpenSearch PPL

Commandes

PPL commande	Description	CloudWatch Journaux	Amazon S3	Security Lake	Exemple de commande
commande fields	Affiche un ensemble de champs devant être projetés.	Soutenu	Soutenu	Soutenu	fields field1, field2
où commande	Filtre les données en fonction des conditions que vous spécifiez.	Soutenu	Soutenu	Soutenu	where field1="success" | where field2 != "i -023fe0a90929d8822" | fields field3, col4, col5, col6 | head 1000
commande stats	Effectue des agrégations et des calculs.	Soutenu	Soutenu	Soutenu	stats count(), count(`field1`), min(`field1`), max(`field1`), avg(`field1`) by field2 | head 1000
commande d'analyse	Extrait un modèle d'expression régulière (regex) d'une chaîne et affiche le modèle extrait. Le modèle extrait peut également être utilisé pour créer de nouveaux champs ou filtrer des données.	Soutenu	Soutenu	Soutenu	parse `field1` ".*/(?<field2>[^/]+$)" | where field2 = "requestId" | fields field2, `field2` | head 1000
commande patterns	Extrait les modèles de journal d'un champ de texte et ajoute les résultats aux résultats de recherche. Le regroupement des journaux en fonction de leurs modèles facilite l'agrégation des statistiques provenant de gros volumes de données de journaux à des fins d'analyse et de résolution des problèmes.	Non pris en charge	Soutenu	Soutenu	patterns new_field='no_numbers' pattern='[0-9]' message | fields message, no_numbers
commande de tri	Triez les résultats affichés par nom de champ. Utilisez le tri - FieldNamepour trier par ordre décroissant.	Soutenu	Soutenu	Soutenu	stats count(), count(`field1`), min(`field1`) as field1Alias, max(`field1`), avg(`field1`) by field2 | sort -field1Alias | head 1000
commande eval	Modifie ou traite la valeur d'un champ et la stocke dans un autre champ. Cela est utile pour modifier mathématiquement une colonne, appliquer des fonctions de chaîne à une colonne ou appliquer des fonctions de date à une colonne.	Soutenu	Soutenu	Soutenu	eval field2 = `field1` * 2 | fields field1, field2 | head 20
renommer la commande	Renomme un ou plusieurs champs dans les résultats de recherche.	Soutenu	Soutenu	Soutenu	rename field2 as field1 | fields field1
commande principale	Limite les résultats de requête affichés aux N premières lignes.	Soutenu	Soutenu	Soutenu	fields `@message` | head 20
commande grok	Analyse un champ de texte avec un modèle grok basé sur une expression régulière et ajoute les résultats aux résultats de recherche.	Soutenu	Soutenu	Soutenu	grok email '.+@%{HOSTNAME:host}' | fields email
commande supérieure	Recherche les valeurs les plus fréquentes pour un champ.	Soutenu	Soutenu	Soutenu	top 2 Field1 by Field2
commande dedup	Supprime les entrées dupliquées en fonction des champs que vous spécifiez.	Soutenu	Soutenu	Soutenu	dedup field1 | fields field1, field2, field3
commande join	Joint deux ensembles de données.	Non pris en charge	Soutenu	Soutenu	source=customer | join ON c_custkey = o_custkey orders | head 10
commande de recherche	Enrichit vos données de recherche en ajoutant ou en remplaçant les données d'un index de recherche (table de dimensions). Vous pouvez étendre les champs d'un index avec les valeurs d'une table de dimensions, ajouter ou remplacer des valeurs lorsque la condition de recherche correspond	Non pris en charge	Soutenu	Soutenu	where orderType = 'Cancelled' | lookup account_list, mkt_id AS mkt_code replace amount, account_name as name | stats count(mkt_code), avg(amount) by name
commande de sous-requête	Exécute des requêtes complexes et imbriquées dans vos instructions Piped Processing Language (PPL).	Non pris en charge	Soutenu	Soutenu	where id in [ subquery source=users | where user in [ subquery source=actions | where action="login" | fields user ] | fields uid ]
commande rare	Recherche les valeurs les moins fréquentes de tous les champs de la liste de champs.	Soutenu	Soutenu	Soutenu	rare Field1 by Field2
commande trendline	Calcule les moyennes mobiles des champs.	Soutenu	Soutenu	Soutenu	trendline sma(2, field1) as field1Alias
commande eventstats	Enrichissez les données de vos événements grâce à des statistiques récapitulatives calculées. Il analyse les champs spécifiés au sein de vos événements, calcule diverses mesures statistiques, puis ajoute ces résultats à chaque événement d'origine sous forme de nouveaux champs.	Supporté (saufcount())	Soutenu	Soutenu	eventstats sum(field1) by field2
commande aplatir	Aplatit un champ. Le champ doit être de ce type : struct<?,?> or array<struct<?,?>>	Non pris en charge	Soutenu	Soutenu	source=table | flatten field1
résumé du champ	Calcule les statistiques de base pour chaque champ (nombre, nombre distinct, min, max, avg, stddev et moyenne).	Pris en charge (un champ par requête)	Soutenu	Soutenu	where field1 != 200 | fieldsummary includefields=field1 nulls=true
commande fillnull	Remplit les champs nuls avec la valeur que vous fournissez. Il peut être utilisé dans un ou plusieurs domaines.	Non pris en charge	Soutenu	Soutenu	fields field1 | eval field2=field1 | fillnull value=0 field1
commande d'extension	Décompose un champ contenant plusieurs valeurs en lignes distinctes, en créant une nouvelle ligne pour chaque valeur du champ spécifié.	Non pris en charge	Soutenu	Soutenu	expand employee | stats max(salary) as max by state, company
décrire la commande	Obtient des informations détaillées sur la structure et les métadonnées des tables, des schémas et des catalogues	Non pris en charge	Soutenu	Soutenu	describe schema.table

Fonctions

Fonction PPL	Description	CloudWatch Journaux	Amazon S3	Security Lake	Exemple de commande
PPLfonctions de chaîne (CONCAT, CONCAT_WS, LENGTH, LOWER, LTRIM, POSITION, REVERSE, RIGHT, RTRIM, SUBSTRING, TRIM, UPPER)	Fonctions intégrées PPL permettant de manipuler et de transformer des chaînes et des données de texte dans les PPL requêtes. Par exemple, convertir des majuscules, combiner des chaînes, extraire des parties et nettoyer du texte.	Soutenu	Soutenu	Soutenu	eval col1Len = LENGTH(col1) | fields col1Len
PPLfonctions de date et d'heure (DAY, DAYOFMONTH, DAY_OF_MONTH,DAYOFWEEK, DAY_OF_WEEK, DAYOFYEAR, DAY_OF_YEAR, DAYNAME, FROM_UNIXTIME, HOUR, HOUR_OF_DAY, LAST_DAY, LOCALTIMESTAMP, LOCALTIME, MAKE_DATE, MINUTE, MINUTE_OF_HOUR, MONTH, MONTHNAME, MONTH_OF_YEAR, NOW, QUARTER, SECOND, SECOND_OF_MINUTE, SUBDATE, SYSDATE, TIMESTAMP, UNIX_TIMESTAMP, WEEK, WEEKDAY, WEEK_OF_YEAR, DATE_ADD, DATE_SUB, TIMESTAMPADD, TIMESTAMPDIFF, UTC_TIMESTAMP, CURRENT_TIMEZONE)	Fonctions intégrées pour gérer et transformer les données de date et d'horodatage dans PPL les requêtes. Par exemple, date_add, date_format, datediff et current_date.	Soutenu	Soutenu	Soutenu	eval newDate = ADDDATE(DATE('2020-08-26'), 1) | fields newDate
PPLfonctions de condition (EXISTS, IF, IFNULL, ISNOTNULL, ISNULL, NULLIF)	Fonctions intégrées qui effectuent des calculs sur plusieurs lignes pour produire une seule valeur résumée. Par exemple, sum, count, avg, max et min.	Soutenu	Soutenu	Soutenu	eval field2 = isnull(col1) | fields field2, col1, field3
PPLfonctions mathématiques (ABS, ACOS, ASIN, ATAN, ATAN2, CEIL, CEILING, CONV, COS, COT, CRC32, DEGREES, E, EXP, FLOOR, LN, LOG, LOG2, LOG10, MOD, PI. POW, POWER, RADIANS, RAND, ROUND, SIGN, SIN, SQRT, CBRT)	Fonctions intégrées pour effectuer des calculs mathématiques et des transformations dans les PPL requêtes. Par exemple : abs (valeur absolue), round (arrondit les nombres), sqrt (racine carrée), pow (calcul de puissance) et ceil (arrondit à l'entier supérieur le plus proche).	Soutenu	Soutenu	Soutenu	eval field2 = ACOS(col1) | fields col1
PPLexpressions (Opérateurs arithmétiques (+,,*)-, Opérateurs de prédicat (>. <,) IN)	Les fonctions intégrées pour les expressions, en particulier les expressions de valeur, renvoient une valeur scalaire. Les expressions ont différents types et formes.	Soutenu	Soutenu	Soutenu	where age > (25 + 5) | fields age
PPLFonctions d'adresse IP (CIDRMATCH)	Fonctions intégrées pour gérer les adresses IP telles queCIDR.	Non pris en charge	Soutenu	Soutenu	where cidrmatch(ip, '***********/24') | fields ip
PPLJSONfonctions (ARRAY_LENGTH, ARRAY_LENGTH, JSON, JSON_ARRAY, JSON_EXTRACT, JSON_KEYS, JSON_OBJECT, JSON_VALID, TO_JSON_STRING)	Fonctions intégrées pour la gestion, JSON notamment les tableaux, l'extraction et la validation.	Non pris en charge	Soutenu	Soutenu	eval `json_extract('{"a":"b"}', '$.a')` = json_extract('{"a":"b"}', '$a')
PPLFonctions Lambda (EXISTS, FILTER, REDUCE, TRANSFORM)	Fonctions intégrées pour la gestion, JSON notamment les tableaux, l'extraction et la validation.	Non pris en charge	Soutenu	Soutenu	eval array = json_array(1, -1, 2), result = filter(array, x -> x > 0) | fields result
PPLfonctions de hachage cryptographiques (MD5, SHA1, SHA2)	Des fonctions intégrées vous permettent de générer des empreintes digitales uniques de données, qui peuvent être utilisées à des fins de vérification, de comparaison ou dans le cadre de protocoles de sécurité plus complexes.	Soutenu	Soutenu	Soutenu	eval `MD5('hello')` = MD5('hello') | fields `MD5('hello')`

Informations supplémentaires pour les utilisateurs de CloudWatch Logs Insights utilisant OpenSearch PPL

Bien que CloudWatch Logs Insights prenne en charge la plupart des OpenSearch PPL commandes et fonctions, certaines commandes et fonctions ne le sont pas actuellement. Par exemple, il ne prend actuellement pas en charge JOIN les requêtes Lookup ou les sous-requêtes dansPPL. Pour obtenir la liste complète des commandes et fonctions de requête prises en charge, consultez les colonnes Amazon CloudWatch Logs dans les tableaux ci-dessus.

Exemples de requêtes et de quotas

Ce qui suit s'applique à la fois aux utilisateurs de CloudWatch Logs Insights et OpenSearch aux utilisateurs interrogeant CloudWatch des données.

Pour plus d'informations sur les limites applicables lors de l'interrogation de CloudWatch Logs from OpenSearch Service, consultez la section Quotas de CloudWatch journaux dans le guide de l'utilisateur Amazon CloudWatch Logs. Les limites concernent le nombre de groupes de CloudWatch journaux que vous pouvez interroger, le nombre maximal de requêtes simultanées que vous pouvez exécuter, le temps d'exécution maximal des requêtes et le nombre maximum de lignes renvoyées dans les résultats. Les limites sont les mêmes quelle que soit la langue que vous utilisez pour interroger les CloudWatch journaux (à savoir, OpenSearch PPLSQL, et Logs Insights QL).