Streaming des données CloudWatch Logs vers Amazon OpenSearch Service - Amazon CloudWatch Logs

Streaming des données CloudWatch Logs vers Amazon OpenSearch Service

Vous pouvez configurer un groupe de journaux CloudWatch Logs pour diffuser les données reçues sur votre cluster Amazon OpenSearch Service quasiment en temps réel via un abonnement CloudWatch Logs. Pour d‘informations, consultez Traitement en temps réel des données du journal avec les abonnements.

En fonction de la quantité de données diffusées du journal, il se peut que vous souhaitiez définir sur la fonction une limite des exécutions simultanées au niveau de la fonction. Pour plus d'informations, consultez la section Mise à l’échelle d'une fonction Lambda.

Note

Le streaming de grandes quantités de données CloudWatch Logs vers OpenSearch peut entraîner des coûts d'utilisation élevés. Nous vous recommandons de créer un budget dans la console de Gestion de la facturation et des coûts. Pour plus d'informations, consultez la section Gestion des coûts avec les budgets d’AWS.

Prerequisites

Avant de commencer, créez un domaine OpenSearch. Le domaine peut comporter un accès publique ou un accès VPC, mais vous ne pouvez pas modifier le type d'accès après la création du domaine. Vous pourrez éventuellement consulter ultérieurement vos paramètres de domaine OpenSearch et modifier votre configuration de cluster en fonction de la quantité de données traitées par votre cluster. Pour obtenir des instructions sur la création d'un domaine, consultez la section Création de domaines OpenSearch Service.

Pour plus d’informations sur OpenSearch, consultez le Guide du développeur Amazon OpenSearch Service.

Abonnement d'un groupe de journaux à OpenSearch

Vous pouvez utiliser la console CloudWatch pour abonner un groupe de journaux à OpenSearch.

Pour abonner un groupe de journaux à OpenSearch

  1. Ouvrez la console CloudWatch à l'adress https://console.aws.amazon.com/cloudwatch/.

  2. Dans le panneau de navigation, choisissez Log groups (Groupes de journaux).

  3. Sélectionnez le nom du groupe de journaux.

  4. Choisissez Actions, Create OpenSearch subscription filter (Créer un filtre d'abonnement OpenSearch).

  5. Indiquez si vous souhaitez diffuser vers un cluster de ce compte ou un autre compte.

    • Si vous avez choisi ce compte, sélectionnez le domaine que vous avez créé à l'étape précédente.

    • Si vous avez choisi un autre compte, fournissez l'ARN du domaine et le point de terminaison.

  6. Pour Lambda IAM Execution Role (Rôle d'exécution IAM Lambda), choisissez le rôle IAM que Lambda doit utiliser lors de l'exécution des appels vers OpenSearch.

    Le rôle IAM que vous choisissez doit répondre à ces exigences :

    • Il doit comporter lambda.amazonaws.com dans la relation d'approbation.

    • Il doit inclure la politique suivante :

      { "Version": "2012-10-17", "Statement": [ { "Action": [ "es:*" ], "Effect": "Allow", "Resource": "arn:aws:es:region:account-id:domain/target-domain-name/*" } ] }
    • Si le domaine OpenSearch cible utilise un accès VPC, la stratégie AWSLambdaVPCAccessExecutionRole doit être attachée au rôle. Cette politique gérée par Amazon accorde à Lambda l'accès au VPC du client, permettant à Lambda d'écrire sur le point de terminaison OpenSearch dans le VPC.

  7. Pour Log format (Format de journal), choisissez un format de journal.

  8. Pour Subscription filter pattern (Modèle de filtre d'abonnement), tapez les termes ou le modèle à rechercher dans les événements du journal. Vous êtes ainsi assuré d'envoyer à votre cluster OpenSearch uniquement les données qui vous intéressent. Pour d‘informations, consultez Création de métriques à partir d'événements du journal à l'aide de filtres.

  9. (Facultatif) Pour Select log data to test (Sélectionner les données de journal à tester), sélectionnez un flux de journal, puis choisissez Test pattern (Modèle de test) afin de vérifier que votre filtre de recherche renvoie les résultats attendus.

  10. Choisissez Start streaming (Démarrer la diffusion).