Diffusion des données CloudWatch Logs vers Amazon OpenSearch Service - Amazon CloudWatch Logs

Diffusion des données CloudWatch Logs vers Amazon OpenSearch Service

Vous pouvez configurer un groupe de journaux CloudWatch Logs pour diffuser en continu les données reçues sur votre cluster Amazon OpenSearch Service quasiment en temps réel via un abonnement CloudWatch Logs. Pour plus d'informations, consultez...Traitement en temps réel des données du journal avec les abonnements.

En fonction de la quantité de données de journal, il se peut que vous souhaitiez définir sur la fonction une limite des exécutions simultanées au niveau de la fonction. Pour plus d'informations, consultez Capacité de mise à l’échelle d'une fonction Lambda.

Note

La diffusion de grandes quantités de données CloudWatch Logs vers OpenSearch peut entraîner des coûts d'utilisation élevés. Nous vous recommandons de créer un budget dans la console Billing and Cost Management. Pour plus d'informations, consultez Gestion des coûts avec AWS Budgets.

Prérequis

Avant de commencer, créez un domaine OpenSearch. Le domaine peut avoir un accès publique ou un accès VPC, mais vous ne pouvez pas modifier le type d'accès une fois le domaine créé. Vous pourrez éventuellement revoir par la suite vos paramètres de domaine OpenSearch et modifier votre configuration de cluster en fonction de la quantité de données traitées par votre cluster. Pour obtenir des instructions sur la création d'un domaine, consultez Création de domaines OpenSearch Service.

Pour plus d'informations sur OpenSearch, consultez le guide Amazon OpenSearch Service Developer.

Souscription d'un groupe de journaux à OpenSearch

Vous pouvez utiliser la console CloudWatch pour souscrire un groupe de journaux à OpenSearch.

Pour souscrire un groupe de journaux à OpenSearch

  1. Ouvrez la console CloudWatch à l'adresse https://console.aws.amazon.com/ CloudWatch/.

  2. Dans le panneau de navigation, choisissez Groupes de journaux.

  3. Sélectionnez le nom du groupe de journaux.

  4. Choisissez Actions, Create OpenSearch subscription filter (Créer un filtre d'abonnement OpenSearch).

  5. Choisissez si vous souhaitez diffuser en continu vers un cluster de ce compte ou un autre compte.

    • Si vous avez choisi ce compte, sélectionnez le domaine que vous avez créé à l'étape précédente.

    • Si vous avez choisi un autre compte, fournissez l'ARN du domaine et le point de terminaison.

  6. Pour Lambda IAM Execution Role (Rôle d'exécution IAM Lambda), choisissez le rôle IAM que Lambda doit utiliser lors de l'exécution des appels vers OpenSearch.

    Le rôle IAM que vous choisissez doit répondre à ces exigences :

    • Il doit avoir lambda.amazonaws.com dans la relation d'approbation.

    • Il doit inclure la stratégie suivante :

      { "Version": "2012-10-17", "Statement": [ { "Action": [ "es:*" ], "Effect": "Allow", "Resource": "arn:aws:es:region:account-id:domain/target-domain-name/*" } ] }
    • Si le domaine OpenSearch cible utilise un accès VPC, la stratégie AWSLambdaVPCAccessExecutionRole doit être attachée au rôle. Cette politique gérée par Amazon accorde à Lambda l'accès au VPC du client, permettant à Lambda d'écrire sur le point de terminaison OpenSearch dans le VPC.

  7. Pour Log format (Format de journal), choisissez un format de journal.

  8. Pour Modèle de filtre d'abonnement, tapez les termes ou le modèle à rechercher dans vos événements du journal. Vous êtes ainsi assuré d'envoyer à votre cluster OpenSearch uniquement les données qui vous intéressent. Pour plus d'informations, consultez Création de métriques à partir d'événements du journal à l'aide de filtres.

  9. (Facultatif) Pour Select log data to test (Sélectionner les données de journal à tester), sélectionnez un flux de journal, puis choisissez Test pattern (Modèle de test) afin de vérifier que votre filtre de recherche renvoie les résultats attendus.

  10. Choisissez Start streaming (Démarrer la diffusion).