Streaming : CloudWatch enregistre les données vers Amazon OpenSearch Service

Vous pouvez configurer un groupe de CloudWatch journaux dans Amazon Logs afin de pouvoir diffuser des données vers votre cluster Amazon OpenSearch Service en temps quasi réel. Pour de plus amples informations, veuillez consulter Traitement en temps réel des données du journal avec les abonnements.

Note

Le streaming vers le OpenSearch service n'est pris en charge que pour les groupes de journaux de la classe de journaux standard. Pour plus d'informations sur les classes de log, consultezClasses de log.

En fonction de la quantité de données de journal diffusées, envisagez de définir une limite de simultanéité au niveau des fonctions. Pour plus d’informations, consultez Capacité de mise à l’échelle d’une fonction Lambda.

Note

Étant donné que le transfert de grandes quantités de données de CloudWatch journaux vers le OpenSearch service peut entraîner des frais d'utilisation élevés, nous vous recommandons de créer un budget dans la AWS Billing and Cost Management console. Pour plus d'informations, consultez la section Gestion de vos coûts avec AWS les budgets.

Cette section décrit les conditions préalables que vous devez remplir avant de souscrire un groupe de journaux au OpenSearch Service. Il décrit également comment abonner un groupe de journaux à OpenSearch Service.

Prérequis

Avant de commencer, créez un domaine OpenSearch de service. Le domaine peut avoir un accès public ou VPC un accès, mais vous ne pouvez pas modifier le type d'accès une fois le domaine créé. Vous souhaiterez peut-être revoir les paramètres de votre domaine de OpenSearch service ultérieurement et modifier la configuration de votre cluster en fonction de la quantité de données que votre cluster traitera. Pour obtenir des instructions sur la création d'un domaine, consultez la section Création OpenSearch de domaines de service.

Pour plus d'informations sur le OpenSearch service, consultez le manuel Amazon OpenSearch Service Developer Guide.

Abonnement d'un groupe de logs au OpenSearch Service

Vous pouvez utiliser la CloudWatch console pour abonner un groupe de journaux au OpenSearch Service.

Pour abonner un groupe de logs au OpenSearch Service

1. Ouvrez la CloudWatch console à l'adresse https://console.aws.amazon.com/cloudwatch/.

2. Dans le panneau de navigation, choisissez Groupes de journaux.

3. Sélectionnez le nom du groupe de journaux.

4. Choisissez Actions, Filtres d'abonnement, puis Créer un filtre d'abonnement Amazon OpenSearch Service.

5. Choisissez si vous souhaitez diffuser en continu vers un cluster de ce compte ou un autre compte.

   • Si vous avez choisi ce compte, sélectionnez le domaine que vous avez créé à l'étape précédente.

   • Si vous avez choisi un autre compte, indiquez le domaine ARN et le point de terminaison.

6. Pour le rôle IAM d'exécution Lambda, choisissez le IAM rôle que Lambda doit utiliser lors de l'exécution d'appels à. OpenSearch

   Le IAM rôle que vous choisissez doit répondre aux exigences suivantes :

   • Il doit avoir lambda.amazonaws.com dans la relation d'approbation.

   • Il doit inclure la stratégie suivante :

     {
         "Version": "2012-10-17",
         "Statement": [
             {
                 "Action": [
                     "es:*"
                 ],
                 "Effect": "Allow",
                 "Resource": "arn:aws:es:region:account-id:domain/target-domain-name/*"
             }
         ]
     }

   • Si le domaine OpenSearch de service cible utilise VPC l'accès, le rôle doit être associé à la AWSLambdaVPCAccessExecutionRolepolitique. Cette politique gérée par Amazon accorde à Lambda un accès à celui du client, ce VPC qui permet à Lambda d'écrire sur le point de terminaison dans le. OpenSearch VPC

7. Pour Log format (Format de journal), choisissez un format de journal.

8. Pour Modèle de filtre d'abonnement, tapez les termes ou le modèle à rechercher dans vos événements du journal. Cela garantit que vous n'envoyez que les données qui vous intéressent à votre OpenSearch cluster. Pour de plus amples informations, veuillez consulter Création de métriques à partir d'événements du journal à l'aide de filtres.

9. (Facultatif) Pour Select log data to test (Sélectionner les données de journal à tester), sélectionnez un flux de journal, puis choisissez Test pattern (Modèle de test) afin de vérifier que votre filtre de recherche renvoie les résultats attendus.

10. Choisissez Start streaming (Démarrer la diffusion).