Monitoramento dos logs de pipeline

Você pode habilitar o log dos pipelines de Ingestão do Amazon OpenSearch para expor mensagens de erro e aviso geradas durante as operações do pipeline e a atividade de ingestão. A Ingestão do OpenSearch publica todos os logs no Amazon CloudWatch Logs. O CloudWatch Logs pode monitorar informações nos arquivos de log e notificar você quando determinados limites forem atingidos. É possível também arquivar seus dados de log em armazenamento resiliente. Para obter mais informações, consulte o Guia do usuário do Amazon CloudWatch Logs.

Os logs da Ingestão do OpenSearch podem indicar falhas no processamento de solicitações, erros de autenticação da origem até o coletor e outros avisos que podem ser úteis para a solução de problemas. Para seus logs, a Ingestão do OpenSearch usa os níveis de log de INFO, WARN, ERROR e FATAL. Recomendamos habilitar a publicação de logs para todos os pipelines.

Permissões obrigatórias

Para habilitar a Ingestão do OpenSearch para enviar logs para o CloudWatch Logs, você deve estar registrado como um usuário com certas permissões do IAM.

Você precisa das seguintes permissões do CloudWatch Logs para criar e atualizar os recursos de entrega de logs:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Resource": "*",
            "Action": [
                "logs:CreateLogDelivery",
                "logs:PutResourcePolicy",
                "logs:UpdateLogDelivery",
                "logs:DeleteLogDelivery",
                "logs:DescribeResourcePolicies",
                "logs:GetLogDelivery",
                "logs:ListLogDeliveries"
            ]
        }
    ]
}

Habilitar publicação de logs

Você pode ativar a publicação de logs em pipelines existentes ou ao criar um pipeline. Para ver as etapas para habilitar a publicação de logs durante a criação do pipeline, consulte Como criar pipelines.

Console

Para habilitar a publicação de logs em um pipeline existente

1. Faça login no console do Amazon OpenSearch Service em https://console.aws.amazon.com/aos/home.

2. Escolha Ingestão no painel de navegação esquerdo e selecione o pipeline para o qual você deseja habilitar logs.

3. Escolha Editar opções de publicação de logs.

4. Selecione Publicar no CloudWatch Logs.

5. Crie um novo grupo de logs ou selecione um existente. Recomendamos que você formate o nome como um caminho, como /aws/vendedlogs/OpenSearchIngestion/pipeline-name/audit-logs. Esse formato facilita a aplicação de uma política de acesso do CloudWatch que concede permissões a todos os grupos de log em um caminho específico, como. /aws/vendedlogs/OpenSearchService/OpenSearchIngestion

   Importante

   Você deve incluir o prefixo vendedlogs no nome do grupo de logs, caso contrário, a criação falhará.

6. Escolha Salvar.

CLI

Para habilitar a publicação de logs usando o AWS CLI, envie a seguinte solicitação:

aws osis update-pipeline \
  --pipeline-name my-pipeline \
  --log-publishing-options  IsLoggingEnabled=true,CloudWatchLogDestination={LogGroup="/aws/vendedlogs/OpenSearchIngestion/pipeline-name"}