Monitorización de Amazon Kendra con Registros de Amazon CloudWatch

Amazon Kendra utiliza Amazon CloudWatch Logs para proporcionarle información sobre el funcionamiento de sus orígenes de datos. Amazon Kendra registra los detalles del proceso de los documentos a medida que se indexan. Registra los errores del origen de datos que se producen mientras se indexan los documentos. Usted utiliza CloudWatch Logs para supervisar, almacenar y acceder a los archivos de registro.

CloudWatch Logs almacena los eventos de registro en una secuencia de registros que forma parte de un grupo de registros. Amazon Kendra utiliza estas funciones de la siguiente manera:

• Grupos de registros: Amazon Kendra almacena todos los flujos de registros en un único grupo de registros para cada índice. Amazon Kendra crea el grupo de registros cuando se crea el índice. El identificador del grupo de registros siempre comienza por “aws/kendra/”.

• Flujo de registro: Amazon Kendra crea un nuevo flujo de registro de origen de datos en el grupo de registros para cada trabajo de sincronización de índices que ejecute. También crea un nuevo flujo de registro de documentos cuando un flujo alcanza aproximadamente 500 entradas.

• Entradas de registro: Amazon Kendra crea una entrada de registro en el flujo de registro a medida que indexa los documentos. Cada entrada proporciona información sobre el procesamiento del documento o sobre cualquier error que se produzca.

Para obtener más información sobre el uso de CloudWatch Logs, consulte Qué es Amazon Cloud Watch Logs en la Guía del usuario de Amazon Cloud Watch Logs.

Amazon Kendra crea dos tipos de flujos de registro:

• Flujos de registro de Origen de datos

• Flujo de registro de documentos

Flujos de registro de Origen de datos

Los flujos de registro de Origen de datos publican entradas sobre sus trabajos de sincronización de índices. Cada trabajo de sincronización crea un nuevo flujo de registro que se utiliza para publicar las entradas. El nombre del flujo de registro es:

data source id/YYYY-MM-DD-HH/data source sync job ID

Se crea un nuevo flujo de registro para cada trabajo de sincronización que se ejecute.

Hay tres tipos de mensajes de registro publicados en un flujo de registro de un origen de datos:

• Un mensaje de registro de un documento que no se pudo enviar para su indexación. A continuación, se muestra un ejemplo de este mensaje para un documento de un origen de datos de S3:

  {
      "DocumentId": "document ID",
      "S3Path": "s3://bucket/prefix/object",
      "Message": "Failed to ingest document via BatchPutDocument.",
      "ErrorCode": "InvalidRequest",
      "ErrorMessage": "No document metadata configuration found for document attribute key  city."
  }

• Mensaje de registro de un documento que no se ha podido enviar para su eliminación. A continuación se muestra un ejemplo de este mensaje:

  {
      "DocumentId": "document ID",
      "Message": "Failed to delete document via BatchDeleteDocument.",
      "ErrorCode": "InvalidRequest",
      "ErrorMessage": "Document can't be deleted because it doesn't exist." 
  }

• Un mensaje de registro cuando se encuentra un archivo de metadatos no válido para un documento en un bucket de Amazon S3. A continuación se muestra un ejemplo de este mensaje.

  {
      "Message": "Found invalid metadata file bucket/prefix/filename.extension.metadata.json."
  }

• Para los conectores de bases de datos y SharePoint, Amazon Kendra solo escribe mensajes en el flujo de registro si un documento no se puede indexar. A continuación, se muestra un ejemplo del mensaje de error que Amazon Kendra registra.

  { 
      "DocumentID": "document ID", 
      "IndexID": "index ID", 
      "SourceURI": "", 
      "CrawlStatus": "FAILED", 
      "ErrorCode": "403", 
      "ErrorMessage": "Access Denied", 
      "DataSourceErrorCode": "403"
  }

Flujo de registro de documentos

Amazon Kendra registra información sobre el procesamiento de documentos mientras se indexan. Registro de un conjunto de mensajes para documentos almacenados en un origen de datos de Amazon S3. Registra los errores solo en los documentos almacenados en un origen de datos de Microsoft SharePoint o de una base de datos.

Si los documentos se agregaron al índice mediante la operación BatchPutDocument, el flujo de registro se denomina de la siguiente manera:

YYYY-MM-DD-HH/UUID

Si los documentos se agregaron al índice mediante un origen de datos, el flujo de registro se denomina de la siguiente manera:

dataSourceId/YYYY-MM-DD-HH/UUID

Cada flujo de registro contiene hasta 500 mensajes.

Si se produce un error al indexar un documento, se envía este mensaje al flujo de registro:

{
    "DocumentId": "document ID",
    "IndexName": "index name",
    "IndexId": "index ID"
    "SourceURI": "source URI"
    "IndexingStatus": "DocumentFailedToIndex",
    "ErrorCode": "400 | 500",
    "ErrorMessage": "message"
}