Permisos necesarios Paso 1: crear el rol de canalización Paso 2: crear un dominio Paso 3: crear una canalización Paso 4: incorporar algunos datos de muestra Solución de problemas de permisos Recursos relacionados

Tutorial: Ingerir datos en un dominio mediante Amazon OpenSearch Ingestion

En este tutorial, se muestra cómo utilizar Amazon OpenSearch Ingestion para configurar una canalización sencilla e ingerir datos en un dominio de Amazon OpenSearch Service. Una canalización es un recurso que OpenSearch Ingestion aprovisiona y administra. Puede usar una canalización para filtrar, enriquecer, transformar, normalizar y agregar datos para el análisis y la visualización posteriores en OpenSearch Service.

Este tutorial recorre los pasos básicos para poner en marcha una canalización de forma rápida. Para obtener información más detallada, consulte Creación de canalizaciones.

En este tutorial, deberá completar los siguientes pasos:

Crear el rol de canalización.
Crear un dominio.
Crear una canalización.
Incorporar algunos datos de muestra.

En este tutorial creará los recursos siguientes:

Una canalización llamada ingestion-pipeline
Un nombre de dominio denominado ingestion-domain en el que escribirá la canalización
Un rol de IAM llamado PipelineRole que asumirá la canalización para escribir en el dominio

Permisos necesarios

Para completar este tutorial, debe tener los permisos de IAM correctos. Su usuario o rol debe tener adjunta una política basada en la identidad con los siguientes permisos mínimos. Estos permisos le permiten crear un rol de canalización (iam:Create), crear o modificar un dominio (es:*) y trabajar con canalizaciones (osis:*).

Además, el permiso iam:PassRole es obligatorio para el recurso del rol de canalización. Este permiso le permite transferir la función de canalización a OpenSearch Ingestion para que pueda escribir datos en el dominio.


{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Resource":"*",
         "Action":[
            "osis:*",
            "iam:Create*",
            "es:*"
         ]
      },
      {
         "Resource":[
            "arn:aws:iam::{your-account-id}:role/PipelineRole"
         ],
         "Effect":"Allow",
         "Action":[
            "iam:PassRole"
         ]
      }
   ]
}

Paso 1: crear el rol de canalización

En primer lugar, cree una función que asuma la canalización para acceder al receptor del dominio del OpenSearch servicio. Incluirá esta función en la configuración de la canalización más adelante en este tutorial.

Cómo crear el rol de canalización

Abre la AWS Identity and Access Management consola en https://console.aws.amazon.com/iamv2/.
Seleccione Políticas y, a continuación, seleccione Crear política.
En este tutorial, incorporará datos a un dominio llamado ingestion-domain, que creará en el siguiente paso. Seleccione JSON y pegue la siguiente política en el editor. Sustituya {your-account-id} por su Identificador de cuenta y modifique la región si es necesario.
```
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "es:DescribeDomain",
            "Resource": "arn:aws:es:us-east-1:{your-account-id}:domain/ingestion-domain"
        },
        {
            "Effect": "Allow",
            "Action": "es:ESHttp*",
            "Resource": "arn:aws:es:us-east-1:{your-account-id}:domain/ingestion-domain/*"
        }
    ]
}
```
Si desea escribir datos en un dominio existente, sustituya ingestion-domain por el nombre de su dominio.

nota
Para simplificar este tutorial, utilizaremos una política de acceso amplia. No obstante, en entornos de producción, se recomienda que se aplique una política de acceso más restrictiva a su rol de canalización. Para ver un ejemplo de política que proporciona los permisos mínimos necesarios, consulte Otorgar a Amazon OpenSearch Ingestion pipelines acceso a los dominios.
Seleccione Siguiente, seleccione Siguiente y asigne a su política el nombre pipeline-policy.
Seleccione Crear política.
A continuación, cree un rol y añádale la política. Seleccione Roles y, a continuación, Crear rol.

Seleccione Política de confianza personalizada y pegue la siguiente política en el editor:


{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Principal":{
            "Service":"osis-pipelines.amazonaws.com"
         },
         "Action":"sts:AssumeRole"
      }
   ]
}

Seleccione Siguiente. A continuación, busque y seleccione pipeline-policy (que acaba de crear).
Seleccione Siguiente y asigne un nombre al rol PipelineRole.
Seleccione Crear rol.

Recuerde el nombre de recurso de Amazon (ARN) del rol (por ejemplo, arn:aws:iam::{your-account-id}:role/PipelineRole). Lo necesitará cuando cree la canalización.

Paso 2: crear un dominio

A continuación, cree un dominio denominado ingestion-domain al que desee incorporar datos.

Dirígete a la consola de Amazon OpenSearch Service en https://console.aws.amazon.com/aos/home y crea un dominio que cumpla los siguientes requisitos:

Está ejecutando la OpenSearch versión 1.0 o posterior, o Elasticsearch 7.4 o una versión posterior
Utiliza el acceso público
No utiliza el control de acceso detallado

nota

Estos requisitos están pensados para garantizar la simplicidad de este tutorial. En los entornos de producción, puede configurar un dominio con acceso a VPC o utilizar un control de acceso detallado. Para usar un control de acceso detallado, consulta Mapear la función de canalización.

El dominio debe tener una política de acceso que otorgue permiso a PipelineRole, el cual creó en el paso anterior. La canalización asumirá esta función (denominada sts_role_arn en la configuración de la canalización) para enviar datos al receptor del dominio de servicio. OpenSearch

Asegúrese de que el dominio tenga la siguiente política de acceso a nivel de dominio, que permite el acceso al dominio PipelineRole. Sustituya la Región y el ID de cuenta por los suyos:


{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::{your-account-id}:role/PipelineRole"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-1:{your-account-id}:domain/ingestion-domain/*"
    }
  ]
}

Para obtener más información sobre la creación de políticas de acceso a nivel de dominio, consulte Políticas de acceso basadas en recursos.

Si ya ha creado un dominio, modifique su política de acceso actual para proporcionar los permisos anteriores a PipelineRole.

nota

Recuerde el punto de conexión del dominio (por ejemplo, https://search-ingestion-domain.us-east-1.es.amazonaws.com). Lo utilizará en el siguiente paso para configurar la canalización.

Paso 3: crear una canalización

Ahora que tiene un dominio y un rol con los derechos de acceso adecuados, puede crear una canalización.

Para crear una canalización

En la consola de Amazon OpenSearch Service, selecciona Pipelines en el panel de navegación izquierdo.
Seleccione Create pipeline.
Asigne el nombre ingestion-pipeline a la canalización y mantenga la configuración de capacidad como predeterminada.
En este tutorial, creará una subcanalización sencilla llamada log-pipeline que utilice el complemento fuente Http. Este complemento acepta datos de registro en un formato de matriz JSON. Especificarás un único dominio OpenSearch de servicio como receptor e incorporarás todos los datos al application_logs índice.

En Configuración de canalización, pegue la siguiente configuración de YAML en el editor:
```
version: "2"
log-pipeline:
  source:
    http:
      path: "/${pipelineName}/test_ingestion_path"
  processor:
    - date:
        from_time_received: true
        destination: "@timestamp"
  sink:
    - opensearch:
        hosts: [ "https://search-ingestion-domain.us-east-1.es.amazonaws.com" ]
        index: "application_logs"
        aws:
          sts_role_arn: "arn:aws:iam::{your-account-id}:role/PipelineRole"
          region: "us-east-1"
```
nota
La opción path especifica la ruta del URI para la incorporación. Esta opción es necesaria para las fuentes basadas en la extracción. Para obtener más información, consulte Especificación de la ruta de ingesta.
Reemplace la URL hosts por el punto de conexión del dominio que creó (o modificó) en la sección anterior. Sustituya el parámetro sts_role_arn por el ARN de PipelineRole.
Seleccione Validar canalización y asegúrese de que la validación se realice correctamente.
Para simplificar este tutorial, configure el acceso público para la canalización. En Red, seleccione Acceso público.

Para obtener información acerca de la configuración del acceso a VPC, consulte Configuración del acceso a la VPC para las canalizaciones de Amazon Ingestion OpenSearch .
Mantenga habilitada la publicación de registros en caso de que surja algún problema al completar este tutorial. Para obtener más información, consulte Monitorear registros de canalización.

Especifique el siguiente nombre de grupo de registro: /aws/vendedlogs/OpenSearchIngestion/ingestion-pipeline/audit-logs
Seleccione Siguiente. Revise la configuración de la canalización y elija Crear canalización. La canalización tarda entre 5 y 10 minutos en activarse.

Paso 4: incorporar algunos datos de muestra

Cuando el estado de la canalización sea Active, puede empezar a incorporarle datos. Debe firmar todas las solicitudes HTTP que se envíen a la canalización mediante la versión 4 de Signature. Use una herramienta HTTP como Postman o awscurl para enviar algunos datos a la canalización. Al igual que ocurre con la indexación de datos directamente en un dominio, la incorporación de datos a una canalización siempre requiere un rol de IAM o una clave de acceso y una clave secreta de IAM.

nota

La entidad principal que firma la solicitud debe tener el permiso de IAM osis:Ingest.

Primero, obtenga la URL de incorporación en la página de Configuración de canalización:

A continuación, incorpore algunos datos de muestra. La siguiente solicitud usa awscurl para enviar un único archivo de registro al índice application_logs:


awscurl --service osis --region us-east-1 \
    -X POST \
    -H "Content-Type: application/json" \
    -d '[{"time":"2014-08-11T11:40:13+00:00","remote_addr":"122.226.223.69","status":"404","request":"GET http://www.k2proxy.com//hello.html HTTP/1.1","http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)"}]' \
    https://{pipeline-endpoint}.us-east-1.osis.amazonaws.com/log-pipeline/test_ingestion_path

Debería ver una respuesta 200 OK. Si recibe un error de autenticación, es posible que se deba a que está incorporando datos de una cuenta distinta a la de la canalización. Consulte Solución de problemas de permisos.

Ahora, consulte el índice application_logs para asegurarse de que la entrada de registro se haya incorporado correctamente:


awscurl --service es --region us-east-1 \
     -X GET \
     https://search-{ingestion-domain}.us-east-1.es.amazonaws.com/application_logs/_search | json_pp

Respuesta de ejemplo:


{
   "took":984,
   "timed_out":false,
   "_shards":{
      "total":1,
      "successful":5,
      "skipped":0,
      "failed":0
   },
   "hits":{
      "total":{
         "value":1,
         "relation":"eq"
      },
      "max_score":1.0,
      "hits":[
         {
            "_index":"application_logs",
            "_type":"_doc",
            "_id":"z6VY_IMBRpceX-DU6V4O",
            "_score":1.0,
            "_source":{
               "time":"2014-08-11T11:40:13+00:00",
               "remote_addr":"122.226.223.69",
               "status":"404",
               "request":"GET http://www.k2proxy.com//hello.html HTTP/1.1",
               "http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)",
               "@timestamp":"2022-10-21T21:00:25.502Z"
            }
         }
      ]
   }
}

Solución de problemas de permisos

Si has seguido los pasos del tutorial y sigues viendo errores de autenticación cuando intentas ingerir datos, puede que se deba a que la función que escribe en una canalización es Cuenta de AWS diferente a la propia canalización. En este caso, debe crear y asumir un rol que le permita específicamente incorporar datos. Para ver instrucciones, consulte Provisión de acceso de ingesta entre cuentas.

Recursos relacionados

Este tutorial presenta un caso práctico sencillo de incorporación de un único documento a través de HTTP. En escenarios de producción, configurará las aplicaciones cliente (como Fluent Bit, Kubernetes o OpenTelemetry Collector) para que envíen datos a una o más canalizaciones. Es probable que sus canalizaciones sean más complejas que en el ejemplo sencillo de este tutorial.

Para empezar a configurar sus clientes e incorporar datos, consulte los siguientes recursos:

Aviso JavaScript está desactivado o no está disponible en su navegador.

Para utilizar la documentación de AWS, debe estar habilitado JavaScript. Para obtener más información, consulte las páginas de ayuda de su navegador.

Convenciones del documento

Introducción a OpenSearch Ingestion

Tutorial: incorporar datos en una colección