Trabalhando com plantas

Em vez de criar uma definição de pipeline do zero, você pode usar esquemas de configuração, que são modelos pré-configurados para cenários comuns de ingestão, como Trace Analytics ou registros do Apache. Os esquemas de configuração ajudam você a provisionar pipelines facilmente, sem precisar criar uma configuração do zero.

Console

Como usar um esquema de pipeline

1. Faça login no console do Amazon OpenSearch Service em https://console.aws.amazon.com/aos/casa.

2. Escolha Pipelines no painel de navegação à esquerda e, depois, Criar pipeline.

3. Selecione um esquema na lista de casos de uso e escolha Selecionar esquema. A configuração do pipeline é preenchida com um subpipeline para o caso de uso selecionado.

   O esquema do pipeline não é válido no estado em que se encontra. Você precisa especificar configurações adicionais dependendo da fonte selecionada.

CLI

Para obter uma lista de todos os blueprints disponíveis usando o AWS CLI, envie uma list-pipeline-blueprintssolicitação.

aws osis list-pipeline-blueprints 

A solicitação retorna uma lista com todos os esquemas disponíveis.

Para obter informações mais detalhadas sobre um blueprint específico, use o get-pipeline-blueprintcomando:

aws osis get-pipeline-blueprint --blueprint-name AWS-ApacheLogPipeline

Essa solicitação retorna o conteúdo do esquema do pipeline de log do Apache:

{
   "Blueprint":{
      "PipelineConfigurationBody":"###\n  # Limitations: https://docs.aws.amazon.com/opensearch-service/latest/ingestion/ingestion.html#ingestion-limitations\n###\n###\n  # apache-log-pipeline:\n    # This pipeline receives logs via http (e.g. FluentBit), extracts important values from the logs by matching\n    # the value in the 'log' key against the grok common Apache log pattern. The grokked logs are then sent\n    # to OpenSearch to an index named 'logs'\n###\n\nversion: \"2\"\napache-log-pipeline:\n  source:\n    http:\n      # Provide the path for ingestion. ${pipelineName} will be replaced with pipeline name configured for this pipeline.\n      # In this case it would be \"/apache-log-pipeline/logs\". This will be the FluentBit output URI value.\n      path: \"/${pipelineName}/logs\"\n  processor:\n    - grok:\n        match:\n          log: [ \"%{COMMONAPACHELOG_DATATYPED}\" ]\n  sink:\n    - opensearch:\n        # Provide an AWS OpenSearch Service domain endpoint\n        # hosts: [ \"https://search-mydomain-1a2a3a4a5a6a7a8a9a0a9a8a7a.us-east-1.es.amazonaws.com\" ]\n        aws:\n          # Provide the region of the domain.\n          # region: \"us-east-1\"\n          # Enable the 'serverless' flag if the sink is an Amazon OpenSearch Serverless collection\n          # serverless: true\n        index: \"logs\"\n        # Enable the S3 DLQ to capture any failed requests in an S3 bucket\n        # dlq:\n          # s3:\n            # Provide an S3 bucket\n            # bucket: \"your-dlq-bucket-name\"\n            # Provide a key path prefix for the failed requests\n            # key_path_prefix: \"${pipelineName}/logs/dlq\"\n            # Provide the region of the bucket.\n            # region: \"us-east-1\"\n            # Provide a Role ARN with access to the bucket. This role should have a trust relationship with osis-pipelines.amazonaws.com\n"
      "BlueprintName":"AWS-ApacheLogPipeline"
   }
}

OpenSearch API de ingestão

Para obter informações sobre esquemas de pipeline usando a API de OpenSearch ingestão, use as operações ListPipelineBlueprintse. GetPipelineBlueprint