Conceitos-chave na Amazon OpenSearch Inestion

Antes de começar a usar o OpenSearch Ingestion, é útil entender esses conceitos-chave.

Pipeline

Do ponto de vista da OpenSearch ingestão, um pipeline se refere a um único coletor de dados provisionado que você cria no Service. OpenSearch Pense nisso como o arquivo de configuração YAML completo, que inclui um ou mais subpipelines. Para ver as etapas para criar um pipeline de ingestão, consulte Como criar pipelines.

Subpipeline

Você define subpipelines em um arquivo de configuração YAML. Cada subpipeline é uma combinação de uma fonte, um buffer, zero ou mais processadores e um ou mais coletores. Você pode definir vários subpipelines em um único arquivo YAML, cada um com fontes, processadores e coletores exclusivos. Para ajudar no monitoramento com CloudWatch e outros serviços, recomendamos que você especifique um nome de pipeline que seja diferente de todos os seus subpipelines.

Você pode agrupar vários subpipelines em um único arquivo YAML, de forma que a origem de um subpipeline seja outro subpipeline e seu coletor seja um terceiro subpipeline. Para obter um exemplo, consulte Usando um pipeline OpenSearch de ingestão com OpenTelemetry o Collector.

Origem

O componente de entrada de um subpipeline. Ele define o mecanismo pelo qual um pipeline consome registros. A fonte pode consumir eventos recebendo-os por HTTPS ou lendo em endpoints externos, como o Amazon S3. Existem dois tipos de fontes: baseadas em push e baseadas em pull. Fontes baseadas em push, como HTTP e OTel registros, transmitem registros para endpoints de ingestão. Fontes baseadas em pull, como OTel trace e S3, extraem dados da fonte.

Processadores

Unidades de processamento intermediárias que podem filtrar, transformar e enriquecer registros no formato desejado antes de publicá-los no coletor. O processador é um componente opcional de um pipeline. Se você não definir um processador, os registros serão publicados no formato definido na fonte. Você pode usar mais de um processador. Um pipeline executa os processadores na ordem em que são definidos.

Sink

O componente de saída de um subpipeline. Ele define um ou mais destinos nos quais um subpipeline publica registros. OpenSearch A ingestão oferece suporte a domínios OpenSearch de serviço como coletores. Ele também é compatível com subtubulações como coletores. Isso significa que você pode agrupar vários subpipelines em um único pipeline de OpenSearch ingestão (arquivo YAML). OpenSearch Clusters autogerenciados não são suportados como coletores.

Buffer

A parte de um processador que atua como a camada entre a fonte e o coletor. Você não pode configurar um buffer no seu pipeline manualmente. OpenSearch A ingestão usa uma configuração de buffer padrão.

Rota

A parte de um processador que permite que os autores do pipeline enviem somente eventos que correspondam a determinadas condições para diferentes coletores.

Uma definição de subpipeline válida deve conter uma fonte e um coletor. Para obter mais informações sobre cada um desses elementos do pipeline, consulte a referência de configuração.