Menggunakan cetak biru untuk membuat pipeline

Daripada membuat definisi pipeline dari awal, Anda dapat menggunakan cetak biru konfigurasi, yang merupakan YAML templat yang telah dikonfigurasi sebelumnya untuk skenario konsumsi umum seperti Trace Analytics atau log Apache. Cetak biru konfigurasi membantu Anda menyediakan saluran pipa dengan mudah tanpa harus membuat konfigurasi dari awal.

Konsol

Untuk menggunakan cetak biru pipa

1. Masuk ke konsol OpenSearch Layanan Amazon di https://console.aws.amazon.com/aos/rumah.

2. Pilih Pipelines di panel navigasi kiri dan pilih Create pipeline.

3. Pilih cetak biru dari daftar kasus penggunaan, lalu pilih Pilih cetak biru. Konfigurasi pipeline diisi dengan sub-pipeline untuk kasus penggunaan yang Anda pilih.

4. Tinjau teks yang dikomentari yang memandu Anda melalui konfigurasi cetak biru.

   penting

   Cetak biru pipeline tidak valid apa adanya. Anda perlu membuat beberapa modifikasi, seperti menyediakan Wilayah AWS dan peran yang akan digunakan ARN untuk otentikasi, jika tidak validasi pipeline akan gagal.

CLI

Untuk mendapatkan daftar semua cetak biru yang tersedia menggunakan AWS CLI, kirim permintaan. list-pipeline-blueprints

aws osis list-pipeline-blueprints 

Permintaan mengembalikan daftar semua cetak biru yang tersedia.

Untuk mendapatkan informasi lebih rinci tentang cetak biru tertentu, gunakan perintah: get-pipeline-blueprint

aws osis get-pipeline-blueprint --blueprint-name AWS-ApacheLogPipeline

Permintaan ini mengembalikan isi cetak biru pipeline log Apache:

{
   "Blueprint":{
      "PipelineConfigurationBody":"###\n  # Limitations: https://docs.aws.amazon.com/opensearch-service/latest/ingestion/ingestion.html#ingestion-limitations\n###\n###\n  # apache-log-pipeline:\n    # This pipeline receives logs via http (e.g. FluentBit), extracts important values from the logs by matching\n    # the value in the 'log' key against the grok common Apache log pattern. The grokked logs are then sent\n    # to OpenSearch to an index named 'logs'\n###\n\nversion: \"2\"\napache-log-pipeline:\n  source:\n    http:\n      # Provide the path for ingestion. ${pipelineName} will be replaced with pipeline name configured for this pipeline.\n      # In this case it would be \"/apache-log-pipeline/logs\". This will be the FluentBit output URI value.\n      path: \"/${pipelineName}/logs\"\n  processor:\n    - grok:\n        match:\n          log: [ \"%{COMMONAPACHELOG_DATATYPED}\" ]\n  sink:\n    - opensearch:\n        # Provide an AWS OpenSearch Service domain endpoint\n        # hosts: [ \"https://search-mydomain-1a2a3a4a5a6a7a8a9a0a9a8a7a.us-east-1.es.amazonaws.com\" ]\n        aws:\n          # Provide a Role ARN with access to the domain. This role should have a trust relationship with osis-pipelines.amazonaws.com\n          # sts_role_arn: \"arn:aws:iam::123456789012:role/Example-Role\"\n          # Provide the region of the domain.\n          # region: \"us-east-1\"\n          # Enable the 'serverless' flag if the sink is an Amazon OpenSearch Serverless collection\n          # serverless: true\n        index: \"logs\"\n        # Enable the S3 DLQ to capture any failed requests in an S3 bucket\n        # dlq:\n          # s3:\n            # Provide an S3 bucket\n            # bucket: \"your-dlq-bucket-name\"\n            # Provide a key path prefix for the failed requests\n            # key_path_prefix: \"${pipelineName}/logs/dlq\"\n            # Provide the region of the bucket.\n            # region: \"us-east-1\"\n            # Provide a Role ARN with access to the bucket. This role should have a trust relationship with osis-pipelines.amazonaws.com\n            # sts_role_arn: \"arn:aws:iam::123456789012:role/Example-Role\"\n",
      "BlueprintName":"AWS-ApacheLogPipeline"
   }
}

OpenSearch Tertelan API

Untuk mendapatkan informasi tentang cetak biru pipa menggunakan OpenSearch IngestionAPI, gunakan dan operasi. ListPipelineBlueprintsGetPipelineBlueprint