Memberikan akses saluran pipa Amazon OpenSearch Ingestion ke koleksi

Pipeline Amazon OpenSearch Ingestion dapat menulis ke koleksi atau OpenSearch koleksi publik Tanpa Server. VPC Untuk menyediakan akses ke koleksi, Anda mengonfigurasi peran pipeline AWS Identity and Access Management (IAM) dengan kebijakan izin yang memberikan akses ke koleksi. Sebelum menentukan peran dalam konfigurasi pipeline, Anda harus mengonfigurasinya dengan hubungan kepercayaan yang sesuai, lalu memberinya izin akses data melalui kebijakan akses data.

Selama pembuatan pipeline, OpenSearch Ingestion menciptakan AWS PrivateLink koneksi antara pipeline dan koleksi Tanpa OpenSearch Server. Semua lalu lintas dari pipa melewati VPC titik akhir ini dan diarahkan ke koleksi. Untuk mencapai koleksi, titik akhir harus diberikan akses ke koleksi melalui kebijakan akses jaringan.

Menyediakan akses jaringan ke jaringan pipa

Setiap koleksi yang Anda buat di OpenSearch Tanpa Server memiliki setidaknya satu kebijakan akses jaringan yang terkait dengannya. Kebijakan akses jaringan menentukan apakah koleksi dapat diakses melalui internet dari jaringan publik, atau apakah harus diakses secara pribadi. Untuk informasi selengkapnya tentang kebijakan jaringan, lihatAkses jaringan untuk Amazon Tanpa OpenSearch Server.

Dalam kebijakan akses jaringan, Anda hanya dapat menentukan titik akhir yang OpenSearch dikelola tanpa server. VPC Untuk informasi selengkapnya, lihat Akses Amazon OpenSearch Tanpa Server menggunakan titik akhir antarmuka ()AWS PrivateLink. Namun, agar pipeline dapat menulis ke koleksi, kebijakan juga harus memberikan akses ke VPC titik akhir yang secara otomatis dibuat oleh OpenSearch Ingestion antara pipeline dan koleksi. Oleh karena itu, saat Anda membuat pipeline yang memiliki sink koleksi OpenSearch Tanpa Server, Anda harus memberikan nama kebijakan jaringan terkait menggunakan opsi tersebutnetwork_policy_name.

Sebagai contoh:

...
sink:
   - opensearch:
       hosts: [ "https://collection-id.region.aoss.amazonaws.com" ]
       index: "my-index"
        aws:
          serverless: true
          serverless_options:
            network_policy_name: "network-policy-name"

Selama pembuatan pipa, OpenSearch Ingestion memeriksa keberadaan kebijakan jaringan yang ditentukan. Jika tidak ada, OpenSearch Ingestion menciptakannya. Jika memang ada, OpenSearch Ingestion memperbaruinya dengan menambahkan aturan baru ke dalamnya. Aturan memberikan akses ke VPC titik akhir yang menghubungkan pipeline dan koleksi.

Sebagai contoh:

{
   "Rules":[
      {
         "Resource":[
            "collection/my-collection"
         ],
         "ResourceType":"collection"
      }
   ],
   "SourceVPCEs":[
      "vpce-0c510712627e27269" # The ID of the VPC endpoint that OpenSearch Ingestion creates between the pipeline and collection
   ],
   "Description":"Created by Data Prepper"
}

Di konsol, aturan apa pun yang ditambahkan oleh OpenSearch Ingestion ke kebijakan jaringan Anda diberi nama Dibuat oleh Penyedia Data:

catatan

Secara umum, aturan yang menentukan akses publik untuk koleksi mengesampingkan aturan yang menentukan akses pribadi. Oleh karena itu, jika kebijakan sudah memiliki akses publik yang dikonfigurasi, aturan baru yang ditambahkan OpenSearch Ingestion ini sebenarnya tidak mengubah perilaku kebijakan. Untuk informasi selengkapnya, lihat Prioritas kebijakan.

Jika Anda menghentikan atau menghapus pipeline, OpenSearch Ingestion menghapus VPC titik akhir antara pipeline dan koleksi. Ini juga memodifikasi kebijakan jaringan untuk menghapus VPC titik akhir dari daftar titik akhir yang diizinkan. Jika Anda memulai ulang pipeline, pipeline akan membuat ulang VPC titik akhir dan memperbarui kembali kebijakan jaringan dengan ID titik akhir.

Langkah 1: Buat peran pipeline

Peran yang Anda tentukan dalam parameter sts_role_arn dari konfigurasi pipeline harus memiliki kebijakan izin terlampir yang memungkinkannya mengirim data ke sink koleksi. Itu juga harus memiliki hubungan kepercayaan yang memungkinkan OpenSearch Ingestion untuk mengambil peran. Untuk petunjuk tentang cara melampirkan kebijakan ke peran, lihat Menambahkan izin IAM identitas di Panduan IAM Pengguna.

Kebijakan contoh berikut menunjukkan hak istimewa paling sedikit yang dapat Anda berikan dalam peran sts_role_arn konfigurasi pipeline agar dapat ditulis ke koleksi:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Statement1",
            "Effect": "Allow",
            "Action": [
                "aoss:APIAccessAll",
                "aoss:BatchGetCollection",
                "aoss:CreateSecurityPolicy",
                "aoss:GetSecurityPolicy",
                "aoss:UpdateSecurityPolicy"
            ],
            "Resource": "*"
        }
    ]
}  

Peran tersebut harus memiliki hubungan kepercayaan berikut, yang memungkinkan OpenSearch Ingestion untuk menganggapnya:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "osis-pipelines.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

Langkah 2: Buat koleksi

Buat koleksi OpenSearch Tanpa Server dengan pengaturan berikut. Untuk instruksi untuk membuat koleksi, lihatMembuat koleksi.

Kebijakan akses data

Buat kebijakan akses data untuk koleksi yang memberikan izin yang diperlukan ke peran pipeline. Sebagai contoh:

[
  {
    "Rules": [
      {
        "Resource": [
          "index/collection-name/*"
        ],
        "Permission": [
          "aoss:CreateIndex",
          "aoss:UpdateIndex",
          "aoss:DescribeIndex",
          "aoss:WriteDocument"
        ],
        "ResourceType": "index"
      }
    ],
    "Principal": [
      "arn:aws:iam::account-id:role/pipeline-role"
    ],
    "Description": "Pipeline role access"
  }
]

catatan

Dalam Principal elemen, tentukan Amazon Resource Name (ARN) dari peran pipeline yang Anda buat di langkah sebelumnya.

Kebijakan akses jaringan

Buat kebijakan akses jaringan untuk koleksi. Anda dapat menyerap data ke dalam koleksi publik atau VPC koleksi. Misalnya, kebijakan berikut menyediakan akses ke satu titik akhir yang dikelola OpenSearch Tanpa Server: VPC

[
   {
      "Description":"Rule 1",
      "Rules":[
         {
            "ResourceType":"collection",
            "Resource":[
               "collection/collection-name"
            ]
         }
      ],
      "AllowFromPublic": false,
      "SourceVPCEs":[
         "vpce-050f79086ee71ac05"
      ]
   }
]

penting

Anda harus menentukan nama kebijakan jaringan dalam network_policy_name opsi dalam konfigurasi pipeline. Pada saat pembuatan pipeline, OpenSearch Ingestion memperbarui kebijakan jaringan ini untuk memungkinkan akses ke VPC titik akhir yang dibuat secara otomatis antara pipeline dan koleksi. Lihat langkah 3 untuk contoh konfigurasi pipeline. Untuk informasi selengkapnya, lihat Menyediakan akses jaringan ke jaringan pipa.

Langkah 3: Buat pipeline

Terakhir, buat pipeline tempat Anda menentukan peran pipeline dan detail koleksi. Pipeline mengasumsikan peran ini untuk menandatangani permintaan ke sink koleksi OpenSearch Tanpa Server.

Pastikan untuk melakukan hal berikut:

• Untuk hosts opsi, tentukan titik akhir koleksi yang Anda buat di langkah 2.

• Untuk sts_role_arn opsi, tentukan Amazon Resource Name (ARN) dari peran pipeline yang Anda buat di langkah 1.

• Atur serverless opsi ketrue.

• Tetapkan network_policy_name opsi ke nama kebijakan jaringan yang dilampirkan pada koleksi. OpenSearch Ingestion secara otomatis memperbarui kebijakan jaringan ini untuk mengizinkan akses dari VPC yang dibuat antara pipeline dan koleksi. Untuk informasi selengkapnya, lihat Menyediakan akses jaringan ke jaringan pipa.

version: "2"
log-pipeline:
  source:
    http:
        path: "/log/ingest"
  processor:
    - date:
        from_time_received: true
        destination: "@timestamp"
  sink:
    - opensearch:
        hosts: [ "https://collection-id.region.aoss.amazonaws.com" ]
        index: "my-index"
        aws:
          serverless: true
          serverless_options:
            network_policy_name: "network-policy-name" # If the policy doesn't exist, a new policy is created.
          region: "us-east-1"
          sts_role_arn: "arn:aws:iam::account-id:role/pipeline-role"

Untuk referensi lengkap parameter yang diperlukan dan tidak didukung, lihatPlugin dan opsi yang didukung untuk saluran Amazon OpenSearch Ingestion.