Membuat integrasi sumber data OpenSearch Layanan Amazon dengan Amazon S3 - OpenSearch Layanan Amazon

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membuat integrasi sumber data OpenSearch Layanan Amazon dengan Amazon S3

Ini adalah dokumentasi prarilis untuk kueri langsung OpenSearch Layanan Amazon dengan Amazon S3, yang dalam rilis pratinjau. Dokumentasi dan fitur dapat berubah. Sebaiknya gunakan fitur ini hanya dalam lingkungan pengujian, bukan dalam lingkungan produksi. Untuk syarat dan ketentuan pratinjau, lihat Beta dan Pratinjau di Persyaratan LayananAWS.

Anda dapat membuat sumber data kueri langsung Amazon S3 baru untuk OpenSearch Layanan melalui atau API. AWS Management Console Setiap sumber data baru menggunakan tabel AWS Glue Data Catalog untuk mengelola yang mewakili bucket Amazon S3.

Prasyarat

Sebelum Anda membuat sumber data, Anda harus memiliki yang berikut:

  • OpenSearch Domain dengan versi 2.11 atau yang lebih baru

Untuk petunjuk untuk mengatur ini, lihat Membuat domain OpenSearch Layanan dan Memulai dengan AWS Glue Data Catalog.

Izin yang diperlukan

Untuk membuat sumber data, pengguna atau peran Anda harus memiliki kebijakan berbasis identitas terlampir dengan izin IAM yang sesuai. Kebijakan contoh berikut menunjukkan izin hak istimewa terkecil yang diperlukan untuk membuat dan mengelola sumber data. Perhatikan bahwa jika Anda memiliki izin yang lebih luas, seperti s3:* atau AdministratorAccess kebijakan, izin ini mencakup izin hak istimewa terkecil dalam kebijakan sampel.

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "es:ESHttp*", "es:AddDataSource", "es:DeleteDataSource", "es:GetDataSource", "es:ListDataSource", "es:UpdateDataSource", "s3:Get*", "s3:List*", "s3:Put*", "s3:Describe*", "glue:*" ], "Resource": [ "arn:aws:s3:::bucket-name", "arn:aws:s3:::bucket-name/*", "arn:aws:glue:us-east-1:{aws-account-id}:database/*" ] }, { "Sid": "GlueCreateAndReadDataCatalog", "Effect": "Allow", "Action": [ "glue:GetDatabase", "glue:CreateDatabase", "glue:GetDatabases", "glue:CreateTable", "glue:GetTable", "glue:UpdateTable", "glue:DeleteTable", "glue:GetTables", "glue:GetPartition", "glue:GetPartitions", "glue:CreatePartition", "glue:BatchCreatePartition", "glue:GetUserDefinedFunctions" ], "Resource": "*" } ] }

Peran juga harus memiliki kebijakan kepercayaan berikut, yang menentukan ID target.

{ "Version":"2012-10-17", "Statement":[ { "Effect":"Allow", "Principal":{ "Service": "directquery.opensearchservice.amazonaws.com" }, "Action":"sts:AssumeRole" } ] }

Untuk petunjuk cara membuat peran, lihat Membuat peran menggunakan kebijakan kepercayaan khusus.

Jika Anda mengaktifkan kontrol akses berbutir halus, peran kontrol akses OpenSearch berbutir halus baru akan dibuat secara otomatis untuk sumber data Anda. <name of data source>Nama peran kontrol akses berbutir halus baru adalah _. AWSOpenSearchDirectQuery

Secara default, peran memiliki akses ke indeks sumber data kueri langsung saja. Meskipun Anda dapat mengonfigurasi peran untuk membatasi atau memberikan akses ke sumber data Anda, sebaiknya Anda tidak menyesuaikan akses peran ini. Jika Anda menghapus sumber data, peran ini akan dihapus. Ini akan menghapus akses untuk pengguna lain jika mereka dipetakan ke peran tersebut.

Petakan AWS Glue Data Catalog peran (jika kontrol akses berbutir halus diaktifkan setelah membuat sumber data)

Jika Anda telah mengaktifkan kontrol akses halus setelah membuat sumber data, Anda harus memetakan pengguna non-admin ke peran IAM dengan AWS Glue Data Catalog akses untuk menjalankan kueri langsung. Untuk membuat glue_access peran backend secara manual yang dapat Anda petakan ke peran IAM, lakukan langkah-langkah berikut:

catatan

Indeks digunakan untuk kueri apa pun terhadap sumber data. Pengguna dengan akses baca ke indeks permintaan untuk sumber data tertentu dapat membaca semua kueri terhadap sumber data tersebut. Pengguna dengan akses baca ke indeks hasil dapat membaca hasil untuk semua kueri terhadap sumber data tersebut.

  1. Dari menu utama di OpenSearch Dasbor, pilih Keamanan, Peran, dan Buat peran.

  2. Beri nama peran glue_access.

  3. Untuk izin Cluster, pilihindices:data/write/bulk*,indices:data/read/scroll,indices:data/read/scroll/clear.

  4. Untuk Indeks, masukkan indeks berikut yang ingin Anda berikan kepada pengguna akses peran:

    • .query_execution_request_<name of data source>

    • query_execution_result_<name of data source>

    • flint_*

  5. Untuk izin Indeks, pilihindices_all.

  6. Pilih Buat.

  7. Pilih Pengguna yang dipetakan, Kelola pemetaan.

  8. Di bawah peran Backend, tambahkan ARN AWS Glue peran yang memerlukan izin untuk memanggil domain Anda.

    arn:aws:iam::account-id:role/role-name
  9. Pilih Peta dan konfirmasikan, peran akan muncul pada Pengguna yang Dipetakan.

Untuk informasi selengkapnya tentang peran pemetaan, lihatMemetakan peran untuk pengguna.

Siapkan sumber data kueri langsung baru

Anda dapat mengatur sumber data kueri langsung pada domain dengan AWS Management Console atau API OpenSearch Layanan.

  1. Arahkan ke konsol OpenSearch Layanan Amazon dihttps://console.aws.amazon.com/aos/.

  2. Di panel navigasi kiri, pilih Domain.

  3. Pilih domain yang ingin Anda siapkan sumber data baru. Ini membuka halaman detail domain. Pilih tab Koneksi di bawah detail domain umum dan temukan bagian Kueri langsung.

  4. Pilih Buat.

  5. Pada halaman pembuatan sumber data, masukkan nama untuk sumber data baru Anda. Di bawah Jenis sumber data, pilih Amazon S3. Pilih peran IAM yang ada yang memiliki batasan untuk apa yang dapat diakses di AWS Glue Data Catalog dan Amazon S3.

  6. Pilih Buat. Ini membuka layar detail sumber data dengan URL OpenSearch Dasbor. Anda dapat menavigasi ke URL ini untuk menyelesaikan langkah selanjutnya.

Gunakan operasi AddDataSourceAPI untuk membuat sumber data baru di domain Anda.

POST https://es.region.amazonaws.com/2021-01-01/opensearch/domain/domain-name/dataSource { "DataSourceType": { "s3GlueDataCatalog": { "RoleArn": "arn:aws:iam::account-id:role/Admin" } } "Description": "data-source-description", "Name": "my-data-source" }

Langkah selanjutnya

Setelah Anda membuat sumber data, OpenSearch Layanan memberi Anda URL OpenSearch Dasbor. Anda menggunakan ini untuk mengonfigurasi kontrol akses, menentukan tabel, mengatur dasbor berbasis tipe log untuk jenis log populer, dan menanyakan data Anda.