Mengkonfigurasi dan menanyakan sumber data S3 di Dasbor OpenSearch

Setelah membuat sumber data, Anda dapat mengonfigurasi pengaturan keamanan, menentukan tabel Amazon S3, atau mengatur pengindeksan data yang dipercepat. Bagian ini memandu Anda melalui berbagai kasus penggunaan dengan sumber data Anda di OpenSearch Dasbor sebelum Anda menanyakan data Anda.

Untuk mengonfigurasi bagian berikut, Anda harus terlebih dahulu menavigasi ke sumber data Anda di OpenSearch Dasbor. Di navigasi sebelah kiri, di bawah Manajemen, pilih Sumber data. Di bawah Kelola sumber data, pilih nama sumber data yang Anda buat di konsol.

Buat Spark Tables menggunakan Query Workbench

Kueri langsung dari OpenSearch Layanan ke Amazon S3 menggunakan tabel Spark di dalam file. AWS Glue Data Catalog Anda dapat membuat tabel dari dalam Query Workbench tanpa harus meninggalkan OpenSearch Dasbor.

Untuk mengelola database dan tabel yang ada di sumber data Anda, atau untuk membuat tabel baru yang ingin Anda gunakan kueri langsung, pilih Query Workbench dari navigasi kiri dan pilih sumber data Amazon S3 dari drop-down sumber data.

Untuk menyiapkan tabel untuk log Aliran VPC yang disimpan dalam S3 dalam format Parket, jalankan kueri berikut:

CREATE TABLE 
datasourcename.gluedatabasename.vpclogstable (version INT, account_id STRING, interface_id STRING, 
srcaddr STRING, dstaddr STRING, srcport INT, dstport INT, protocol INT, packets BIGINT, 
bytes BIGINT, start BIGINT, end BIGINT, action STRING, log_status STRING, 
`aws-account-id` STRING, `aws-service` STRING, `aws-region` STRING, year STRING, 
month STRING, day STRING, hour STRING) 

USING parquet PARTITIONED BY (aws-account-id, aws-service, aws-region, year, month, 
day, hour) 

LOCATION "s3://accountnum-vpcflow/AWSLogs"

Setelah membuat tabel, jalankan kueri berikut untuk memastikan bahwa itu kompatibel dengan kueri langsung:

MSCK REPAIR TABLE  datasourcename.databasename.vpclogstable

Integrasi penyiapan untuk jenis AWS log populer

Anda dapat mengintegrasikan jenis AWS log yang disimpan di Amazon S3 dengan OpenSearch Layanan. Gunakan OpenSearch Dasbor untuk menginstal integrasi yang membuat AWS Glue Data Catalog tabel, kueri tersimpan, dan dasbor. Integrasi ini menggunakan tampilan yang diindeks untuk menjaga dasbor diperbarui.

Untuk petunjuk menginstal integrasi, lihat Menginstal aset integrasi dalam OpenSearch dokumentasi.

Ketika Anda memilih integrasi, pastikan itu memiliki S3 Glue tag.

Saat Anda mengatur integrasi, tentukan S3 Connection untuk jenis koneksi. Kemudian, pilih sumber data untuk integrasi, lokasi data Amazon S3, pos pemeriksaan untuk mengelola pengindeksan akselerasi, dan aset yang diperlukan untuk kasus penggunaan Anda.

catatan

Pastikan bucket S3 untuk pos pemeriksaan Anda memiliki izin menulis untuk lokasi pos pemeriksaan. Tanpa izin ini, akselerasi integrasi akan gagal.

Mengatur kontrol akses

Pada halaman detail untuk sumber data Anda, temukan bagian Kontrol akses dan pilih Edit. Jika domain telah mengaktifkan kontrol akses berbutir halus, pilih Dibatasi dan pilih peran mana yang ingin Anda berikan dengan akses ke sumber data baru. Anda juga dapat memilih Admin hanya jika Anda hanya ingin administrator memiliki akses ke sumber data.

penting

Indeks digunakan untuk kueri apa pun terhadap sumber data. Pengguna dengan akses baca ke indeks permintaan untuk sumber data tertentu dapat membaca semua kueri terhadap sumber data tersebut. Pengguna dengan akses baca ke indeks hasil dapat membaca hasil untuk semua kueri terhadap sumber data tersebut.

Menanyakan data S3 di Discover OpenSearch

Setelah mengatur tabel dan mengonfigurasi akselerasi kueri opsional yang diinginkan, Anda dapat mulai menganalisis data Anda. Untuk menanyakan data Anda, pilih sumber data Anda dari menu tarik-turun. Jika Anda menggunakan Amazon S3 dan OpenSearch Dasbor, buka Temukan dan pilih nama sumber data.

Jika Anda menggunakan indeks skipping atau belum membuat indeks, Anda dapat menggunakan SQL atau PPL untuk menanyakan data Anda. Jika Anda telah mengonfigurasi tampilan terwujud atau indeks penutup, Anda sudah memiliki indeks dan dapat menggunakan Dashboards Query Language (DQL) di seluruh Dasbor. Anda juga dapat menggunakan PPL dengan plugin Observability, dan SQL dengan plugin Query Workbench. Saat ini, hanya plugin Observability dan Query Workbench yang mendukung PPL dan SQL. Untuk melakukan kueri data menggunakan API OpenSearch Layanan, lihat dokumentasi API asinkron.

catatan

Tidak semua pernyataan SQL dan PPL, perintah dan fungsi didukung. Untuk daftar perintah yang didukung, lihatPerintah SQL dan PPL yang didukung.

Jika Anda telah membuat tampilan terwujud atau indeks penutup, Anda dapat menggunakan DQL untuk menanyakan data Anda mengingat Anda telah mengindeks di dalamnya.

Pemecahan Masalah

Mungkin ada contoh ketika hasil tidak kembali seperti yang diharapkan. Jika Anda mengalami masalah apa pun, pastikan Anda mengikutiRekomendasi penting untuk memulai dengan kueri langsung.