Mengelola data deret waktu di Amazon OpenSearch Service dengan aliran data

Alur kerja tipikal untuk mengelola data deret waktu melibatkan beberapa langkah, seperti membuat alias indeks rollover, mendefinisikan indeks tulis, dan mendefinisikan pemetaan dan pengaturan umum untuk indeks pendukung.

Aliran data di Amazon OpenSearch Service membantu menyederhanakan proses penyiapan awal ini. Aliran data bekerja di luar kotak untuk data berbasis waktu seperti log aplikasi yang biasanya hanya ditambahkan di alam.

Aliran data memerlukan OpenSearch versi 1.0 atau yang lebih baru.

catatan

Dokumentasi ini menyediakan langkah-langkah dasar untuk membantu Anda memulai aliran data pada domain OpenSearch Layanan Amazon. Untuk dokumentasi komprehensif, lihat Aliran data dalam OpenSearch dokumentasi.

Memulai dengan aliran data

Aliran data secara internal terdiri dari beberapa indeks dukungan. Permintaan pencarian dirutekan ke semua indeks pendukung, sementara permintaan pengindeksan dirutekan ke indeks tulis terbaru.

Langkah 1: Buat template indeks

Untuk membuat aliran data, pertama-tama Anda harus membuat templat indeks yang mengonfigurasi sekumpulan indeks sebagai aliran data. data_streamObjek menunjukkan bahwa itu adalah aliran data dan bukan template indeks biasa. Pola indeks cocok dengan nama aliran data:

PUT _index_template/logs-template
{
  "index_patterns": [
    "my-data-stream",
    "logs-*"
  ],
  "data_stream": {},
  "priority": 100
}

Dalam hal ini, setiap dokumen yang dicerna harus memiliki @timestamp bidang. Anda juga dapat menentukan bidang stempel waktu kustom Anda sendiri sebagai properti di data_stream objek:

PUT _index_template/logs-template
{
  "index_patterns": "my-data-stream",
  "data_stream": {
    "timestamp_field": {
      "name": "request_time"
    }
  }
}

Langkah 2: Buat aliran data

Setelah Anda membuat template indeks, Anda dapat langsung mulai menelan data tanpa membuat aliran data.

Karena kita memiliki template indeks yang cocok dengan data_stream objek, OpenSearch secara otomatis membuat aliran data:

POST logs-staging/_doc
{
  "message": "login attempt failed",
  "@timestamp": "2013-03-01T00:00:00"
}

Langkah 3: Menelan data ke dalam aliran data

Untuk menyerap data ke dalam aliran data, Anda dapat menggunakan API pengindeksan biasa. Pastikan setiap dokumen yang Anda indeks memiliki bidang timestamp. Jika Anda mencoba menelan dokumen yang tidak memiliki bidang stempel waktu, Anda mendapatkan kesalahan.

POST logs-redis/_doc
{
  "message": "login attempt",
  "@timestamp": "2013-03-01T00:00:00"
}

Langkah 4: Mencari aliran data

Anda dapat mencari aliran data seperti Anda mencari indeks biasa atau alias indeks. Operasi pencarian berlaku untuk semua indeks dukungan (semua data yang ada di aliran).

GET logs-redis/_search
{
  "query": {
    "match": {
      "message": "login"
    }
  }
}

Langkah 5: Rollover aliran data

Anda dapat menyiapkan kebijakan Index State Management (ISM) untuk mengotomatiskan proses rollover untuk aliran data. Kebijakan ISM diterapkan pada indeks pendukung pada saat pembuatannya. Ketika Anda mengaitkan kebijakan ke aliran data, itu hanya memengaruhi indeks dukungan future dari aliran data tersebut. Anda juga tidak perlu menyediakan rollover_alias pengaturan, karena kebijakan ISM menyimpulkan informasi ini dari indeks dukungan.

catatan

Jika Anda memigrasikan indeks dukungan ke penyimpanan dingin, OpenSearch hapus indeks ini dari aliran data. Bahkan jika Anda memindahkan indeks kembali ke UltraWarm, indeks tetap independen dan bukan bagian dari aliran data asli. Setelah indeks dihapus dari aliran data, pencarian terhadap aliran tidak akan mengembalikan data apa pun dari indeks.

Awas

Indeks tulis untuk aliran data tidak dapat dimigrasikan ke cold storage. Jika Anda ingin memigrasikan data dalam aliran data ke penyimpanan dingin, Anda harus memutar aliran data sebelum migrasi.

Langkah 6: Kelola aliran data di Dasbor OpenSearch

Untuk mengelola aliran data dari OpenSearch Dasbor, buka OpenSearch Dasbor, pilih Manajemen Indeks, pilih Indeks atau Indeks yang dikelola Kebijakan.

Langkah 7: Hapus aliran data

Operasi hapus pertama menghapus indeks dukungan dari aliran data dan kemudian menghapus aliran data itu sendiri.

Untuk menghapus aliran data dan semua indeks dukungan tersembunyi:

DELETE _data_stream/name_of_data_stream