Konfigurasikan pengaturan tujuan - Amazon Data Firehose
Konfigurasikan setelan tujuan untuk Amazon S3Konfigurasikan setelan tujuan untuk Amazon RedshiftKonfigurasikan setelan tujuan untuk OpenSearch LayananKonfigurasikan pengaturan tujuan untuk Tanpa OpenSearch ServerKonfigurasikan pengaturan tujuan untuk HTTP EndpointKonfigurasikan pengaturan tujuan untuk DatadogKonfigurasikan pengaturan tujuan untuk HoneycombKonfigurasikan pengaturan tujuan untuk CoralogixKonfigurasikan setelan tujuan untuk DynatraceKonfigurasikan setelan tujuan untuk LogicMonitorKonfigurasikan pengaturan tujuan untuk Logz.ioKonfigurasikan pengaturan tujuan untuk MongoDB CloudKonfigurasikan pengaturan tujuan untuk New RelicKonfigurasikan pengaturan tujuan untuk SnowflakeKonfigurasikan pengaturan tujuan untuk SplunkKonfigurasikan pengaturan tujuan untuk Splunk Observability CloudKonfigurasikan pengaturan tujuan untuk Sumo LogicKonfigurasikan pengaturan tujuan untuk Elastic

Amazon Data Firehose sebelumnya dikenal sebagai Amazon Kinesis Data Firehose

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konfigurasikan pengaturan tujuan

Topik ini menjelaskan pengaturan tujuan untuk aliran Firehose Anda berdasarkan tujuan yang Anda pilih. Untuk informasi lebih lanjut tentang petunjuk buffering, lihat. Memahami petunjuk buffering

Konfigurasikan setelan tujuan untuk Amazon S3

Anda harus menentukan pengaturan berikut untuk menggunakan Amazon S3 sebagai tujuan aliran Firehose Anda.

  • Masukkan nilai untuk bidang berikut.

    Ember S3

    Pilih bucket S3 yang Anda miliki tempat data streaming harus dikirim. Anda dapat membuat bucket S3 atau memilih yang sudah ada.

    Pembatas baris baru

    Anda dapat mengonfigurasi aliran Firehose untuk menambahkan pembatas baris baru di antara catatan dalam objek yang dikirimkan ke Amazon S3. Untuk melakukannya, pilih Diaktifkan. Untuk tidak menambahkan pembatas baris baru di antara catatan dalam objek yang dikirim ke Amazon S3, pilih Dinonaktifkan. Jika Anda berencana menggunakan Athena untuk menanyakan objek S3 dengan catatan agregat, aktifkan opsi ini.

    Partisi dinamis

    Pilih Diaktifkan untuk mengaktifkan dan mengonfigurasi partisi dinamis.

    Deagregasi multi rekor

    Ini adalah proses penguraian melalui catatan di aliran Firehose dan memisahkannya berdasarkan JSON yang valid atau pada pembatas baris baru yang ditentukan.

    Jika Anda menggabungkan beberapa peristiwa, log, atau catatan ke dalam panggilan tunggal PutRecord dan PutRecordBatch API, Anda masih dapat mengaktifkan dan mengonfigurasi partisi dinamis. Dengan data agregat, saat Anda mengaktifkan partisi dinamis, Amazon Data Firehose mem-parsing catatan dan mencari beberapa objek JSON yang valid dalam setiap panggilan API. Ketika aliran Firehose dikonfigurasi dengan Kinesis Data Stream sebagai sumber, Anda juga dapat menggunakan agregasi bawaan di Kinesis Producer Library (KPL). Fungsionalitas partisi data dijalankan setelah data dideagregasi. Oleh karena itu, setiap rekaman di setiap panggilan API dapat dikirimkan ke awalan Amazon S3 yang berbeda. Anda juga dapat memanfaatkan integrasi fungsi Lambda untuk melakukan deagregasi lain atau transformasi lainnya sebelum fungsionalitas partisi data.

    penting

    Jika data Anda digabungkan, partisi dinamis hanya dapat diterapkan setelah deagregasi data dilakukan. Jadi, jika Anda mengaktifkan partisi dinamis ke data agregat Anda, Anda harus memilih Diaktifkan untuk mengaktifkan deagregasi multi rekaman.

    Firehose stream melakukan langkah-langkah pemrosesan berikut dengan urutan sebagai berikut: deagregasi KPL (protobuf), deagregasi JSON atau pembatas, pemrosesan Lambda, partisi data, konversi format data, dan pengiriman Amazon S3.

    Jenis deagregasi multi record

    Jika Anda mengaktifkan deagregasi multi rekaman, Anda harus menentukan metode Firehose untuk mendeagregasi data Anda. Gunakan menu drop-down untuk memilih JSON atau Delimited.

    Penguraian sebaris

    Ini adalah salah satu mekanisme yang didukung untuk secara dinamis mempartisi data Anda yang terikat untuk Amazon S3. Untuk menggunakan penguraian inline untuk partisi dinamis data Anda, Anda harus menentukan parameter catatan data yang akan digunakan sebagai kunci partisi dan memberikan nilai untuk setiap kunci partisi yang ditentukan. Pilih Diaktifkan untuk mengaktifkan dan mengonfigurasi penguraian sebaris.

    penting

    Jika Anda menentukan fungsi AWS Lambda dalam langkah-langkah di atas untuk mengubah catatan sumber Anda, Anda dapat menggunakan fungsi ini untuk secara dinamis mempartisi data Anda yang terikat ke S3 dan Anda masih dapat membuat kunci partisi Anda dengan parsing inline. Dengan partisi dinamis, Anda dapat menggunakan penguraian sebaris atau fungsi AWS Lambda Anda untuk membuat kunci partisi Anda. Atau Anda dapat menggunakan penguraian inline dan fungsi AWS Lambda Anda secara bersamaan untuk membuat kunci partisi Anda.

    Tombol partisi dinamis

    Anda dapat menggunakan bidang Kunci dan Nilai untuk menentukan parameter catatan data yang akan digunakan sebagai kunci partisi dinamis dan kueri jq untuk menghasilkan nilai kunci partisi dinamis. Firehose hanya mendukung jq 1.6. Anda dapat menentukan hingga 50 tombol partisi dinamis. Anda harus memasukkan ekspresi jq yang valid untuk nilai kunci partisi dinamis agar berhasil mengonfigurasi partisi dinamis untuk aliran Firehose Anda.

    Awalan ember S3

    Saat mengaktifkan dan mengonfigurasi partisi dinamis, Anda harus menentukan awalan bucket S3 tempat Amazon Data Firehose akan mengirimkan data yang dipartisi.

    Agar partisi dinamis dapat dikonfigurasi dengan benar, jumlah awalan bucket S3 harus identik dengan jumlah kunci partisi yang ditentukan.

    Anda dapat mempartisi data sumber Anda dengan penguraian sebaris atau dengan fungsi Lambda yang Anda tentukan AWS . Jika Anda menetapkan fungsi AWS Lambda untuk membuat kunci partisi untuk data sumber Anda, Anda harus mengetikkan nilai awalan bucket S3 secara manual menggunakan format berikut: "Lambda:KeyID”. partitionKeyFrom Jika Anda menggunakan penguraian inline untuk menentukan kunci partisi untuk data sumber Anda, Anda dapat mengetikkan nilai pratinjau bucket S3 secara manual menggunakan format berikut: "partitionKeyFromquery:keyID” atau Anda dapat memilih tombol Terapkan tombol partisi dinamis untuk menggunakan pasangan kunci/nilai partisi dinamis Anda untuk menghasilkan awalan bucket S3 secara otomatis. Saat mempartisi data dengan penguraian sebaris atau AWS Lambda, Anda juga dapat menggunakan formulir ekspresi berikut di awalan bucket S3:! {namespace:value}, di mana namespace dapat berupa Query atau Lambda. partitionKeyFrom partitionKeyFrom

    Bucket S3 dan zona waktu awalan keluaran kesalahan S3

    Pilih zona waktu yang ingin Anda gunakan untuk tanggal dan waktu di Awalan Kustom untuk Objek Layanan Penyimpanan Sederhana Amazon. Secara default, Firehose menambahkan awalan waktu di UTC. Anda dapat mengubah zona waktu yang digunakan dalam awalan S3 jika Anda ingin menggunakan zona waktu yang berbeda.

    Petunjuk penyangga

    Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

    Kompresi S3

    Pilih kompresi data GZIP, Snappy, Zip, atau Hadoop-Compatible Snappy, atau tanpa kompresi data. Kompresi Snappy Snappy, Zip, dan Hadoop-Compatible Snappy tidak tersedia untuk aliran Firehose dengan Amazon Redshift sebagai tujuannya.

    Format ekstensi file S3 (opsional)

    Tentukan format ekstensi file untuk objek yang dikirim ke bucket tujuan Amazon S3. Jika Anda mengaktifkan fitur ini, ekstensi file yang ditentukan akan mengganti ekstensi file default yang ditambahkan oleh Konversi Format Data atau fitur kompresi S3 seperti.parquet atau.gz. Pastikan jika Anda mengonfigurasi ekstensi file yang benar saat Anda menggunakan fitur ini dengan Konversi Format Data atau kompresi S3. Ekstensi file harus dimulai dengan titik (.) dan dapat berisi karakter yang diizinkan: 0-9a-z! -_.*' (). Ekstensi file tidak boleh melebihi 128 karakter.

    Enkripsi S3

    Firehose mendukung enkripsi sisi server Amazon S3 AWS Key Management Service dengan (SSE-KMS) untuk mengenkripsi data yang dikirimkan di Amazon S3. Anda dapat memilih untuk menggunakan jenis enkripsi default yang ditentukan dalam bucket S3 tujuan atau untuk mengenkripsi dengan kunci dari daftar AWS KMS kunci yang Anda miliki. Jika Anda mengenkripsi data dengan AWS KMS kunci, Anda dapat menggunakan kunci AWS terkelola default (aws/s3) atau kunci yang dikelola pelanggan. Untuk informasi selengkapnya, lihat Melindungi Data Menggunakan Enkripsi Sisi Server dengan Kunci yang Dikelola KMS ( AWS SSE-KMS).

Konfigurasikan setelan tujuan untuk Amazon Redshift

Bagian ini menjelaskan setelan untuk menggunakan Amazon Redshift sebagai tujuan streaming Firehose Anda.

Pilih salah satu dari prosedur berikut berdasarkan apakah Anda memiliki klaster yang disediakan Amazon Redshift atau grup kerja Amazon Redshift Tanpa Server.

Cluster Penyediaan Amazon Redshift

Bagian ini menjelaskan setelan untuk menggunakan klaster yang disediakan Amazon Redshift sebagai tujuan streaming Firehose Anda.

  • Masukkan nilai untuk bidang berikut:

    Kluster

    Klaster Amazon Redshift tempat tujuan data bucket S3 disalin. Konfigurasikan klaster Amazon Redshift agar dapat diakses publik dan buka blokir alamat IP Amazon Data Firehose. Untuk informasi selengkapnya, lihat Berikan Amazon Data Firehose Akses ke Tujuan Amazon Redshift .

    Autentikasi

    Anda dapat memilih untuk memasukkan nama pengguna/kata sandi secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses cluster Amazon Redshift.

    • Nama pengguna

      Tentukan pengguna Amazon Redshift dengan izin untuk mengakses klaster Amazon Redshift. Pengguna ini harus memiliki izin INSERT Amazon Redshift untuk menyalin data dari bucket S3 ke klaster Amazon Redshift.

    • Kata Sandi

      Tentukan kata sandi untuk pengguna yang memiliki izin untuk mengakses cluster.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi kredensil untuk cluster Amazon Redshift. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu AWS Secrets Manager untuk kredenal Amazon Redshift Anda. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager Firehose Data Amazon.

    Basis Data

    Basis data Amazon Redshift tempat tujuan data disalin.

    Tabel

    Tabel Amazon Redshift tempat tujuan data disalin.

    Kolom

    (Opsional) Kolom tertentu dari tabel tempat tujuan data disalin. Gunakan opsi ini jika jumlah kolom yang didefinisikan di objek Amazon S3 Anda kurang dari jumlah kolom dalam tabel Amazon Redshift.

    Tujuan S3 Menengah

    Firehose mengirimkan data Anda ke bucket S3 Anda terlebih dahulu dan kemudian mengeluarkan COPY perintah Amazon Redshift untuk memuat data ke cluster Amazon Redshift Anda. Tentukan bucket S3 yang Anda miliki tempat data streaming harus dikirim. Anda dapat membuat bucket S3 atau memilih bucket yang Anda miliki.

    Firehose tidak menghapus data dari bucket S3 Anda setelah memuatnya ke cluster Amazon Redshift Anda. Anda dapat mengelola data dalam bucket S3 Anda menggunakan konfigurasi siklus hidup. Untuk informasi selengkapnya, lihat Manajemen Siklus Hidup Objek di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.

    Awalan S3 menengah

    (Opsional) Untuk menggunakan prefiks default untuk objek Amazon S3, biarkan opsi ini kosong. Firehose secara otomatis menggunakan awalan dalam format waktu UTC "YYYY/MM/dd/HH" untuk objek Amazon S3 yang dikirimkan. Anda dapat menambahkan ke awal prefiks ini. Untuk informasi selengkapnya, lihat Konfigurasikan format nama objek Amazon S3.

    Opsi COPY

    Parameter yang dapat Anda tentukan di perintah COPY Amazon Redshift. Ini mungkin diperlukan untuk konfigurasi Anda. Misalnya, "GZIP" diperlukan jika kompresi data Amazon S3 diaktifkan. “REGION” diperlukan jika bucket S3 Anda tidak berada di AWS Wilayah yang sama dengan cluster Amazon Redshift Anda. Untuk informasi selengkapnya, lihat SALIN di Panduan Developer Basis Data Amazon Redshift.

    perintah COPY

    Perintah COPY Amazon Redshift. Untuk informasi selengkapnya, lihat SALIN di Panduan Developer Basis Data Amazon Redshift.

    Coba lagi durasi

    Durasi waktu (0—7200 detik) untuk Firehose mencoba lagi jika data ke klaster COPY Amazon Redshift Anda gagal. Firehose mencoba lagi setiap 5 menit sampai durasi coba lagi berakhir. Jika Anda menyetel durasi coba lagi ke 0 (nol) detik, Firehose tidak akan mencoba lagi setelah COPY kegagalan perintah.

    Petunjuk penyangga

    Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

    Kompresi S3

    Pilih kompresi data GZIP, Snappy, Zip, atau Hadoop-Compatible Snappy, atau tanpa kompresi data. Kompresi Snappy Snappy, Zip, dan Hadoop-Compatible Snappy tidak tersedia untuk aliran Firehose dengan Amazon Redshift sebagai tujuannya.

    Format ekstensi file S3 (opsional)

    Format ekstensi file S3 (opsional) — Tentukan format ekstensi file untuk objek yang dikirim ke bucket tujuan Amazon S3. Jika Anda mengaktifkan fitur ini, ekstensi file yang ditentukan akan mengganti ekstensi file default yang ditambahkan oleh Konversi Format Data atau fitur kompresi S3 seperti.parquet atau.gz. Pastikan jika Anda mengonfigurasi ekstensi file yang benar saat Anda menggunakan fitur ini dengan Konversi Format Data atau kompresi S3. Ekstensi file harus dimulai dengan titik (.) dan dapat berisi karakter yang diizinkan: 0-9a-z! -_.*' (). Ekstensi file tidak boleh melebihi 128 karakter.

    Enkripsi S3

    Firehose mendukung enkripsi sisi server Amazon S3 AWS Key Management Service dengan (SSE-KMS) untuk mengenkripsi data yang dikirimkan di Amazon S3. Anda dapat memilih untuk menggunakan jenis enkripsi default yang ditentukan dalam bucket S3 tujuan atau untuk mengenkripsi dengan kunci dari daftar AWS KMS kunci yang Anda miliki. Jika Anda mengenkripsi data dengan AWS KMS kunci, Anda dapat menggunakan kunci AWS terkelola default (aws/s3) atau kunci yang dikelola pelanggan. Untuk informasi selengkapnya, lihat Melindungi Data Menggunakan Enkripsi Sisi Server dengan Kunci yang Dikelola KMS ( AWS SSE-KMS).

Konfigurasikan setelan tujuan untuk workgroup Amazon Redshift Tanpa Server

Bagian ini menjelaskan setelan untuk menggunakan workgroup Amazon Redshift Serverless sebagai tujuan streaming Firehose Anda.

  • Masukkan nilai untuk bidang berikut:

    Nama Workgroup

    Workgroup Amazon Redshift Tanpa Server tempat data bucket S3 disalin. Konfigurasikan workgroup Amazon Redshift Tanpa Server agar dapat diakses publik dan buka blokir alamat IP Firehose. Untuk informasi selengkapnya, lihat bagian Connect ke instans Amazon Redshift Tanpa Server yang dapat diakses publik di Menyambung ke Amazon Redshift Tanpa Server dan juga. Berikan Amazon Data Firehose Akses ke Tujuan Amazon Redshift

    Autentikasi

    Anda dapat memilih untuk memasukkan nama pengguna/kata sandi secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses workgroup Amazon Redshift Tanpa Server.

    • Nama pengguna

      Tentukan pengguna Amazon Redshift dengan izin untuk mengakses grup kerja Amazon Redshift Tanpa Server. Pengguna ini harus memiliki INSERT izin Amazon Redshift untuk menyalin data dari bucket S3 ke workgroup Amazon Redshift Serverless.

    • Kata Sandi

      Tentukan kata sandi untuk pengguna yang memiliki izin untuk mengakses grup kerja Amazon Redshift Tanpa Server.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi kredensil untuk workgroup Amazon Redshift Serverless. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu AWS Secrets Manager untuk kredenal Amazon Redshift Anda. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager Firehose Data Amazon.

    Basis Data

    Basis data Amazon Redshift tempat tujuan data disalin.

    Tabel

    Tabel Amazon Redshift tempat tujuan data disalin.

    Kolom

    (Opsional) Kolom tertentu dari tabel tempat tujuan data disalin. Gunakan opsi ini jika jumlah kolom yang didefinisikan di objek Amazon S3 Anda kurang dari jumlah kolom dalam tabel Amazon Redshift.

    Tujuan S3 Menengah

    Amazon Data Firehose mengirimkan data Anda ke bucket S3 Anda terlebih dahulu dan kemudian mengeluarkan COPY perintah Amazon Redshift untuk memuat data ke dalam grup kerja Amazon Redshift Tanpa Server Anda. Tentukan bucket S3 yang Anda miliki tempat data streaming harus dikirim. Anda dapat membuat bucket S3 atau memilih bucket yang Anda miliki.

    Firehose tidak menghapus data dari bucket S3 Anda setelah memuatnya ke workgroup Amazon Redshift Tanpa Server Anda. Anda dapat mengelola data dalam bucket S3 Anda menggunakan konfigurasi siklus hidup. Untuk informasi selengkapnya, lihat Manajemen Siklus Hidup Objek di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.

    Awalan S3 menengah

    (Opsional) Untuk menggunakan prefiks default untuk objek Amazon S3, biarkan opsi ini kosong. Firehose secara otomatis menggunakan awalan dalam format waktu UTC "YYYY/MM/dd/HH" untuk objek Amazon S3 yang dikirimkan. Anda dapat menambahkan ke awal prefiks ini. Untuk informasi selengkapnya, lihat Konfigurasikan format nama objek Amazon S3.

    Opsi COPY

    Parameter yang dapat Anda tentukan di perintah COPY Amazon Redshift. Ini mungkin diperlukan untuk konfigurasi Anda. Misalnya, "GZIP" diperlukan jika kompresi data Amazon S3 diaktifkan. “REGION” diperlukan jika bucket S3 Anda tidak berada di AWS Wilayah yang sama dengan workgroup Amazon Redshift Tanpa Server Anda. Untuk informasi selengkapnya, lihat SALIN di Panduan Developer Basis Data Amazon Redshift.

    perintah COPY

    Perintah COPY Amazon Redshift. Untuk informasi selengkapnya, lihat SALIN di Panduan Developer Basis Data Amazon Redshift.

    Coba lagi durasi

    Durasi waktu (0—7200 detik) untuk Firehose mencoba lagi jika data ke grup kerja COPY Amazon Redshift Tanpa Server gagal. Firehose mencoba lagi setiap 5 menit sampai durasi coba lagi berakhir. Jika Anda menyetel durasi coba lagi ke 0 (nol) detik, Firehose tidak akan mencoba lagi setelah COPY kegagalan perintah.

    Petunjuk penyangga

    Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

    Kompresi S3

    Pilih kompresi data GZIP, Snappy, Zip, atau Hadoop-Compatible Snappy, atau tanpa kompresi data. Kompresi Snappy Snappy, Zip, dan Hadoop-Compatible Snappy tidak tersedia untuk aliran Firehose dengan Amazon Redshift sebagai tujuannya.

    Format ekstensi file S3 (opsional)

    Format ekstensi file S3 (opsional) — Tentukan format ekstensi file untuk objek yang dikirim ke bucket tujuan Amazon S3. Jika Anda mengaktifkan fitur ini, ekstensi file yang ditentukan akan mengganti ekstensi file default yang ditambahkan oleh Konversi Format Data atau fitur kompresi S3 seperti.parquet atau.gz. Pastikan jika Anda mengonfigurasi ekstensi file yang benar saat Anda menggunakan fitur ini dengan Konversi Format Data atau kompresi S3. Ekstensi file harus dimulai dengan titik (.) dan dapat berisi karakter yang diizinkan: 0-9a-z! -_.*' (). Ekstensi file tidak boleh melebihi 128 karakter.

    Enkripsi S3

    Firehose mendukung enkripsi sisi server Amazon S3 AWS Key Management Service dengan (SSE-KMS) untuk mengenkripsi data yang dikirimkan di Amazon S3. Anda dapat memilih untuk menggunakan jenis enkripsi default yang ditentukan dalam bucket S3 tujuan atau untuk mengenkripsi dengan kunci dari daftar AWS KMS kunci yang Anda miliki. Jika Anda mengenkripsi data dengan AWS KMS kunci, Anda dapat menggunakan kunci AWS terkelola default (aws/s3) atau kunci yang dikelola pelanggan. Untuk informasi selengkapnya, lihat Melindungi Data Menggunakan Enkripsi Sisi Server dengan Kunci yang Dikelola KMS ( AWS SSE-KMS).

Konfigurasikan setelan tujuan untuk OpenSearch Layanan

Bagian ini menjelaskan opsi untuk menggunakan OpenSearch Layanan untuk tujuan Anda.

  • Masukkan nilai untuk bidang berikut:

    OpenSearch Domain layanan

    Domain OpenSearch Layanan tempat data Anda dikirimkan.

    Indeks

    Nama indeks OpenSearch Layanan yang akan digunakan saat mengindeks data ke kluster OpenSearch Service Anda.

    Rotasi indeks

    Pilih apakah dan seberapa sering indeks OpenSearch Layanan harus diputar. Jika rotasi indeks diaktifkan, Amazon Data Firehose menambahkan stempel waktu yang sesuai ke nama indeks yang ditentukan dan berputar. Untuk informasi selengkapnya, lihat Konfigurasikan rotasi indeks untuk OpenSearch Layanan.

    Jenis

    Nama tipe OpenSearch Layanan yang akan digunakan saat mengindeks data ke kluster OpenSearch Service Anda. Untuk Elasticsearch 7.x dan OpenSearch 1.x, hanya ada satu jenis per indeks. Jika Anda mencoba menentukan tipe baru untuk indeks yang sudah ada yang sudah memiliki tipe lain, Firehose mengembalikan kesalahan selama runtime.

    Untuk Elasticsearch 7.x, biarkan bidang ini kosong.

    Coba lagi durasi

    Durasi waktu Firehose untuk mencoba lagi jika permintaan indeks gagal. OpenSearch Dalam hal ini, Firehose mencoba ulang setiap 5 menit hingga durasi percobaan ulang berakhir. Untuk durasi coba lagi, Anda dapat mengatur nilai apa pun antara 0-7200 detik.

    Setelah durasi percobaan ulang berakhir, Firehose mengirimkan data ke Dead Letter Queue (DLQ), bucket kesalahan S3 yang dikonfigurasi. Untuk data yang dikirim ke DLQ, Anda harus mengarahkan ulang data kembali dari bucket kesalahan S3 yang dikonfigurasi ke tujuan. OpenSearch

    Jika Anda ingin memblokir aliran Firehose agar tidak mengirimkan data ke DLQ karena waktu henti atau pemeliharaan OpenSearch cluster, Anda dapat mengonfigurasi durasi coba lagi ke nilai yang lebih tinggi dalam hitungan detik. Anda dapat meningkatkan nilai durasi coba lagi di atas menjadi 7200 detik dengan menghubungi dukungan.AWS

    Jenis DocumentId

    Menunjukkan metode untuk mengatur ID dokumen. Metode yang didukung adalah ID dokumen buatan FireHose dan ID dokumen yang dihasilkan OpenSearch Layanan. ID dokumen yang dihasilkan Firehose adalah opsi default saat nilai ID dokumen tidak disetel. OpenSearch ID dokumen yang dihasilkan layanan adalah opsi yang direkomendasikan karena mendukung operasi berat tulis, termasuk analitik log dan observabilitas, mengkonsumsi lebih sedikit sumber daya CPU di domain OpenSearch Layanan dan dengan demikian, menghasilkan peningkatan kinerja.

    Konektivitas VPC tujuan

    Jika domain OpenSearch Layanan Anda berada dalam VPC pribadi, gunakan bagian ini untuk menentukan VPC tersebut. Tentukan juga subnet dan subgrup yang Anda inginkan Amazon Data Firehose untuk digunakan saat mengirim data ke domain Layanan Anda. OpenSearch Anda dapat menggunakan grup keamanan yang sama dengan yang digunakan domain OpenSearch Layanan. Jika Anda menentukan grup keamanan yang berbeda, pastikan bahwa mereka mengizinkan lalu lintas HTTPS keluar ke grup keamanan domain OpenSearch Layanan. Pastikan juga bahwa grup keamanan domain OpenSearch Layanan mengizinkan lalu lintas HTTPS dari grup keamanan yang Anda tentukan saat mengonfigurasi aliran Firehose. Jika Anda menggunakan grup keamanan yang sama untuk aliran Firehose dan domain OpenSearch Layanan, pastikan aturan masuk grup keamanan mengizinkan lalu lintas HTTPS. Untuk informasi lebih lanjut tentang aturan grup keamanan, lihat Aturan grup keamanan dalam Dokumentasi Amazon VPC.

    penting

    Saat Anda menentukan subnet untuk mengirimkan data ke tujuan dalam VPC pribadi, pastikan Anda memiliki cukup banyak alamat IP gratis di subnet yang dipilih. Jika tidak ada alamat IP gratis yang tersedia di subnet tertentu, Firehose tidak dapat membuat atau menambahkan ENI untuk pengiriman data di VPC pribadi, dan pengiriman akan terdegradasi atau gagal.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

Konfigurasikan pengaturan tujuan untuk Tanpa OpenSearch Server

Bagian ini menjelaskan opsi untuk menggunakan OpenSearch Tanpa Server untuk tujuan Anda.

  • Masukkan nilai untuk bidang berikut:

    OpenSearch Koleksi tanpa server

    Titik akhir untuk sekelompok indeks OpenSearch Tanpa Server tempat data Anda dikirim.

    Indeks

    Nama indeks OpenSearch Tanpa Server yang akan digunakan saat mengindeks data ke koleksi Tanpa Server Anda OpenSearch .

    Konektivitas VPC tujuan

    Jika koleksi OpenSearch Tanpa Server Anda ada di VPC pribadi, gunakan bagian ini untuk menentukan VPC tersebut. Tentukan juga subnet dan subgrup yang Anda inginkan Amazon Data Firehose untuk digunakan saat mengirimkan data ke koleksi Tanpa Server Anda. OpenSearch

    penting

    Saat Anda menentukan subnet untuk mengirimkan data ke tujuan dalam VPC pribadi, pastikan Anda memiliki cukup banyak alamat IP gratis di subnet yang dipilih. Jika tidak ada alamat IP gratis yang tersedia di subnet tertentu, Firehose tidak dapat membuat atau menambahkan ENI untuk pengiriman data di VPC pribadi, dan pengiriman akan terdegradasi atau gagal.

    Coba lagi durasi

    Durasi waktu Firehose untuk mencoba lagi jika permintaan indeks ke Tanpa Server gagal OpenSearch . Dalam hal ini, Firehose mencoba ulang setiap 5 menit hingga durasi percobaan ulang berakhir. Untuk durasi coba lagi, Anda dapat mengatur nilai apa pun antara 0-7200 detik.

    Setelah durasi percobaan ulang berakhir, Firehose mengirimkan data ke Dead Letter Queue (DLQ), bucket kesalahan S3 yang dikonfigurasi. Untuk data yang dikirim ke DLQ, Anda harus mengarahkan ulang data kembali dari bucket kesalahan S3 yang dikonfigurasi ke tujuan Tanpa Server. OpenSearch

    Jika Anda ingin memblokir aliran Firehose agar tidak mengirimkan data ke DLQ karena waktu henti atau pemeliharaan kluster OpenSearch Tanpa Server, Anda dapat mengonfigurasi durasi coba lagi ke nilai yang lebih tinggi dalam hitungan detik. Anda dapat meningkatkan nilai durasi coba lagi di atas menjadi 7200 detik dengan menghubungi dukungan.AWS

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

Konfigurasikan pengaturan tujuan untuk HTTP Endpoint

Bagian ini menjelaskan opsi untuk menggunakan Titik akhir HTTP untuk tujuan Anda.

penting

Jika Anda memilih titik akhir HTTP sebagai tujuan Anda, tinjau dan ikuti petunjuk di Lampiran - Spesifikasi Permintaan dan Respons Pengiriman Titik Akhir HTTP.

  • Berikan nilai untuk bidang berikut:

    Nama titik akhir HTTP - opsional

    Tentukan nama yang ramah pengguna untuk titik akhir HTTP. Misalnya, My HTTP Endpoint Destination.

    URL titik akhir HTTP

    Tentukan URL untuk titik akhir HTTP dalam format berikut: https://xyz.httpendpoint.com. URL harus berupa URL HTTPS.

    Autentikasi

    Anda dapat memilih untuk memasukkan kunci akses secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses titik akhir HTTP.

    • (Opsional) Kunci akses

      Hubungi pemilik endpoint jika Anda perlu mendapatkan kunci akses untuk mengaktifkan pengiriman data ke titik akhir mereka dari Firehose.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi kunci akses untuk titik akhir HTTP. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu AWS Secrets Manager untuk kunci akses. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager Firehose Data Amazon.

    Pengkodean konten

    Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIP atau Dinonaktifkan untuk mengaktifkan/menonaktifkan pengkodean konten permintaan Anda.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke titik akhir HTTP yang dipilih.

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari titik akhir HTTP. Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke titik akhir HTTP (baik upaya awal atau percobaan ulang), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir HTTP.

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

    penting

    Untuk tujuan titik akhir HTTP, jika Anda melihat 413 kode respons dari titik akhir tujuan di CloudWatch Log, turunkan ukuran petunjuk buffering pada aliran Firehose Anda dan coba lagi.

Konfigurasikan pengaturan tujuan untuk Datadog

Bagian ini menjelaskan opsi untuk menggunakan Datadog untuk tujuan Anda. Untuk informasi lebih lanjut tentang Datadog, lihat https://docs.datadoghq.com/integrations/amazon_web_services/.

  • Berikan nilai untuk bidang berikut.

    URL titik akhir HTTP

    Pilih tempat Anda ingin mengirim data dari salah satu opsi berikut di menu tarik-turun.

    • Log datadog - US1

    • Log datadog - US3

    • Log datadog - US5

    • Log datadog - AP1

    • Log datadog - UE

    • Log datadog - GOV

    • Metrik Datadog - AS

    • Metrik Datadog - US5

    • Metrik Datadog - AP1

    • Metrik Datadog - UE

    • Konfigurasi Datadog - US1

    • Konfigurasi Datadog - US3

    • Konfigurasi Datadog - US5

    • Konfigurasi Datadog - AP1

    • Konfigurasi Datadog - EU

    • Konfigurasi Datadog - US GOV

    Autentikasi

    Anda dapat memilih untuk memasukkan kunci API secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses Datadog.

    • Kunci API

      Hubungi Datadog untuk mendapatkan kunci API yang Anda perlukan untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi kunci API untuk Datadog. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager Firehose Data Amazon.

    Pengkodean konten

    Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIP atau Dinonaktifkan untuk mengaktifkan/menonaktifkan pengkodean konten permintaan Anda.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke titik akhir HTTP yang dipilih.

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari titik akhir HTTP. Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke titik akhir HTTP (baik upaya awal atau percobaan ulang), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir HTTP.

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

Konfigurasikan pengaturan tujuan untuk Honeycomb

Bagian ini menjelaskan opsi untuk menggunakan Honeycomb untuk tujuan Anda. Untuk informasi lebih lanjut tentang Honeycomb, lihat https://docs.honeycomb.io/ getting-data-in /metrics//aws-cloudwatch-metrics.

  • Berikan nilai untuk bidang berikut:

    Titik akhir Kinesis Honeycomb

    Tentukan URL untuk titik akhir HTTP dalam format berikut: https://api.honeycomb.io/1/kinesis_events/{{dataset}}

    Autentikasi

    Anda dapat memilih untuk memasukkan kunci API secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses Honeycomb.

    • Kunci API

      Hubungi Honeycomb untuk mendapatkan kunci API yang Anda perlukan untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi kunci API untuk Honeycomb. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager Firehose Data Amazon.

    Pengkodean konten

    Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIP untuk mengaktifkan pengkodean konten permintaan Anda. Ini adalah opsi yang disarankan untuk tujuan Honeycomb.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke titik akhir HTTP yang dipilih.

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari titik akhir HTTP. Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke titik akhir HTTP (baik upaya awal atau percobaan ulang), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir HTTP.

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

Konfigurasikan pengaturan tujuan untuk Coralogix

Bagian ini menjelaskan opsi untuk menggunakan Coralogix untuk tujuan Anda. Untuk informasi lebih lanjut tentang Coralogix, lihat https://coralogix.com/integrations/aws-firehose.

  • Berikan nilai untuk bidang berikut:

    URL titik akhir HTTP

    Pilih URL titik akhir HTTP dari pilihan berikut di menu tarik-turun:

    • Coralogix - AS

    • Coralogix - SINGAPURA

    • Coralogix - IRLANDIA

    • Coralogix - INDIA

    • Coralogix - STOCKHOLM

    Autentikasi

    Anda dapat memilih untuk memasukkan kunci pribadi secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses Coralogix.

    • Kunci pribadi

      Hubungi Coralogix untuk mendapatkan kunci pribadi yang Anda perlukan untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi kunci pribadi untuk Coralogix. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager Firehose Data Amazon.

    Pengkodean konten

    Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIP untuk mengaktifkan pengkodean konten permintaan Anda. Ini adalah opsi yang direkomendasikan untuk tujuan Coralogix.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke titik akhir HTTP yang dipilih.

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari titik akhir HTTP. Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke titik akhir HTTP (baik upaya awal atau percobaan ulang), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir HTTP.

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

    • applicationName: lingkungan tempat Anda menjalankan Data Firehose

    • SubsystemName: nama integrasi Data Firehose

    • ComputerName: nama aliran Firehose yang digunakan

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang disarankan untuk tujuan bervariasi berdasarkan penyedia layanan.

Konfigurasikan setelan tujuan untuk Dynatrace

Bagian ini menjelaskan opsi untuk menggunakan Dynatrace untuk tujuan Anda. Untuk informasi lebih lanjut, lihat https://www.dynatrace.com/support/help/technology-support/cloud-platforms/ amazon-web-services cloudwatch-metric-streams /integrations//.

  • Pilih opsi untuk menggunakan Dynatrace sebagai tujuan aliran Firehose Anda.

    Jenis konsumsi

    Pilih apakah Anda ingin mengirimkan Metrik atau Log (default) di Dynatrace untuk analisis dan pemrosesan lebih lanjut.

    URL titik akhir HTTP

    Pilih URL titik akhir HTTP (Dynatrace US, Dynatrace EU, atau Dynatrace Global) dari menu tarik-turun.

    Autentikasi

    Anda dapat memilih untuk memasukkan token API secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses Dynatrace.

    • Token API

      Buat token API Dynatrace yang Anda perlukan untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose. Untuk informasi selengkapnya, lihat Dynatrace API - Token dan otentikasi.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi token API untuk Dynatrace. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager Firehose Data Amazon.

    URL API

    Berikan URL API lingkungan Dynatrace Anda.

    Pengkodean konten

    Pilih apakah Anda ingin mengaktifkan pengkodean konten untuk mengompres isi permintaan. Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Saat diaktifkan, konten yang dikompresi dalam format GZIP.

    Coba lagi durasi

    Tentukan berapa lama Firehose mencoba mengirim data ke titik akhir HTTP yang dipilih.

    Setelah mengirim data, Firehose terlebih dahulu menunggu pengakuan dari titik akhir HTTP. Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Firehose mengirimkan data ke titik akhir HTTP, baik selama upaya awal atau setelah mencoba lagi, Firehose memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir HTTP.

    Bahkan jika durasi percobaan ulang berakhir, Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Firehose mencoba mengirim data lagi, tetapkan nilai ini ke 0.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Petunjuk buffer mencakup ukuran buffer dan interval untuk aliran Anda. Ukuran buffer yang disarankan untuk tujuan bervariasi sesuai dengan penyedia layanan.

Konfigurasikan setelan tujuan untuk LogicMonitor

Bagian ini menjelaskan opsi untuk digunakan LogicMonitoruntuk tujuan Anda. Untuk informasi lebih lanjut, lihat https://www.logicmonitor.com.

  • Berikan nilai untuk bidang berikut:

    URL titik akhir HTTP

    Tentukan URL untuk titik akhir HTTP dalam format berikut.

    https://ACCOUNT.logicmonitor.com
    Autentikasi

    Anda dapat memilih untuk memasukkan kunci API secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses LogicMonitor.

    • Kunci API

      Hubungi LogicMonitor untuk mendapatkan kunci API yang Anda perlukan untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi kunci API untuk LogicMonitor. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager Firehose Data Amazon.

    Pengkodean konten

    Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIP atau Dinonaktifkan untuk mengaktifkan/menonaktifkan pengkodean konten permintaan Anda.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke titik akhir HTTP yang dipilih.

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari titik akhir HTTP. Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke titik akhir HTTP (baik upaya awal atau percobaan ulang), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir HTTP.

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

Konfigurasikan pengaturan tujuan untuk Logz.io

Bagian ini menjelaskan opsi untuk menggunakan Logz.io untuk tujuan Anda. Untuk informasi lebih lanjut, lihat https://logz.io/.

catatan

Di wilayah Eropa (Milan), Logz.io tidak didukung sebagai tujuan Amazon Data Firehose.

  • Berikan nilai untuk bidang berikut:

    URL titik akhir HTTP

    Tentukan URL untuk titik akhir HTTP dalam format berikut. URL harus berupa HTTPS URL.

    https://listener-aws-metrics-stream-<region>.logz.io/

    Sebagai contoh

    https://listener-aws-metrics-stream-us.logz.io/
    Autentikasi

    Anda dapat memilih untuk memasukkan token pengiriman secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses Logz.io.

    • Token pengiriman

      Hubungi Logz.io untuk mendapatkan token pengiriman yang Anda perlukan untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi token pengiriman untuk Logz.io. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager Firehose Data Amazon.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke Logz.io.

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari titik akhir HTTP. Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke titik akhir HTTP (baik upaya awal atau percobaan ulang), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir HTTP.

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

Konfigurasikan pengaturan tujuan untuk MongoDB Cloud

Bagian ini menjelaskan opsi untuk menggunakan MongoDB Cloud untuk tujuan Anda. Untuk informasi lebih lanjut, lihat https://www.mongodb.com.

  • Berikan nilai untuk bidang berikut:

    URL webhook MongoDB Realm

    Tentukan URL untuk titik akhir HTTP dalam format berikut.

     https://webhooks.mongodb-realm.com

    URL harus berupa HTTPS URL.

    Autentikasi

    Anda dapat memilih untuk memasukkan kunci API secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses MongoDB Cloud.

    • Kunci API

      Hubungi MongoDB Cloud untuk mendapatkan kunci API yang Anda perlukan untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi kunci API untuk MongoDB Cloud. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager Firehose Data Amazon.

    Pengkodean konten

    Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIP atau Dinonaktifkan untuk mengaktifkan/menonaktifkan pengkodean konten permintaan Anda.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke penyedia pihak ketiga yang dipilih.

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari titik akhir HTTP. Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke titik akhir HTTP (baik upaya awal atau percobaan ulang), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir HTTP.

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

Konfigurasikan pengaturan tujuan untuk New Relic

Bagian ini menjelaskan opsi untuk menggunakan New Relic untuk tujuan Anda. Untuk informasi lebih lanjut, lihat https://newrelic.com.

  • Berikan nilai untuk bidang berikut:

    URL titik akhir HTTP

    Pilih URL titik akhir HTTP dari opsi berikut dalam daftar drop-down.

    • Log Relik Baru - AS

    • Metrik Relik Baru - AS

    • Metrik Relik Baru - UE

    Autentikasi

    Anda dapat memilih untuk memasukkan kunci API secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses New Relic.

    • Kunci API

      Masukkan Kunci Lisensi Anda, yang merupakan string heksadesimal 40 karakter, dari pengaturan Akun New Relic One Anda. Anda memerlukan kunci API ini untuk mengaktifkan pengiriman data ke titik akhir ini dari Firehose.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi kunci API untuk New Relic. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager Firehose Data Amazon.

    Pengkodean konten

    Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIP atau Dinonaktifkan untuk mengaktifkan/menonaktifkan pengkodean konten permintaan Anda.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke titik akhir HTTP Relic Baru.

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari titik akhir HTTP. Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke titik akhir HTTP (baik upaya awal atau percobaan ulang), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir HTTP.

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

Konfigurasikan pengaturan tujuan untuk Snowflake

Bagian ini menjelaskan opsi untuk menggunakan Snowflake untuk tujuan Anda.

catatan

Integrasi Firehose dengan Snowflake tersedia di AS Timur (Virginia N.), AS Barat (Oregon), Eropa (Irlandia), AS Timur (Ohio), Asia Pasifik (Tokyo), Eropa (Frankfurt), Asia Pasifik (Singapura), Asia Pasifik (Seoul), dan Asia Pasifik (Sydney). Wilayah AWS

Pengaturan koneksi

  • Berikan nilai untuk bidang berikut:

    URL akun Snowflake

    Tentukan URL akun Snowflake. Misalnya: xy12345.us-east-1.aws.snowflakecomputing.com. Lihat dokumentasi Snowflake tentang cara menentukan URL akun Anda. Perhatikan bahwa Anda tidak harus menentukan nomor port, sedangkan protokol (https://) adalah opsional.

    Autentikasi

    Anda dapat memilih untuk memasukkan userlogin, kunci pribadi, dan frasa sandi secara manual atau mengambil rahasia dari untuk mengakses Snowflake. AWS Secrets Manager

    • Login pengguna

      Tentukan pengguna Snowflake yang akan digunakan untuk memuat data. Pastikan pengguna memiliki akses untuk memasukkan data ke dalam tabel Snowflake.

    • Kunci pribadi

      Tentukan kunci pribadi pengguna yang digunakan untuk otentikasi dengan Snowflake. Pastikan kunci privat dalam PKCS8 format. Jangan sertakan header dan footer PEM sebagai bagian dari kunci ini. Jika kunci dibagi menjadi beberapa baris, hapus jeda baris.

    • Frasa sandi

      Tentukan frasa sandi untuk mendekripsi kunci pribadi terenkripsi. Anda dapat membiarkan bidang ini kosong jika kunci pribadi tidak dienkripsi. Untuk selengkapnya, lihat Menggunakan Otentikasi Pasangan Kunci & Rotasi Kunci.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi kredensil untuk Snowflake. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager Firehose Data Amazon.

    Konfigurasi peran

    Gunakan peran Snowflake default - Jika opsi ini dipilih, Firehose tidak akan meneruskan peran apa pun ke Snowflake. Peran default diasumsikan memuat data. Pastikan peran default memiliki izin untuk menyisipkan data ke tabel Snowflake.

    Gunakan peran Snowflake kustom — Masukkan peran Snowflake non-default yang akan diasumsikan oleh Firehose saat memuat data ke dalam tabel Snowflake.

    Konektivitas kepingan salju

    Pilihannya bersifat pribadi atau publik.

    ID VPCE Pribadi (opsional)

    ID VPCE untuk Firehose terhubung secara pribadi dengan Snowflake. Format ID adalah com.amazonaws.vpce. [wilayah] .vpce-svc- [id]. Untuk informasi lebih lanjut, lihat AWS PrivateLink & Kepingan Salju.

    catatan

    Pastikan jaringan Snowflake Anda mengizinkan akses ke Firehose. Untuk daftar ID VPCE yang dapat Anda gunakan, lihat. Akses ke Snowflake di VPC

Konfigurasi basis data

  • Anda harus menentukan pengaturan berikut untuk menggunakan Snowflake sebagai tujuan aliran Firehose Anda.

    • Database Snowflake — Semua data di Snowflake dikelola dalam database.

    • Skema kepingan salju — Setiap database terdiri dari satu atau lebih skema, yang merupakan pengelompokan logis objek database, seperti tabel dan tampilan

    • Tabel kepingan salju — Semua data di Snowflake disimpan dalam tabel database, secara logis terstruktur sebagai kumpulan kolom dan baris.

Opsi pemuatan data untuk tabel Snowflake Anda

  • Gunakan tombol JSON sebagai nama kolom

  • Gunakan kolom VARIANT

    • Nama kolom konten - Tentukan nama kolom dalam tabel, di mana data mentah harus dimuat.

    • Nama kolom metadata (opsional) - Tentukan nama kolom dalam tabel, tempat informasi metadata harus dimuat.

Coba lagi durasi

Durasi waktu (0-7200 detik) untuk Firehose untuk mencoba lagi jika membuka saluran atau pengiriman ke Snowflake gagal karena masalah layanan Snowflake. Firehose mencoba lagi dengan backoff eksponensial hingga durasi coba lagi berakhir. Jika Anda menyetel durasi coba lagi ke 0 (nol) detik, Firehose tidak akan mencoba lagi saat kegagalan Snowflake dan merutekan data ke bucket kesalahan Amazon S3.

Konfigurasikan pengaturan tujuan untuk Splunk

Bagian ini menjelaskan opsi untuk menggunakan Splunk untuk tujuan Anda.

catatan

Firehose mengirimkan data ke cluster Splunk yang dikonfigurasi dengan Classic Load Balancer atau Application Load Balancer.

  • Berikan nilai untuk bidang berikut:

    Titik akhir klaster splunk

    Untuk menentukan titik akhir, lihat Mengonfigurasi Amazon Data Firehose untuk Mengirim Data ke Platform Splunk dalam dokumentasi Splunk.

    Jenis titik akhir splunk

    Pilih Raw endpoint dalam banyak kasus. Pilih Event endpoint apakah Anda telah memproses data sebelumnya AWS Lambda untuk mengirim data ke indeks yang berbeda berdasarkan jenis acara. Untuk informasi tentang titik akhir yang akan digunakan, lihat Mengonfigurasi Amazon Data Firehose untuk mengirim data ke platform Splunk dalam dokumentasi Splunk.

    Autentikasi

    Anda dapat memilih untuk memasukkan token otentikasi secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses Splunk.

    Batas waktu pengakuan HEC

    Tentukan berapa lama Amazon Data Firehose menunggu pengakuan indeks dari Splunk. Jika Splunk tidak mengirimkan pengakuan sebelum batas waktu tercapai, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data. Amazon Data Firehose kemudian mencoba ulang atau mencadangkan data ke bucket Amazon S3 Anda, tergantung pada nilai durasi coba lagi yang Anda tetapkan.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke Splunk.

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari Splunk. Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke Splunk (baik upaya awal atau percobaan lagi), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari Splunk.

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang disarankan untuk tujuan bervariasi berdasarkan penyedia layanan.

Konfigurasikan pengaturan tujuan untuk Splunk Observability Cloud

Bagian ini menjelaskan opsi untuk menggunakan Splunk Observability Cloud untuk tujuan Anda. Untuk informasi lebih lanjut, lihat https://docs.splunk.com/observability/en/gdi/ get-data-in /connect/aws/aws-apiconfig.html # connect-to-aws-using - the-splunk-observability-cloud -api.

  • Berikan nilai untuk bidang berikut:

    URL Titik Akhir Cloud Ingest

    Anda dapat menemukan URL Penyerapan Data Real-time Splunk Observability Cloud di Profile > Organizations > Real-time Data Ingest Endpoint di konsol Splunk Observability.

    Autentikasi

    Anda dapat memilih untuk memasukkan token akses secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses Splunk Observability Cloud.

    • Token Akses

      Salin token akses Splunk Observability Anda dengan cakupan otorisasi INGEST dari Access Tokens di bawah Pengaturan di konsol Observabilitas Splunk.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi token akses untuk Splunk Observability Cloud. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager Firehose Data Amazon.

    Pengkodean Konten

    Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIP atau Dinonaktifkan untuk mengaktifkan/menonaktifkan pengkodean konten permintaan Anda.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke titik akhir HTTP yang dipilih.

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari titik akhir HTTP. Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke titik akhir HTTP (baik upaya awal atau percobaan ulang), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir HTTP.

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan bervariasi dari tiap-tiap penyedia layanan.

Konfigurasikan pengaturan tujuan untuk Sumo Logic

Bagian ini menjelaskan opsi untuk menggunakan Sumo Logic untuk tujuan Anda. Untuk informasi lebih lanjut, lihat https://www.sumologic.com.

  • Berikan nilai untuk bidang berikut:

    URL titik akhir HTTP

    Tentukan URL untuk titik akhir HTTP dalam format berikut: https://deployment name.sumologic.net/receiver/v1/kinesis/dataType/access token. URL harus berupa URL HTTPS.

    Pengkodean konten

    Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIP atau Dinonaktifkan untuk mengaktifkan/menonaktifkan pengkodean konten permintaan Anda.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke Sumo Logic.

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari titik akhir HTTP. Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke titik akhir HTTP (baik upaya awal atau percobaan ulang), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir HTTP.

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang direkomendasikan untuk tujuan Elastic bervariasi dari penyedia layanan ke penyedia layanan.

Konfigurasikan pengaturan tujuan untuk Elastic

Bagian ini menjelaskan opsi untuk menggunakan Elastic untuk tujuan Anda.

  • Berikan nilai untuk bidang berikut:

    URL titik akhir elastis

    Tentukan URL untuk titik akhir HTTP dalam format berikut: https://<cluster-id>.es.<region>.aws.elastic-cloud.com. URL harus berupa URL HTTPS.

    Autentikasi

    Anda dapat memilih untuk memasukkan kunci API secara langsung atau mengambil rahasia dari AWS Secrets Manager untuk mengakses Elastic.

    • Kunci API

      Hubungi Elastic untuk mendapatkan kunci API yang Anda perlukan untuk mengaktifkan pengiriman data ke layanan mereka dari Firehose.

    • Rahasia

      Pilih rahasia dari AWS Secrets Manager yang berisi kunci API untuk Elastic. Jika Anda tidak melihat rahasia Anda di daftar drop-down, buat satu di AWS Secrets Manager. Untuk informasi selengkapnya, lihat Otentikasi dengan AWS Secrets Manager Firehose Data Amazon.

    Pengkodean konten

    Amazon Data Firehose menggunakan pengkodean konten untuk mengompres isi permintaan sebelum mengirimnya ke tujuan. Pilih GZIP (yang dipilih secara default) atau Dinonaktifkan untuk mengaktifkan/menonaktifkan pengkodean konten permintaan Anda.

    Coba lagi durasi

    Tentukan berapa lama Amazon Data Firehose mencoba mengirim data ke Elastic.

    Setelah mengirim data, Amazon Data Firehose pertama-tama menunggu pengakuan dari titik akhir HTTP. Jika terjadi kesalahan atau pengakuan tidak tiba dalam periode batas waktu pengakuan, Amazon Data Firehose memulai penghitung durasi coba lagi. Kinesis Data Firehose terus mencoba kembali sampai durasi coba lagi berakhir. Setelah itu, Amazon Data Firehose menganggapnya sebagai kegagalan pengiriman data dan mencadangkan data ke bucket Amazon S3 Anda.

    Setiap kali Amazon Data Firehose mengirimkan data ke titik akhir HTTP (baik upaya awal atau percobaan ulang), itu memulai ulang penghitung batas waktu pengakuan dan menunggu pengakuan dari titik akhir HTTP.

    Bahkan jika durasi percobaan ulang berakhir, Amazon Data Firehose masih menunggu pengakuan sampai menerimanya atau periode batas waktu pengakuan tercapai. Jika waktu pengakuan habis, Amazon Data Firehose menentukan apakah ada waktu tersisa di penghitung coba lagi. Jika ada waktu yang tersisa, Kinesis Data Firehose akan mencoba lagi dan mengulangi logika sampai menerima pengakuan atau dapat menentukan bahwa waktu coba lagi telah berakhir.

    Jika Anda tidak ingin Amazon Data Firehose mencoba lagi mengirim data, tetapkan nilai ini ke 0.

    Parameter - opsional

    Amazon Data Firehose menyertakan pasangan nilai kunci ini di setiap panggilan HTTP. Parameter ini dapat membantu Anda mengidentifikasi dan mengatur tujuan.

    Petunjuk penyangga

    Amazon Data Firehose menyangga data yang masuk sebelum mengirimkannya ke tujuan yang ditentukan. Ukuran buffer yang disarankan untuk tujuan Elastic adalah 1 MiB.