Menyebarkan dan berlangganan Event Search dan Analytics Pipeline ke Amazon SNS - Amazon Simple Notification Service

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menyebarkan dan berlangganan Event Search dan Analytics Pipeline ke Amazon SNS

Untuk pengarsipan dan analitik acara, Amazon SNS sekarang merekomendasikan penggunaan integrasi aslinya dengan Amazon Data Firehose. Anda dapat berlangganan aliran pengiriman Firehose ke topik SNS, yang memungkinkan Anda mengirim pemberitahuan ke titik akhir pengarsipan dan analitik seperti bucket Amazon Simple Storage Service (Amazon S3), tabel Amazon Redshift, Amazon Service (Service), dan banyak lagi. OpenSearch OpenSearch Menggunakan Amazon SNS dengan aliran pengiriman Firehose adalah solusi yang dikelola sepenuhnya dan tanpa kode yang tidak mengharuskan Anda menggunakan fungsi. AWS Lambda Untuk informasi selengkapnya, lihat Aliran pengiriman Fanout ke Firehose.

Halaman ini menunjukkan cara untuk men-deploy Pencarian Peristiwa dan Alur Analitik dan berlanggananlah ke topik Amazon SNS. Proses ini secara otomatis mengubah AWS SAM template yang terkait dengan pipeline menjadi AWS CloudFormation tumpukan, dan kemudian menyebarkan tumpukan ke dalam file Anda Akun AWS. Proses ini juga membuat dan mengonfigurasi rangkaian sumber daya yang terdiri atas Pencarian Peristiwa dan Alur Analitik, termasuk yang berikut ini:

  • Antrean Amazon SQS

  • Fungsi Lambda

  • Aliran pengiriman Firehose

  • Domain OpenSearch Layanan Amazon

  • Bucket suta mati Amazon S3

Untuk informasi selengkapnya tentang mengonfigurasi aliran dengan indeks sebagai tujuan, lihat ElasticsearchDestinationConfiguration di Referensi Amazon Data Firehose API.

Untuk informasi selengkapnya tentang mengubah peristiwa dan tentang mengonfigurasi buffering peristiwa, kompresi peristiwa, dan enkripsi peristiwa, lihat Membuat Aliran Pengiriman Firehose Data Amazon di Panduan Pengembang Amazon Data Firehose.

Untuk informasi selengkapnya tentang filter peristiwa, lihat Kebijakan filter langganan Amazon SNS dalam panduan ini.

  1. Masuk ke konsol AWS Lambda tersebut.

  2. Pada panel navigasi, pilih Fungsi dan kemudian pilih Buat fungsi.

  3. Pada halaman Buat fungsi, lakukan hal berikut ini:

    1. Pilih Jelajahi repositori aplikasi nirserver, Aplikasi publik, Tampilkan aplikasi yang membuat IAM role khusus atau kebijakan sumber daya.

    2. Cari untuk fork-event-search-analytics-pipeline dan kemudian pilih aplikasi.

  4. Pada halaman fork-event-search-analytics-pipeline, lakukan hal berikut:

    1. Di bagian Pengaturan aplikasi, masukkan Nama aplikasi(sebagai contoh, my-app-search).

      catatan

      Untuk setiap deployment, nama aplikasi harus unik. Jika Anda menggunakan kembali nama aplikasi, penerapan hanya akan memperbarui AWS CloudFormation tumpukan yang digunakan sebelumnya (bukan membuat yang baru).

    2. (Opsional) Untuk DataTransformationFunctionArn, masukkan ARN dari fungsi Lambda yang digunakan untuk mengubah peristiwa yang masuk. Jika Anda tidak memasukkan nilai, pengubahan data dinonaktifkan.

    3. (Opsional) Masukkan salah satu LogLevelpengaturan berikut untuk eksekusi fungsi Lambda aplikasi Anda:

      • DEBUG

      • ERROR

      • INFO (default)

      • WARNING

    4. (Opsional) Untuk SearchDomainArn, masukkan ARN domain OpenSearch Layanan, klaster yang mengonfigurasi fungsionalitas komputasi dan penyimpanan yang diperlukan. Jika Anda tidak memasukkan nilai, domain baru dibuat dengan konfigurasi default.

    5. Untuk TopicArn, masukkan ARN dari topik Amazon SNS tempat instance pipa garpu ini akan berlangganan.

    6. Untuk SearchIndexName, masukkan nama indeks OpenSearch Layanan untuk pencarian acara dan analitik.

      catatan

      Kuota berikut ini berlaku untuk nama indeks:

      • Tidak dapat menyertakan huruf besar

      • Tidak dapat menyertakan karakter berikut ini: \ / * ? " < > | ` , #

      • Tidak dapat dimulai dengan karakter berikut ini: - + _

      • Tidak boleh sebagai berikut: . ..

      • Tidak boleh lebih dari 80 karakter

      • Tidak boleh lebih dari 255 byte

      • Tidak dapat berisi titik dua (dari OpenSearch Layanan 7.0)

    7. (Opsional) Masukkan salah satu SearchIndexRotationPeriodpengaturan berikut untuk periode rotasi indeks OpenSearch Layanan:

      • NoRotation (default)

      • OneDay

      • OneHour

      • OneMonth

      • OneWeek

      Rotasi indeks menambahkan timestamp untuk nama indeks, yang memfasilitasi kedaluwarsanya data lama.

    8. Untuk SearchTypeName, masukkan nama jenis OpenSearch Layanan untuk mengatur acara dalam indeks.

      catatan

      • OpenSearch Nama tipe layanan dapat berisi karakter apa pun (kecuali byte nol) tetapi tidak dapat dimulai dengan. _

      • Untuk OpenSearch Layanan 6.x, hanya ada satu jenis per indeks. Jika Anda menentukan tipe baru untuk indeks yang sudah ada yang sudah memiliki tipe lain, Firehose akan menampilkan error runtime.

    9. (Opsional) Untuk StreamBufferingIntervalInSecondsdan StreamBufferingSizeInMBs, masukkan nilai untuk mengonfigurasi buffering peristiwa yang masuk. Jika Anda tidak memasukkan nilai berapa pun, 300 detik dan 5 MB digunakan.

    10. (Opsional) Masukkan salah satu StreamCompressionFormatpengaturan berikut untuk mengompresi peristiwa yang masuk:

      • GZIP

      • SNAPPY

      • UNCOMPRESSED (default)

      • ZIP

    11. (Opsional) Untuk StreamPrefix, masukkan awalan string untuk memberi nama file yang disimpan di bucket surat mati Amazon S3. Jika Anda tidak memasukkan nilai, prefiks tidak digunakan.

    12. (Opsional) Untuk StreamRetryDurationInSecons, masukkan durasi coba lagi untuk kasus ketika Firehose tidak dapat mengindeks peristiwa dalam OpenSearch indeks Layanan. Jika Anda tidak memasukkan nilai, maka 300 detik akan digunakan.

    13. (Opsional) Untuk SubscriptionFilterPolicy, masukkan kebijakan filter langganan Amazon SNS, dalam format JSON, yang akan digunakan untuk memfilter peristiwa yang masuk. Kebijakan filter menentukan peristiwa mana yang diindeks dalam indeks OpenSearch Layanan. Jika Anda tidak memasukkan nilai, tidak ada pemfilteran yang digunakan (semua peristiwa diindeks).

    14. Pilih Saya mengakui bahwa aplikasi ini menciptakan IAM role kustom, kebijakan sumber daya dan men-deploy aplikasi bersarang. dan kemudian pilih Deploy.

Pada status Deployment for my-app-search page, Lambda menampilkan status Aplikasi Anda sedang di-deploy.

Di bagian Sumber Daya, AWS CloudFormation mulai membuat tumpukan dan menampilkan status CREATE_IN_PROGRESS untuk setiap sumber daya. Ketika proses selesai, AWS CloudFormation menampilkan status CREATE_COMPLETE.

Setelah deployment selesai, Lambda menampilkan status Aplikasi Anda telah di-deploy.

Pesan yang dipublikasikan ke topik Amazon SNS Anda diindeks dalam indeks OpenSearch Layanan yang disediakan oleh pipeline Event Search dan Analytics secara otomatis. Jika pipeline tidak dapat mengindeks suatu peristiwa, ia menyimpannya di ember surat mati Amazon S3.