Menyebarkan dan berlangganan Event Search dan Analytics Pipeline ke Amazon SNS - Amazon Simple Notification Service

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menyebarkan dan berlangganan Event Search dan Analytics Pipeline ke Amazon SNS

Untuk pengarsipan dan analitik acara, Amazon SNS sekarang merekomendasikan untuk menggunakan integrasi aslinya dengan Amazon Data Firehose. Anda dapat berlangganan aliran pengiriman Firehose ke SNS topik, yang memungkinkan Anda mengirim pemberitahuan ke titik akhir pengarsipan dan analitik seperti bucket Amazon Simple Storage Service (Amazon S3), tabel Amazon Redshift, Amazon Service (Service), dan banyak lagi OpenSearch . OpenSearch Menggunakan Amazon SNS dengan aliran pengiriman Firehose adalah solusi yang dikelola sepenuhnya dan tanpa kode yang tidak mengharuskan Anda menggunakan fungsi. AWS Lambda Untuk informasi selengkapnya, lihat Aliran pengiriman Fanout ke Firehose.

Halaman ini menunjukkan cara menerapkan Event Search dan Analytics Pipeline dan berlangganan ke SNS topik Amazon. Proses ini secara otomatis mengubah AWS SAM template yang terkait dengan pipeline menjadi AWS CloudFormation tumpukan, dan kemudian menyebarkan tumpukan ke dalam file Anda Akun AWS. Proses ini juga membuat dan mengonfigurasi rangkaian sumber daya yang terdiri atas Pencarian Peristiwa dan Alur Analitik, termasuk yang berikut ini:

  • SQSAntrian Amazon

  • Fungsi Lambda

  • Aliran pengiriman Firehose

  • Domain OpenSearch Layanan Amazon

  • Bucket suta mati Amazon S3

Untuk informasi selengkapnya tentang mengonfigurasi aliran dengan indeks sebagai tujuan, lihat ElasticsearchDestinationConfiguration di Referensi APIFirehose Data Amazon.

Untuk informasi selengkapnya tentang mengubah peristiwa dan tentang mengonfigurasi buffering peristiwa, kompresi peristiwa, dan enkripsi peristiwa, lihat Membuat Aliran Pengiriman Firehose Data Amazon di Panduan Pengembang Amazon Data Firehose.

Untuk informasi selengkapnya tentang filter peristiwa, lihat Kebijakan filter SNS langganan Amazon dalam panduan ini.

  1. Masuk ke konsol AWS Lambda tersebut.

  2. Pada panel navigasi, pilih Fungsi dan kemudian pilih Buat fungsi.

  3. Pada halaman Buat fungsi, lakukan hal berikut ini:

    1. Pilih Jelajahi repositori aplikasi tanpa server, Aplikasi publik, Tampilkan aplikasi yang membuat IAM peran khusus atau kebijakan sumber daya.

    2. Cari untuk fork-event-search-analytics-pipeline dan kemudian pilih aplikasi.

  4. Pada halaman fork-event-search-analytics-pipeline, lakukan hal berikut:

    1. Di bagian Pengaturan aplikasi, masukkan Nama aplikasi(sebagai contoh, my-app-search).

      catatan

      Untuk setiap deployment, nama aplikasi harus unik. Jika Anda menggunakan kembali nama aplikasi, penerapan hanya akan memperbarui AWS CloudFormation tumpukan yang digunakan sebelumnya (bukan membuat yang baru).

    2. (Opsional) Untuk DataTransformationFunctionArn, masukkan fungsi Lambda yang digunakan untuk mengubah peristiwa yang masuk. ARN Jika Anda tidak memasukkan nilai, pengubahan data dinonaktifkan.

    3. (Opsional) Masukkan salah satu LogLevelpengaturan berikut untuk eksekusi fungsi Lambda aplikasi Anda:

      • DEBUG

      • ERROR

      • INFO (default)

      • WARNING

    4. (Opsional) Untuk SearchDomainArn, masukkan domain OpenSearch Layanan, klaster yang mengonfigurasi fungsionalitas komputasi dan penyimpanan yang diperlukan. ARN Jika Anda tidak memasukkan nilai, domain baru dibuat dengan konfigurasi default.

    5. Untuk TopicArn, masukkan ARN SNS topik Amazon tempat instance pipa garpu ini akan berlangganan.

    6. Untuk SearchIndexName, masukkan nama indeks OpenSearch Layanan untuk pencarian acara dan analitik.

      catatan

      Kuota berikut ini berlaku untuk nama indeks:

      • Tidak dapat menyertakan huruf besar

      • Tidak dapat menyertakan karakter berikut ini: \ / * ? " < > | ` , #

      • Tidak dapat dimulai dengan karakter berikut ini: - + _

      • Tidak boleh sebagai berikut: . ..

      • Tidak boleh lebih dari 80 karakter

      • Tidak boleh lebih dari 255 byte

      • Tidak dapat berisi titik dua (dari OpenSearch Layanan 7.0)

    7. (Opsional) Masukkan salah satu SearchIndexRotationPeriodpengaturan berikut untuk periode rotasi indeks OpenSearch Layanan:

      • NoRotation (default)

      • OneDay

      • OneHour

      • OneMonth

      • OneWeek

      Rotasi indeks menambahkan timestamp untuk nama indeks, yang memfasilitasi kedaluwarsanya data lama.

    8. Untuk SearchTypeName, masukkan nama jenis OpenSearch Layanan untuk mengatur acara dalam indeks.

      catatan

      • OpenSearch Nama tipe layanan dapat berisi karakter apa pun (kecuali byte nol) tetapi tidak dapat dimulai dengan. _

      • Untuk OpenSearch Layanan 6.x, hanya ada satu jenis per indeks. Jika Anda menentukan tipe baru untuk indeks yang sudah ada yang sudah memiliki tipe lain, Firehose akan menampilkan error runtime.

    9. (Opsional) Untuk StreamBufferingIntervalInSecondsdan StreamBufferingSizeInMBs, masukkan nilai untuk mengonfigurasi buffering peristiwa yang masuk. Jika Anda tidak memasukkan nilai berapa pun, 300 detik dan 5 MB digunakan.

    10. (Opsional) Masukkan salah satu StreamCompressionFormatpengaturan berikut untuk mengompresi peristiwa yang masuk:

      • GZIP

      • SNAPPY

      • UNCOMPRESSED (default)

      • ZIP

    11. (Opsional) Untuk StreamPrefix, masukkan awalan string untuk memberi nama file yang disimpan di bucket huruf mati S3. Jika Anda tidak memasukkan nilai, prefiks tidak digunakan.

    12. (Opsional) Untuk StreamRetryDurationInSecons, masukkan durasi coba lagi untuk kasus ketika Firehose tidak dapat mengindeks peristiwa dalam OpenSearch indeks Layanan. Jika Anda tidak memasukkan nilai, maka 300 detik akan digunakan.

    13. (Opsional) Untuk SubscriptionFilterPolicy, masukkan kebijakan filter SNS langganan Amazon, dalam JSON format, yang akan digunakan untuk memfilter peristiwa yang masuk. Kebijakan filter menentukan peristiwa mana yang diindeks dalam indeks OpenSearch Layanan. Jika Anda tidak memasukkan nilai, tidak ada pemfilteran yang digunakan (semua peristiwa diindeks).

    14. Pilih Saya mengakui bahwa aplikasi ini membuat IAM peran khusus, kebijakan sumber daya, dan menerapkan aplikasi bersarang. dan kemudian pilih Deploy.

Pada status Deployment untuk my-app-searchhalaman, Lambda menampilkan status Aplikasi Anda sedang digunakan.

Di bagian Sumber Daya, AWS CloudFormation mulailah membuat tumpukan dan menampilkan PROGRESS status CREATE_IN_ untuk setiap sumber daya. Ketika proses selesai, AWS CloudFormation menampilkan COMPLETE status CREATE_.

Setelah deployment selesai, Lambda menampilkan status Aplikasi Anda telah di-deploy.

Pesan yang dipublikasikan ke SNS topik Amazon Anda diindeks dalam indeks OpenSearch Layanan yang disediakan oleh pipeline Event Search dan Analytics secara otomatis. Jika alur tidak dapat mengindeks peristiwa, alur akan menyimpannya dalam bucket surat mati S3.