Selamat Datang di Panduan Developer Amazon MSK

Selamat Datang diPanduan Developer Amazon MSK. Topik berikut dapat membantu Anda mulai menggunakan panduan ini, berdasarkan apa yang Anda coba lakukan.

• Buat klaster Amazon MSK dengan mengikutiMemulai menggunakan Amazon MSKTutorial.

• Selami lebih dalam fungsionalitas Amazon MSK diAmazon MSK: Cara kerjanya.

• Jalankan Apache Kafka tanpa harus mengelola dan skala kapasitas cluster denganMSK Tanpa Server.

• GunakanMSK Connectuntuk mengalirkan data ke dan dari klaster Apache Kafka Anda.

Untuk sorotan, detail produk, dan harga, lihat halaman layananAmazon MSK.

Apa yang dimaksud dengan Amazon MSK?

Amazon Managed Streaming for Apache Kafka (Amazon MSK) adalah layanan terkelola penuh yang memungkinkan Anda untuk membangun dan menjalankan aplikasi yang menggunakan Apache Kafka untuk memproses data streaming. Amazon MSK menyediakan operasi bidang kontrol, seperti operasi untuk membuat, memperbarui, dan menghapus klaster. Ini memungkinkan Anda menggunakan Apache Kafka operasi data-pesawat, seperti yang untuk memproduksi dan mengkonsumsi data. Ini berjalan versi sumber terbuka dari Apache Kafka. Ini berarti aplikasi, perkakas, dan plugin yang ada dari mitra dan komunitas Apache Kafka didukung tanpa memerlukan perubahan pada kode aplikasi. Anda dapat menggunakan Amazon MSK untuk membuat klaster yang menggunakan Apache Kafka yang tercantum di bawahVersi Apache Kafka yang didukung.

Diagram berikut memberikan gambaran umum tentang cara kerja Amazon MSK.

Diagram menunjukkan interaksi antara komponen-komponen berikut:

• Node broker— Saat membuat klaster Amazon MSK, Anda menentukan berapa banyak node broker yang ingin dibuat Amazon MSK di setiap Availability Zone. Dalam contoh cluster yang ditunjukkan dalam diagram ini, ada satu broker per Availability Zone. Setiap Availability Zone memiliki subnet virtual private cloud (VPC).

• ZooKeeper node- Amazon MSK juga menciptakan Apache ZooKeeper node untuk Anda. Apache ZooKeeper adalah server sumber terbuka yang memungkinkan koordinasi terdistribusi yang sangat andal.

• Produser, konsumen, dan pembuat topik- Amazon MSK memungkinkan Anda menggunakan operasi pesawat data Apache Kafka untuk membuat topik dan untuk menghasilkan dan mengkonsumsi data.

• Operasi KlasterAnda dapat menggunakanAWS Management Console, yangAWS Command Line Interface(AWS CLI), atau API di SDK untuk melakukan operasi bidang kontrol. Misalnya, Anda dapat membuat atau menghapus klaster Amazon MSK, mencantumkan semua klaster di akun, melihat properti klaster, dan memperbarui jumlah dan jenis broker dalam sebuah klaster.

Amazon MSK mendeteksi dan secara otomatis pulih dari skenario kegagalan yang paling umum untuk klaster sehingga produsen dan aplikasi konsumen Anda dapat melanjutkan operasi menulis dan membaca mereka dengan dampak minimal. Ketika Amazon MSK mendeteksi kegagalan broker, itu mengurangi kegagalan atau menggantikan broker yang tidak sehat atau tidak terjangkau dengan yang baru. Selain itu, jika memungkinkan, ia menggunakan kembali penyimpanan dari broker yang lebih tua untuk mengurangi data yang perlu ditiru oleh Apache Kafka. Dampak ketersediaan Anda terbatas pada waktu yang diperlukan Amazon MSK untuk menyelesaikan deteksi dan pemulihan. Setelah pemulihan, aplikasi produser dan konsumen Anda dapat terus berkomunikasi dengan alamat IP broker yang sama yang mereka gunakan sebelum kegagalan.