Penyediaan throughput penyimpanan

Broker MSK Amazon mempertahankan data tentang volume penyimpanan. Penyimpanan I/O dikonsumsi ketika produsen menulis ke cluster, ketika data direplikasi antara broker, dan ketika konsumen membaca data yang tidak ada dalam memori. Throughput penyimpanan volume adalah tingkat di mana data dapat ditulis dan dibaca dari volume penyimpanan. Throughput penyimpanan yang disediakan adalah kemampuan untuk menentukan tarif tersebut untuk broker di cluster Anda.

Anda dapat menentukan tingkat throughput yang disediakan dalam MiB per detik untuk cluster yang brokernya berukuran kafka.m5.4xlarge atau lebih besar dan jika volume penyimpanan 10 GiB atau lebih besar. Dimungkinkan untuk menentukan throughput yang disediakan selama pembuatan cluster. Anda juga dapat mengaktifkan atau menonaktifkan throughput yang disediakan untuk klaster yang berada dalam status. ACTIVE

Kemacetan throughput

Ada beberapa penyebab kemacetan dalam throughput broker: throughput volume, throughput jaringan Amazon EC2 ke Amazon EBS, dan throughput keluar Amazon EC2. Anda dapat mengaktifkan throughput penyimpanan yang disediakan untuk menyesuaikan throughput volume. Namun, keterbatasan throughput broker dapat disebabkan oleh throughput jaringan Amazon EC2 ke Amazon EBS dan throughput keluar Amazon EC2.

Output keluar Amazon EC2 dipengaruhi oleh jumlah kelompok konsumen dan konsumen per kelompok konsumen. Selain itu, throughput jaringan Amazon EC2 hingga Amazon EBS dan throughput keluar Amazon EC2 lebih tinggi untuk ukuran broker yang lebih besar.

Untuk ukuran volume 10 GiB atau lebih besar, Anda dapat menyediakan throughput penyimpanan 250 MiB per detik atau lebih besar. 250 MiB per detik adalah default. Untuk menyediakan throughput penyimpanan, Anda harus memilih ukuran broker kafka.m5.4xlarge atau lebih besar (atau kafka.m7g.2xlarge atau lebih besar), dan Anda dapat menentukan throughput maksimum seperti yang ditunjukkan pada tabel berikut.

ukuran broker	Throughput penyimpanan maksimum (MIB/detik)
kafka.m5.4xlarge	593
kafka.m5.8xlarge	850
kafka.m5.12xlarge	1000
kafka.m5.16xlarge	1000
kafka.m5.24xlarge	1000
kafka.m7g.2xlarge	312,5
kafka.m7g.4xlarge	625
kafka.m7g.8xlarge	1000
kafka.m7g.12xlarge	1000
kafka.m7g.16xlarge	1000

Mengukur throughput penyimpanan

Anda dapat menggunakan VolumeWriteBytes metrik VolumeReadBytes dan untuk mengukur throughput penyimpanan rata-rata sebuah cluster. Jumlah kedua metrik ini memberikan throughput penyimpanan rata-rata dalam byte. Untuk mendapatkan throughput penyimpanan rata-rata untuk sebuah cluster, atur kedua metrik ini ke SUM dan periode menjadi 1 menit, lalu gunakan rumus berikut.

Average storage throughput in MiB/s = (Sum(VolumeReadBytes) + Sum(VolumeWriteBytes)) / (60 * 1024 * 1024)

Untuk informasi tentang VolumeReadBytes dan VolumeWriteBytes metrik, lihatPER_BROKERPemantauan tingkat.

Pembaruan konfigurasi

Anda dapat memperbarui konfigurasi MSK Amazon sebelum atau setelah Anda mengaktifkan throughput yang disediakan. Namun, Anda tidak akan melihat throughput yang diinginkan hingga Anda melakukan kedua tindakan: perbarui parameter num.replica.fetchers konfigurasi dan aktifkan throughput yang disediakan.

Dalam konfigurasi MSK Amazon default, num.replica.fetchers memiliki nilai 2. Untuk memperbaruinum.replica.fetchers, Anda dapat menggunakan nilai yang disarankan dari tabel berikut. Nilai-nilai ini untuk tujuan panduan. Kami menyarankan Anda menyesuaikan nilai-nilai ini berdasarkan kasus penggunaan Anda.

ukuran broker	num.replica.fetchers
kafka.m5.4xlarge	4
kafka.m5.8xlarge	8
kafka.m5.12xlarge	14
kafka.m5.16xlarge	16
kafka.m5.24xlarge	16

Konfigurasi Anda yang diperbarui mungkin tidak berlaku hingga 24 jam, dan mungkin memakan waktu lebih lama ketika volume sumber tidak sepenuhnya digunakan. Namun, kinerja volume transisi setidaknya sama dengan kinerja volume penyimpanan sumber selama periode migrasi. Volume 1 TiB yang sepenuhnya digunakan biasanya membutuhkan waktu sekitar enam jam untuk bermigrasi ke konfigurasi yang diperbarui.

Penyediaan throughput penyimpanan menggunakan AWS Management Console

1. Masuk ke AWS Management Console, dan buka konsol MSK Amazon di https://console.aws.amazon.com/msk/home?region=us-east-1#/home/.

2. Pilih Buat klaster.

3. Pilih Custom create.

4. Tentukan nama untuk cluster.

5. Di bagian Penyimpanan, pilih Aktifkan.

6. Pilih nilai untuk throughput penyimpanan per broker.

7. Pilih VPC, zona dan subnet, dan grup keamanan.

8. Pilih Selanjutnya.

9. Di bagian bawah langkah Keamanan, pilih Berikutnya.

10. Di bagian bawah langkah Pemantauan dan tag, pilih Berikutnya.

11. Tinjau pengaturan cluster, lalu pilih Buat cluster.

Penyediaan throughput penyimpanan menggunakan AWS CLI

Bagian ini menunjukkan contoh bagaimana Anda dapat menggunakan AWS CLI untuk membuat klaster dengan throughput yang disediakan diaktifkan.

1. Salin JSON berikut dan tempel ke dalam file. Ganti ID subnet dan placeholder ID grup keamanan dengan nilai dari akun Anda. Beri nama file cluster-creation.json dan simpan.

   {
       "Provisioned": {
           "BrokerNodeGroupInfo":{
               "InstanceType":"kafka.m5.4xlarge",
               "ClientSubnets":[
                   "Subnet-1-ID",
                   "Subnet-2-ID"
               ],
               "SecurityGroups":[
                   "Security-Group-ID"
               ],
               "StorageInfo": {
                   "EbsStorageInfo": {
                       "VolumeSize": 10,
                       "ProvisionedThroughput": {
                           "Enabled": true,
                           "VolumeThroughput": 250
                       }
                   }
               }
           },
           "EncryptionInfo": {
               "EncryptionInTransit": {
                   "InCluster": false,
                   "ClientBroker": "PLAINTEXT"
               }
           },
           "KafkaVersion":"2.8.1",
           "NumberOfBrokerNodes": 2
       },
       "ClusterName": "provisioned-throughput-example"
   }

2. Jalankan AWS CLI perintah berikut dari direktori tempat Anda menyimpan file JSON di langkah sebelumnya.

   aws kafka create-cluster-v2 --cli-input-json file://cluster-creation.json

Menyediakan throughput penyimpanan menggunakan API

Untuk mengonfigurasi throughput penyimpanan yang disediakan saat membuat cluster, gunakan V2. CreateCluster