Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pemecahan Masalah MSK Sebagai Sumber
Bagian ini menjelaskan langkah-langkah pemecahan masalah umum saat menggunakan MSK As Source
Untuk mengatasi masalah pemrosesan, transformasi, atau pengiriman S3, silakan lihat bagian sebelumnya
Pembuatan selang gagal
Periksa hal berikut jika selang Anda dengan MSK As Source gagal dibuat:
-
Periksa apakah cluster MSK sumber dalam keadaan Aktif.
-
Jika Anda menggunakan konektivitas pribadi, pastikan Tautan Pribadi pada cluster dihidupkan.
Jika Anda menggunakan konektivitas publik, pastikan Akses publik di cluster dihidupkan.
-
Jika Anda menggunakan konektivitas Pribadi, pastikan Anda menambahkan kebijakan berbasis sumber daya yang memungkinkan Firehose membuat Tautan Pribadi. Lihat juga: Izin lintas akun MSK.
-
Pastikan bahwa peran dalam konfigurasi sumber memiliki izin untuk menelan data dari Topik cluster.
-
Pastikan grup keamanan VPC Anda mengizinkan lalu lintas masuk port yang digunakan oleh server bootstrap cluster.
Selang Ditangguhkan
Periksa hal berikut jika selang Anda dalam keadaan TERSUSPENSI
-
Periksa apakah cluster MSK sumber dalam keadaan Aktif.
-
Periksa apakah topik sumbernya ada. Jika topik dihapus dan dibuat ulang, Anda harus menghapus dan membuat ulang aliran Firehose juga.
Selang Terbalik
Nilai dari DataReadFromSource.Backpressured akan menjadi 1 ketika BytesPerSecondLimit per partisi terlampaui atau aliran normal pengiriman lambat atau berhenti.
-
Jika Anda memukul BytesPerSecondLimit silahkan cek DataReadFromSource.Bytes metrik dan meminta kenaikan batas.
-
Periksa CloudWatch log, metrik tujuan, metrik Transformasi Data, dan metrik Konversi Format untuk mengidentifikasi hambatan.
Kesegaran Data Salah
Kesegaran data tampaknya salah
-
Firehose menghitung kesegaran data berdasarkan stempel waktu dari catatan yang dikonsumsi. Untuk memastikan bahwa stempel waktu ini direkam dengan benar ketika catatan produser disimpan di log broker Kafka, setel konfigurasi jenis stempel waktu topik Kafka menjadi
message.timestamp.type=LogAppendTime.
Masalah koneksi cluster MSK
Prosedur berikut menjelaskan bagaimana Anda dapat memvalidasi konektivitas ke cluster MSK. Untuk detail tentang menyiapkan klien Amazon MSK, lihat Memulai menggunakan Amazon MSK di Panduan Pengembang Streaming Terkelola Amazon untuk Apache Kafka.
Untuk memvalidasi konektivitas ke cluster MSK
Buat Unix-based (lebih disukai AL2) Instans Amazon EC2. Jika Anda hanya mengaktifkan konektivitas VPC di cluster Anda, pastikan instans EC2 Anda berjalan di VPC yang sama. SSH ke dalam instance setelah tersedia. Untuk informasi lebih lanjut, lihat tutorial ini di Panduan Pengguna Amazon EC2.
Instal Java menggunakan manajer paket Yum dengan menjalankan perintah berikut. Untuk informasi lebih lanjut, lihat petunjuk instalasi dalam Panduan Pengguna Amazon Corretto 8.
sudo yum install java-1.8.0Instal AWS klien
dengan menjalankan perintah berikut. curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip" unzip awscliv2.zip sudo ./aws/installUnduh versi klien Apache Kafka 2.6* dengan menjalankan perintah berikut.
wget https://archive.apache.org/dist/kafka/2.6.2/kafka_2.12-2.6.2.tgz tar -xzf kafka_2.12-2.6.2.tgz-
Pergi ke
kafka_2.12-2.6.2/libsdirektori, lalu jalankan perintah berikut untuk mengunduh file JAR Amazon MSK IAM.wget https://github.com/aws/aws-msk-iam-auth/releases/download/v1.1.3/aws-msk-iam-auth-1.1.3-all.jar -
Buat
client.propertiesberkas di folder Kafka bin. -
Ganti
awsRoleArndengan peran ARN yang telah Anda gunakan di Firehose AndaSourceConfigurationdan verifikasi lokasi sertifikat. Izinkan Anda AWS pengguna klien untuk mengambil peranawsRoleArn. AWS pengguna klien akan mencoba untuk mengambil peran yang Anda tentukan di sini.[ec2-user@ip-xx-xx-xx-xx bin]$ cat client.properties security.protocol=SASL_SSL sasl.mechanism=AWS_MSK_IAM sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required awsRoleArn="<role arn>" awsStsRegion="<region name>"; sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler awsDebugCreds=true ssl.truststore.location=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.342.b07-1.amzn2.0.1.x86_64/jre/lib/security/cacerts ssl.truststore.password=changeit Jalankan perintah Kafka berikut untuk daftar topik. Jika koneksi Anda bersifat publik, gunakan server Bootstrap titik akhir publik. Jika koneksi Anda bersifat pribadi, gunakan server Bootstrap endpoint pribadi.
bin/kafka-topics.sh --list --bootstrap-server<bootstrap servers>--command-config bin/client.propertiesJika permintaan berhasil, Anda akan melihat output yang mirip dengan contoh berikut.
[ec2-user@ip-xx-xx-xx-xx kafka_2.12-2.6.2]$ bin/kafka-topics.sh --list --bootstrap-server<bootstrap servers>--command-config bin/client.properties [xxxx-xx-xx 05:49:50,877] WARN The configuration 'awsDebugCreds' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig) [xxxx-xx-xx 05:49:50,878] WARN The configuration 'ssl.truststore.location' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig) [xxxx-xx-xx 05:49:50,878] WARN The configuration 'sasl.jaas.config' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig) [xxxx-xx-xx 05:49:50,878] WARN The configuration 'sasl.client.callback.handler.class' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig) [xxxx-xx-xx 05:49:50,878] WARN The configuration 'ssl.truststore.password' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig) [xxxx-xx-xx 05:50:21,629] WARN [AdminClient clientId=adminclient-1] Connection to node... __amazon_msk_canary __consumer_offsetsJika Anda memiliki masalah dalam menjalankan skrip sebelumnya, verifikasi bahwa server bootstrap yang Anda berikan dapat dijangkau pada port yang ditentukan. Untuk melakukan ini, Anda dapat mengunduh dan menggunakan telnet atau utilitas serupa seperti yang ditunjukkan pada perintah berikut.
sudo yum install telnet telnet<bootstrap servers><port>Jika permintaan berhasil, Anda akan mendapatkan output berikut. Ini berarti Anda dapat terhubung ke cluster MSK Anda dalam VPC lokal Anda dan server bootstrap sehat pada port yang ditentukan.
Connected to ..Jika permintaan tidak berhasil, periksa aturan masuk pada VPC Anda kelompok keamanan. Sebagai contoh, Anda dapat menggunakan properti berikut pada aturan inbound.
Type: All traffic Port: Port used by the bootstrap server (e.g. 14001) Source: 0.0.0.0/0Coba lagi telnet koneksi seperti yang ditunjukkan pada langkah sebelumnya. Jika Anda masih tidak dapat terhubung atau koneksi Firehose Anda masih gagal, hubungi AWS dukungan
.