Praktik terbaik konfigurasi Hudi - Layanan Terkelola untuk Apache Flink

Amazon Managed Service untuk Apache Flink sebelumnya dikenal sebagai Amazon Kinesis Data Analytics untuk Apache Flink.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Praktik terbaik konfigurasi Hudi

Untuk menjalankan konektor Hudi pada Layanan Terkelola untuk Apache Flink, kami merekomendasikan perubahan konfigurasi berikut.

Menonaktifkan hoodie.embed.timeline.server

Konektor Hudi di Flink menyiapkan server timeline (TM) tertanam di jobmanager Flink (JM) untuk menyimpan metadata untuk meningkatkan kinerja saat paralelisme pekerjaan tinggi. Kami menyarankan Anda menonaktifkan server tertanam ini pada Layanan Terkelola untuk Apache Flink karena kami menonaktifkan komunikasi non-FLink antara JM dan TM.

Jika server ini diaktifkan, Hudi menulis pertama-tama akan mencoba untuk terhubung ke server tertanam di JM, dan kemudian kembali membaca metadata dari Amazon S3. Ini berarti bahwa Hudi menimbulkan batas waktu koneksi yang menunda penulisan Hudi dan menyebabkan dampak kinerja pada Layanan Terkelola untuk Apache Flink.