Melhores práticas de configuração do Hudi - Managed Service for Apache Flink

Anteriormente, o Amazon Managed Service for Apache Flink era conhecido como Amazon Kinesis Data Analytics for Apache Flink.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Melhores práticas de configuração do Hudi

Para executar conectores Hudi no Managed Service for Apache Flink, recomendamos as seguintes alterações de configuração.

Desativar hoodie.embed.timeline.server

O conector Hudi no Flink configura um servidor de linha do tempo (TM) incorporado no gerenciador de tarefas do Flink (JM) para armazenar metadados em cache e melhorar o desempenho quando o paralelismo de tarefas é alto. Recomendamos que você desabilite esse servidor incorporado no Managed Service for Apache Flink porque desabilitamos a comunicação não-Flink entre JM e TM.

Se esse servidor estiver habilitado, o Hudi Writes primeiro tentará se conectar ao servidor incorporado no JM e, em seguida, voltará a ler os metadados do Amazon S3. Isso significa que o Hudi incorre em um tempo limite de conexão que atrasa as gravações do Hudi e causa um impacto no desempenho do Managed Service for Apache Flink.