将接收器连接器迁移到 Amazon MSK Connect - Amazon Managed Streaming for Apache Kafka

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

将接收器连接器迁移到 Amazon MSK Connect

接收器连接器是将数据从 Kafka 导出到外部系统的 Apache Kafka Connect 应用程序。本节介绍将在本地运行的 Apache Kafka Connect 接收器连接器应用程序或在上运行的自托管 Kafka Connect 集群迁移到 AWS Amazon MSK Connect 的过程。

Kafka Connect 接收器连接器使用 Kafka 组成员资格 API，并将偏移量存储在与典型消费者应用程序相同的 __consumer_offset 主题中。此行为简化了将接收器连接器从自托管迁移到 Amazon MSK Connect 的过程。

要将接收器连接器迁移到 Amazon MSK Connect，请执行以下操作：

  1. 通过从本地或自行管理的 Kafka Connect 集群中提取连接器库来创建 Amazon MSK Connect 自定义插件。

  2. 创建 Amazon MSK Connect 工作程序属性，并将属性 key.converter 和 value.converter 设置为与为现有 Kafka Connect 集群中运行的 Kafka 连接器设置的值相同的值。

  3. 通过在现有 Kafka Connect 集群上发出 PUT /connectors/connector-name/pause 请求来暂停现有集群上的连接器应用程序。

  4. 确保所有连接器应用程序的任务都已完全停止。您可以通过在现有 Kafka Connect 集群上发出 GET /connectors/connector-name/status 请求或使用来自为属性 status.storage.topic 设置的主题名称的消息来停止任务。

  5. 从现有集群获取连接器配置。您可以通过在现有集群上发出 GET /connectors/connector-name/config 请求或使用来自为属性 config.storage.topic 设置的主题名称的消息来获取连接器配置。

  6. 创建与现有集群同名的新 Amazon MSK 连接器。使用您在步骤 1 中创建的连接器自定义插件、在步骤 2 中创建的 Worker 属性和在步骤 5 中提取的连接器配置来创建此连接器。

  7. 当 Amazon MSK 连接器状态为 active 时，请查看日志以验证连接器是否已开始从源系统导入数据。

  8. 通过发出 DELETE /connectors/connector-name 请求来删除现有集群中的连接器。