本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
亚马逊 MSK 数据交付
通过亚马逊 MSK 数据交付,您可以将 Apache Kafka 数据从亚马逊 MSK Express 经纪人直接传输到亚马逊 S3,无需管理连接器或其他基础设施。Amazon MSK Express 可自动处理扩展、重试和背压,并在不造成交付差距的情况下管理容量扩展和版本升级等日常操作。由于这些是原生代理功能,它们不会增加代理出口吞吐量,因此您可以避免扩展基于连接器的管道通常产生的增量基础设施成本,并将容量与实际工作负载需求相匹配,而不是为峰值进行配置。每种功能支持高达 10 Gbps 的吞吐量。
这两个能力是:
向 Apache Iceberg 的流媒体表传输数据 — 借助亚马逊 MSK 数据交付,您可以持续将 Apache Kafka 主题作为 Apache Iceberg 表在亚马逊 S3 表中实现。智能内联压缩可消除小文件对性能的影响,并在不牺牲数据新鲜度的前提下保持查询性能的可预测性。 Built-in 协调解决了高吞吐量使用者之间的并发写入器冲突。Amazon S3 Tables 会自动处理持续的表维护,包括压缩、快照到期和未引用的文件清理。
数据传输到 Amazon S3 通用存储桶 — 借助 Amazon MSK 数据交付,您可以将源格式的 Apache Kafka 数据传输到 Amazon S3 通用存储桶进行下游处理,为任务关键型工作负载提供端到端的可靠性。使用它将 Kafka 数据放入 Amazon S3,用于日志存档、合规性保留、Kafka 回放和训练模型等用例。 AI/ML 这种方法消除了建立自我管理的连接器管道的需求,随着工作负载的扩展,这些管道的成本和操作也会变得越来越复杂。