亚马逊MSK配置 - Amazon Managed Streaming for Apache Kafka
分层存储主题级别的配置指南

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

亚马逊MSK配置

适用于 Apache 的亚马逊托管流媒体 Kafka 为代理、主题和 Apache 节点提供了默认配置。 ZooKeeper 您还可以创建自定义配置并使用它们来创建新MSK集群或更新现有集群。MSK配置由一组属性及其对应的值组成。

主题

分层存储主题级别的配置指南

以下是在主题级别配置分层存储时的默认设置和限制。

  • 对于已激活分层存储的主题，Amazon MSK 不支持缩小日志段大小。如果要创建日志段，则最小段大小为 48MiB，或最短段滚动时间为 10 分钟。这些值映射到 segment.bytes 和 segment.ms 属性。

  • local.retention.ms/bytes 的值不能等于或超过 retention.ms/bytes。这是分层存储保留设置。

  • local.retention.ms/bytes 的默认值为 -2。这意味着 retention.ms 值用于 local.retention.ms/bytes。在这种情况下，数据将同时保留在本地存储和分层存储中（每个存储中各有一个副本），且会一起过期。对于此选项，本地数据的副本会保留到远程存储中。在这种情况下，从使用流量中读取的数据来自本地存储。

  • retention.ms 的默认值为 7 天。retention.bytes 没有默认大小限制。

  • retention.ms/bytes 的最小值为 -1。这意味着无限保留。

  • local.retention.ms/bytes 的最小值为 -2。这意味着可以无限保留本地存储。它与 retention.ms/bytes 的设置 -1 相匹配。

  • 对于已激活分层存储的主题，必须使用主题级别配置 retention.ms。最小 retention.ms 为 3 天。