使用 CloudWatch 进行监控的 Amazon MSK 指标

Amazon MSK 与 Amazon CloudWatch 集成，因此您可以收集、查看和分析 Amazon MSK 集群的 CloudWatch 指标。系统会自动收集您为 MSK 集群配置的指标并将其推送到 CloudWatch。您可以将 MSK 集群的监控级别设置为以下级别之一：DEFAULT、PER_BROKER、PER_TOPIC_PER_BROKER 或 PER_TOPIC_PER_PARTITION。以下部分中的表显示了在每个监控级别开始提供的所有指标。

DEFAULT 级别指标免费。其他指标的定价详见 Amazon CloudWatch 定价页面。

DEFAULT 级别监控

下表中描述的指标在 DEFAULT 监控级别可用。这些指标是免费的。

DEFAULT 监控级别可用的指标
名称	可见时间	Dimensions	描述
ActiveControllerCount	在集群进入 ACTIVE 状态后。	集群名称	在任何给定时间，每个集群只能有一个控制器处于活动状态。
BurstBalance	在集群进入 ACTIVE 状态后。	集群名称、代理 ID	输入-输出突增积分剩余余额用于集群中的 EBS 卷。用它来调查延迟或吞吐量下降的情况。 当卷的基准性能超过最大突增性能时，BurstBalance 不会对 EBS 卷进行报告。有关更多信息，请参阅 I/O 积分和突增性能。
BytesInPerSec	在创建主题后。	集群名称、代理 ID、主题	每秒从客户端接收的字节数。此指标适用于每个代理和每个主题。
BytesOutPerSec	在创建主题后。	集群名称、代理 ID、主题	每秒发送到客户端的字节数。此指标适用于每个代理和每个主题。
ClientConnectionCount	在集群进入 ACTIVE 状态后。	集群名称、代理 ID、客户端身份验证	经过身份验证的活跃客户端连接数量。
ConnectionCount	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	经过身份验证、未经过身份验证以及代理间的活跃连接数量。
CPUCreditBalance	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	此指标可以帮助您监控代理上的 CPU 积分余额。如果 CPU 使用率持续高于 20% 的基准利用率，则可能会耗尽 CPU 积分余额，这可能会对集群性能产生负面影响。您可以采取措施降低 CPU 负载。例如，您可以减少客户端请求的数量，或将代理类型更新为 M5 代理类型。
CpuIdle	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	CPU 空闲时间百分比。
CpuIoWait	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	待处理磁盘操作期间 CPU 空闲时间的百分比。
CpuSystem	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	内核空间中的 CPU 百分比。
CpuUser	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	用户空间中的 CPU 百分比。
GlobalPartitionCount	在集群进入 ACTIVE 状态后。	集群名称	集群中所有主题的分区数量，不包括副本。由于 GlobalPartitionCount 不包括副本，如果主题的复制因子大于 1，则 PartitionCount 值的总和可能高于 GlobalPartitionCount。
GlobalTopicCount	在集群进入 ACTIVE 状态后。	集群名称	集群中所有代理的主题总数。
EstimatedMaxTimeLag	在使用器组使用某个主题之后。	使用器组、主题	预计耗尽 MaxOffsetLag 的时间（以秒为单位）。
KafkaAppLogsDiskUsed	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	用于应用程序日志的磁盘空间的百分比。
KafkaDataLogsDiskUsed（Cluster Name, Broker ID 维度）	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	用于数据日志的磁盘空间的百分比。
KafkaDataLogsDiskUsed（Cluster Name 维度）	在集群进入 ACTIVE 状态后。	集群名称	用于数据日志的磁盘空间的百分比。
LeaderCount	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	每个代理的分区领导总数，不包括副本。
MaxOffsetLag	在使用器组使用某个主题之后。	使用器组、主题	主题中所有分区之间的最大偏移延迟。
MemoryBuffered	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	代理的缓冲内存大小（以字节为单位）。
MemoryCached	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	代理的缓存内存大小（以字节为单位）。
MemoryFree	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	可供代理使用的可用内存大小（以字节为单位）。
HeapMemoryAfterGC	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	垃圾回收后使用的总堆内存百分比。
MemoryUsed	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	代理正在使用的内存大小（以字节为单位）。
MessagesInPerSec	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	代理每秒传入消息数。
NetworkRxDropped	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	丢弃的接收包的数量。
NetworkRxErrors	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	代理的网络接收错误数。
NetworkRxPackets	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	代理收到的数据包的数量。
NetworkTxDropped	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	丢弃的传输包的数量。
NetworkTxErrors	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	代理的网络传输错误的数量。
NetworkTxPackets	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	代理传输的数据包的数量。
OfflinePartitionsCount	在集群进入 ACTIVE 状态后。	集群名称	集群中处于脱机状态的分区的总数。
PartitionCount	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	每个代理的主题分区总数，不包括副本。
ProduceTotalTimeMsMean	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	平均生成时间（以毫秒为单位）。
RequestBytesMean	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	代理的请求字节的平均数量。
RequestTime	在应用请求限制后。	集群名称，代理 ID	代理网络和 I/O 线程处理请求所花费的平均时间（以毫秒为单位）。
RootDiskUsed	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	代理所使用的根磁盘的百分比。
SumOffsetLag	在使用器组使用某个主题之后。	使用器组、主题	主题中所有分区的聚合偏移延迟。
SwapFree	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	对代理可用的交换内存的大小（以字节为单位）。
SwapUsed	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	代理正在使用的交换内存的大小（以字节为单位）。
TrafficShaping	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	表示由于超出网络分配而形成（丢弃或排队）的数据包数量的高级指标。PER_BROKER 指标提供了更详细的信息。
UnderMinIsrPartitionCount	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	代理的未完全管理分区的数目。
UnderReplicatedPartitions	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	代理的未完全复制分区的数目。
ZooKeeperRequestLatencyMsMean	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	来自代理的 Apache ZooKeeper 请求的平均延迟（以毫秒为单位）。
ZooKeeperSessionState	在集群进入 ACTIVE 状态后。	集群名称，代理 ID	代理的 ZooKeeper 会话的连接状态，可能为下列项之一：NOT_CONNECTED：“0.0”、ASSOCIATING：“0.1”、CONNECTING：“0.5”、CONNECTEDREADONLY：“0.8”、CONNECTED：“1.0”、CLOSED：“5.0”、AUTH_FAILED：“10.0”。

PER_BROKER 级别监控

在将监控级别设置为 PER_BROKER 时，除了所有 DEFAULT 级别指标之外，您还将获得下表中描述的指标。您需要为下表中的指标付费，而 DEFAULT 级别指标仍免费。此表中的指标具有以下维度：集群名称、代理 ID。

在 PER_BROKER 监控级别开始提供的其他指标
名称	可见时间	描述
BwInAllowanceExceeded	在集群进入 ACTIVE 状态后。	因入站聚合带宽超过代理的最大值而形成的数据包的数量。
BwOutAllowanceExceeded	在集群进入 ACTIVE 状态后。	因出站聚合带宽超过代理的最大值而形成的数据包的数量。
ConnTrackAllowanceExceeded	在集群进入 ACTIVE 状态后。	因连接跟踪超过代理的最大值而形成的数据包的数量。连接跟踪与安全组相关，安全组会跟踪建立的每个连接，以确保返回数据包按预期交付。
ConnectionCloseRate	在集群进入 ACTIVE 状态后。	每个侦听器每秒关闭的连接数量。这个数字按每个侦听器聚合，并针对客户端侦听器进行筛选。
ConnectionCreationRate	在集群进入 ACTIVE 状态后。	每个侦听器每秒建立的新连接数量。这个数字按每个侦听器聚合，并针对客户端侦听器进行筛选。
CpuCreditUsage	在集群进入 ACTIVE 状态后。	此指标可以帮助您监控实例上的 CPU 积分使用量。如果 CPU 使用率持续高于 20% 的基准水平，则可能会耗尽 CPU 积分余额，这可能会对集群性能产生负面影响。您可以监控此指标并发出警报，以采取纠正措施。
FetchConsumerLocalTimeMsMean	在提供创建器/使用器后。	在领导处处理使用器请求所花费的平均时间（以毫秒为单位）。
FetchConsumerRequestQueueTimeMsMean	在提供创建器/使用器后。	使用器请求在请求队列中等待的平均时间（以毫秒为单位）。
FetchConsumerResponseQueueTimeMsMean	在提供创建器/使用器后。	使用器请求在响应队列中等待的平均时间（以毫秒为单位）。
FetchConsumerResponseSendTimeMsMean	在提供创建器/使用器后。	使用器发送响应所花费的平均时间（以毫秒为单位）。
FetchConsumerTotalTimeMsMean	在提供创建器/使用器后。	使用器从代理提取数据所花费的总平均时间（以毫秒为单位）。
FetchFollowerLocalTimeMsMean	在提供创建器/使用器后。	在领导处处理跟踪器请求所花费的平均时间（以毫秒为单位）。
FetchFollowerRequestQueueTimeMsMean	在提供创建器/使用器后。	跟踪器请求在请求队列中等待的平均时间（以毫秒为单位）。
FetchFollowerResponseQueueTimeMsMean	在提供创建器/使用器后。	跟踪器请求在响应队列中等待的平均时间（以毫秒为单位）。
FetchFollowerResponseSendTimeMsMean	在提供创建器/使用器后。	跟踪器发送响应所花费的平均时间（以毫秒为单位）。
FetchFollowerTotalTimeMsMean	在提供创建器/使用器后。	跟踪器从代理提取数据所花费的总平均时间（以毫秒为单位）。
FetchMessageConversionsPerSec	在创建主题后。	代理每秒提取消息转换的次数。
FetchThrottleByteRate	在应用带宽限制后。	每秒的限制字节数。
FetchThrottleQueueSize	在应用带宽限制后。	限制队列中的消息数。
FetchThrottleTime	在应用带宽限制后。	平均提取限制时间（以毫秒为单位）。
NetworkProcessorAvgIdlePercent	在集群进入 ACTIVE 状态后。	网络处理器处于空闲状态的时间的平均百分比。
PpsAllowanceExceeded	在集群进入 ACTIVE 状态后。	因双向 PPS 超过代理的最大值而形成的数据包的数量。
ProduceLocalTimeMsMean	在集群进入 ACTIVE 状态后。	在领导处处理请求所花费的平均时间（以毫秒为单位）。
ProduceMessageConversionsPerSec	在创建主题后。	代理每秒生成的消息转换数。
ProduceMessageConversionsTimeMsMean	在集群进入 ACTIVE 状态后。	消息格式转换所花费的平均时间（以毫秒为单位）。
ProduceRequestQueueTimeMsMean	在集群进入 ACTIVE 状态后。	请求消息在队列中所花费的平均时间（以毫秒为单位）。
ProduceResponseQueueTimeMsMean	在集群进入 ACTIVE 状态后。	响应消息在队列中所花费的平均时间（以毫秒为单位）。
ProduceResponseSendTimeMsMean	在集群进入 ACTIVE 状态后。	发送响应消息所花费的平均时间（以毫秒为单位）。
ProduceThrottleByteRate	在应用带宽限制后。	每秒的限制字节数。
ProduceThrottleQueueSize	在应用带宽限制后。	限制队列中的消息数。
ProduceThrottleTime	在应用带宽限制后。	平均生成限制时间（以毫秒为单位）。
ProduceTotalTimeMsMean	在集群进入 ACTIVE 状态后。	平均生成时间（以毫秒为单位）。
RemoteBytesInPerSec	在提供生成器/使用器后。	为响应使用器提取而从分层存储传输的总字节数。此指标包括影响下游数据传输流量的所有主题分区。类别：流量和错误率。这是一个 KIP-405 指标。
RemoteBytesOutPerSec	在提供生成器/使用器后。	传输到分层存储的总字节数，包括来自日志段、索引和其他辅助文件的数据。此指标包括影响上游数据传输流量的所有主题分区。类别：流量和错误率。这是一个 KIP-405 指标。
RemoteLogManagerTasksAvgIdlePercent	在集群进入 ACTIVE 状态后。	远程日志管理器闲置时间的平均百分比。远程日志管理器将数据从代理传输到分层存储。类别：内部活动。这是一个 KIP-405 指标。
RemoteLogReaderAvgIdlePercent	在集群进入 ACTIVE 状态后。	远程日志读取器闲置时间的平均百分比。远程日志读取器将数据从远程存储传输到代理，以响应使用器提取。类别：内部活动。这是一个 KIP-405 指标。
RemoteLogReaderTaskQueueSize	在集群进入 ACTIVE 状态后。	负责从分层存储中读取并等待安排的任务数量。类别：内部活动。这是一个 KIP-405 指标。
RemoteReadErrorPerSec	在集群进入 ACTIVE 状态后。	响应读取请求的总错误率，指定代理将这些请求发送到分层存储，以检索数据来响应使用器提取。此指标包括影响下游数据传输流量的所有主题分区。类别：流量和错误率。这是一个 KIP-405 指标。
RemoteReadRequestsPerSec	在集群进入 ACTIVE 状态后。	指定代理发送到分层存储以检索数据来响应使用器提取的读取请求的总数。此指标包括影响下游数据传输流量的所有主题分区。类别：流量和错误率。这是一个 KIP-405 指标。
RemoteWriteErrorPerSec	在集群进入 ACTIVE 状态后。	响应写入请求的总错误率，指定代理将这些请求发送到分层存储以向上游传输数据。此指标包括影响上游数据传输流量的所有主题分区。类别：流量和错误率。这是一个 KIP-405 指标。
ReplicationBytesInPerSec	在创建主题后。	每秒从其他代理接收的字节数。
ReplicationBytesOutPerSec	在创建主题后。	每秒发送到其他代理的字节数。
RequestExemptFromThrottleTime	在应用请求限制后。	代理网络和 I/O 线程处理免受限制的请求所花费的平均时间（以毫秒为单位）。
RequestHandlerAvgIdlePercent	在集群进入 ACTIVE 状态后。	请求处理程序线程处于空闲状态的时间的平均百分比。
RequestThrottleQueueSize	在应用请求限制后。	限制队列中的消息数。
RequestThrottleTime	在应用请求限制后。	平均请求限制时间（以毫秒为单位）。
TcpConnections	在集群进入 ACTIVE 状态后。	显示设置了 SYN 标志的传入和传出 TCP 段的数量。
TotalTierBytesLag	在创建主题后。	在代理上符合分层条件但尚未传输到分层存储的数据的总字节数。此指标显示了上游数据传输的效率。随着延迟增加，分层存储中无法持续存在的数据量也随之增加。类别：归档延迟。这不是一个 KIP-405 指标。
TrafficBytes	在集群进入 ACTIVE 状态后。	以总字节数显示客户端（生成器和使用器）与代理之间的网络流量。不报告代理之间的流量。
VolumeQueueLength	在集群进入 ACTIVE 状态后。	指定时间段内等待完成的读取和写入操作请求的数量。
VolumeReadBytes	在集群进入 ACTIVE 状态后。	在指定时间段内读取的字节数。
VolumeReadOps	在集群进入 ACTIVE 状态后。	在指定时间段内读取的操作数。
VolumeTotalReadTime	在集群进入 ACTIVE 状态后。	在指定时间段内完成所有读取操作耗费的总秒数。
VolumeTotalWriteTime	在集群进入 ACTIVE 状态后。	在指定时间段内完成所有写入操作耗费的总秒数。
VolumeWriteBytes	在集群进入 ACTIVE 状态后。	在指定时间段内写入的字节数。
VolumeWriteOps	在集群进入 ACTIVE 状态后。	在指定时间段内写入操作的数量。

PER_TOPIC_PER_BROKER 级别监控

在将监控级别设置为 PER_TOPIC_PER_BROKER 时，除了 PER_BROKER 和 DEFAULT 级别的所有指标之外，您还将获得下表中描述的指标。仅 DEFAULT 级别指标是免费的。此表中的指标具有以下维度：集群名称、代理商 ID、主题。

重要

对于使用 Apache Kafka 2.4.1 或更新版本的 Amazon MSK 集群，下表中的指标仅在其值首次变为非零后才会显示。例如，要查看 BytesInPerSec，一个或多个创建器必须先向集群发送数据。

在 PER_TOPIC_PER_BROKER 监控级别开始提供的其他指标
名称	可见时间	描述
FetchMessageConversionsPerSec	在创建主题后。	每秒转换的已提取消息的数量。
MessagesInPerSec	在创建主题后。	每秒接收的消息的数量。
ProduceMessageConversionsPerSec	在创建主题后。	已生成消息的每秒转换次数。
RemoteBytesInPerSec	创建主题后，以及生成/使用主题时。	为响应使用器提取指定主题和代理而从分层存储传输的字节数。此指标包括影响指定代理上下游数据传输流量的所有主题分区。类别：流量和错误率。这是一个 KIP-405 指标。
RemoteBytesOutPerSec	创建主题后，以及生成/使用主题时。	为指定主题和代理传输到分层存储的字节数。此指标包括影响指定代理上上游数据传输流量的所有主题分区。类别：流量和错误率。这是一个 KIP-405 指标。
RemoteReadErrorPerSec	创建主题后，以及生成/使用主题时。	响应读取请求的错误率，指定代理将这些请求发送到分层存储，以检索数据来响应使用器对指定主题的提取。此指标包括影响指定代理上下游数据传输流量的所有主题分区。类别：流量和错误率。这是一个 KIP-405 指标。
RemoteReadRequestsPerSec	创建主题后，以及生成/使用主题时。	指定代理发送到分层存储以检索数据来响应使用器对指定主题的提取的读取请求数。此指标包括影响指定代理上下游数据传输流量的所有主题分区。类别：流量和错误率。这是一个 KIP-405 指标。
RemoteWriteErrorPerSec	创建主题后，以及生成/使用主题时。	响应写入请求的错误率，指定代理将这些请求发送到分层存储以向上游传输数据。此指标包括影响指定代理上上游数据传输流量的所有主题分区。类别：流量和错误率。这是一个 KIP-405 指标。

PER_TOPIC_PER_PARTITION 级别监控

在将监控级别设置为 PER_TOPIC_PER_PARTITION 时，除了 PER_TOPIC_PER_BROKER、PER_BROKER 和 DEFAULT 级别的所有指标之外，您还将获得下表中所述的指标。仅 DEFAULT 级别指标是免费的。此表中的指标具有以下维度：使用器组、主题、分区。

在 PER_TOPIC_PER_PARTITION 监控级别开始提供的其他指标
名称	可见时间	描述
EstimatedTimeLag	在使用器组使用某个主题之后。	预计耗尽分区偏移延迟的时间（以秒为单位）。
OffsetLag	在使用器组使用某个主题之后。	分区级别使用器在偏移量方面的延迟。