具有直接調用的多容器端點指標

除了 中列出的端點指標之外使用 Amazon CloudWatch 監控 Amazon SageMaker AI 的指標 Amazon CloudWatch，SageMaker AI 還提供每個容器的指標。

具有直接調用的多容器端點的每個容器指標位於 CloudWatch 中，並分為兩個命名空間：AWS/SageMaker 和 aws/sagemaker/Endpoints。AWS/SageMaker 命名空間包含調用相關的指標，aws/sagemaker/Endpoints 命名空間則包含記憶體和 CPU 使用率指標。

下表列出具有直接調用之多容器端點的每個容器指標。所有指標都使用 [EndpointName, VariantName, ContainerName] 維度，該維度會針對特定變體篩選特定端點的指標，並對應於特定容器。這些指標與推論管道共用相同的指標名稱，但僅限每個容器層級 [EndpointName, VariantName, ContainerName]。

指標名稱	描述	維度	NameSpace
Invocations	傳送至端點內容器的 InvokeEndpoint請求數量。若要取得傳送至容器的請求總數，請使用 Sum統計資料。單位：無有效統計資料：Sum、Sample Count	EndpointName, VariantName, ContainerName	AWS/SageMaker
Invocation4XX Errors	模型傳回某特定容器 4xxHTTP 回應代碼以回應的 InvokeEndpoint請求數量。對於每個4xx回應，SageMaker AI 會傳送 1。單位：無有效統計資料：Average、Sum	EndpointName, VariantName, ContainerName	AWS/SageMaker
Invocation5XX Errors	模型傳回某特定容器 5xxHTTP 回應代碼以回應的 InvokeEndpoint請求數量。對於每個5xx回應，SageMaker AI 會傳送 1。單位：無有效統計資料：Average、Sum	EndpointName, VariantName, ContainerName	AWS/SageMaker
ContainerLatency	從 SageMaker AI 檢視的目標容器回應所花費的時間。 ContainerLatency包含傳送請求、從模型的容器擷取回應，以及完成容器中推論所花費的時間。單位：微秒有效統計資料：Average、Sum、Min、Max、Sample Count	EndpointName, VariantName, ContainerName	AWS/SageMaker
OverheadLatency	新增至回應 SageMaker AI 用戶端請求所需時間的額外負荷。 OverheadLatency 是從 SageMaker AI 收到請求的時間開始測量，直到將回應傳回給用戶端，減去 為止ModelLatency。額外負荷延遲可能隨著請求和回應承載大小、請求頻率，以及請求的身分驗證或授權等因素而不同。單位：微秒有效統計資料：Average、Sum、Min、Max、'樣本計數'	EndpointName, VariantName, ContainerName	AWS/SageMaker
CPUUtilization	執行個體上執行的各個容器所使用的 CPU 單位百分比。值的範圍從 0% 到 100%，並乘以 CPU 的數量。例如，如果有四個 CPU，CPUUtilization 的範圍可能從 0% 到 400%。對於具有直接調用的端點，CPUUtilization 指標的數量等於該端點中的容器數量。單位：百分比	EndpointName, VariantName, ContainerName	aws/sagemaker/Endpoints
MemoryUtilizaton	執行個體上執行的各個容器所使用的記憶體百分比。這個值的範圍從 0% 到 100%。與 CPUUtilization 類似，在具有直接調用的端點中，MemoryUtilization 指標的數量等於該端點中的容器數量。單位：百分比	EndpointName, VariantName, ContainerName	aws/sagemaker/Endpoints

上表中的所有指標都特定於具有直接調用的多容器端點。除了這些特殊的每個容器指標之外，在變體層級也有指標 [EndpointName, VariantName]，其中包含表格中所有預期 ContainerLatency指標的維度。