서버리스 엔드포인트 모니터링

Amazon CloudWatch 경보를 사용하여 서버리스 엔드포인트를 모니터링할 수 있습니다. CloudWatch AWS 애플리케이션과 리소스에서 실시간으로 지표를 수집하는 서비스입니다. 경보는 지표가 수집되는 것을 감시하여 임계값과 해당 임계값 위반 시 취할 조치를 미리 지정할 수 있는 기능을 제공합니다. 예를 들어 엔드포인트가 오류 임계값을 위반하는 경우 CloudWatch 경보가 알림을 보낼 수 있습니다. CloudWatch 경보를 설정하면 엔드포인트의 성능과 기능을 파악할 수 있습니다. CloudWatch 경보에 대한 자세한 내용은 Amazon 사용 CloudWatch 설명서의 Amazon CloudWatch 경보 사용을 참조하십시오.

를 통한 모니터링 CloudWatch

아래 지표는 서버리스 엔드포인트에 대한 전체 지표 목록입니다. 아래 목록에 없는 지표는 서버리스 엔드포인트에 대해 게시되지 않습니다. 다음 지표에 대한 자세한 내용은 Amazon을 SageMaker 통한 Amazon 모니터링을 참조하십시오 CloudWatch.

일반적인 엔드포인트 지표

이러한 CloudWatch 지표는 실시간 엔드포인트에 대해 게시된 지표와 동일합니다.

이 OverheadLatency 지표는 서버리스 엔드포인트의 새 컴퓨팅 리소스를 시작하기 위한 콜드 스타트 시간을 포함하여 SageMaker 추가된 모든 추가 지연 시간을 추적합니다. 온디맨드 서버리스 엔드포인트와 비교할 때 프로비저닝된 동시성이 있는 서버리스 엔드포인트에 대한 OverheadLatency가 일반적으로 훨씬 적습니다.

서버리스 엔드포인트는 Invocations4XXErrors, Invocations5XXErrors, Invocations, ModelLatency, ModelSetupTime, MemoryUtilization 지표를 사용할 수도 있습니다. 이러한 지표에 대한 자세한 내용은 SageMaker 엔드포인트 호출 지표 단원을 참조하십시오.

일반적인 서버리스 엔드포인트 지표

이러한 CloudWatch 지표는 프로비저닝된 동시성을 사용하여 온디맨드 서버리스 엔드포인트와 서버리스 엔드포인트 모두에 게시됩니다.

지표 이름	설명	유닛/통계
ServerlessConcurrentExecutionsUtilization	최대 동시성으로 나눈 동시 실행 수	단위: 없음 유효한 통계: 평균, 최대, 최소

프로비저닝된 동시성 지표를 사용한 서버리스 엔드포인트

이러한 CloudWatch 지표는 프로비저닝된 동시성을 사용하는 서버리스 엔드포인트에 대해 게시됩니다.

지표 이름	설명	유닛/통계
ServerlessProvisionedConcurrencyExecutions	엔드포인트에서 처리하는 동시 실행 수	단위: 개 유효한 통계: 평균, 최대, 최소
ServerlessProvisionedConcurrencyUtilization	할당된 프로비저닝된 동시성으로 나눈 동시 실행 수	단위: 없음 유효한 통계: 평균, 최대, 최소
ServerlessProvisionedConcurrencyInvocations	프로비저닝된 동시성으로 처리되는 InvokeEndpoint 요청 수	단위: 개 유효한 통계: 평균, 최대, 최소
ServerlessProvisionedConcurrencySpilloverInvocations	프로비저닝된 동시성으로 처리되지 않는 InvokeEndpoint 요청 수. 즉, 온디맨드 서버리스 추론으로 처리되는 요청 수.	단위: 개 유효한 통계: 평균, 최대, 최소

로그

디버깅 또는 진행 상황 분석을 위해 엔드포인트에서 로그를 모니터링하려는 경우 Amazon CloudWatch Logs를 사용할 수 있습니다. 서버리스 SageMaker 엔드포인트에 사용할 수 있는 제공된 로그 그룹은 다음과 같습니다. /aws/sagemaker/Endpoints/[EndpointName] CloudWatch 로그인 SageMaker 사용에 대한 자세한 내용은 을 참조하십시오. 아마존에서 아마존 SageMaker 이벤트를 기록하세요 CloudWatch CloudWatch Logs에 대해 자세히 알아보려면 Amazon CloudWatch Logs란 무엇입니까? 를 참조하십시오. Amazon CloudWatch Logs 사용 설명서에서 확인할 수 있습니다.