배포 테스트

Amazon SageMaker Canvas 애플리케이션을 통해 엔드포인트를 간접 호출하거나 단일 예측 요청을 전송하여 모델 배포를 테스트할 수 있습니다. 이 기능을 사용하면 프로덕션 환경에서 엔드포인트를 프로그래밍 방식으로 호출하기 전에 엔드포인트가 요청에 응답하는지 확인할 수 있습니다.

사용자 지정 모델 배포 테스트

ML 운영 페이지를 통해 액세스하고 단일 간접 호출을 수행하여 사용자 지정 모델 배포를 테스트할 수 있습니다. 그러면 예측이 정확할 확률과 함께 예측이 반환됩니다.

참고

실행 길이는 Canvas에서 엔드포인트를 호출하고 엔드포인트에서 응답을 받는 데 걸리는 예상 시간입니다. 자세한 지연 시간 지표는 SageMaker AI 엔드포인트 호출 지표를 참조하세요.

Canvas 애플리케이션을 통해 엔드포인트를 테스트하려면 다음을 수행합니다.

1. SageMaker Canvas 애플리케이션을 엽니다.

2. 왼쪽 탐색 패널에서 ML 운영을 선택합니다.

3. 배포 탭을 선택합니다.

4. 배포 목록에서 호출할 엔드포인트가 있는 배포 목록을 선택합니다.

5. 배포의 세부 정보 페이지에서 테스트 배포 탭을 선택합니다.

6. 배포 테스트 페이지에서 값 필드를 수정하여 새 데이터 포인트를 지정할 수 있습니다. 시계열 예측 모델의 경우 예측을 수행할 항목 ID를 지정합니다.

7. 값을 수정한 후 업데이트를 선택하여 예측 결과를 가져옵니다.

예측이 로드되고 호출 성공 여부 및 요청 처리에 걸린 시간을 나타내는 호출 결과 필드가 함께 로드됩니다.

다음 스크린샷은 테스트 배포 탭의 Canvas 애플리케이션에서 수행된 예측을 보여줍니다.

숫자 예측과 시계열 예측을 제외한 모든 모델 유형의 경우 예측은 다음 필드를 반환합니다.

• predicted_label - 예측된 출력

• 확률 - 예측된 레이블이 정확할 확률

• 레이블 - 가능한 모든 레이블 목록

• 확률 - 각 레이블에 해당하는 확률(이 목록의 순서는 레이블의 순서와 일치합니다)

숫자 예측 모델의 경우 예측에는 주택 예측 가격과 같은 모델의 예측 출력인 점수 필드만 포함됩니다.

시계열 예측 모델의 경우 예측은 분위수로 예측을 보여주는 그래프입니다. 스키마 보기를 선택하여 각 분위수에 대해 예측된 숫자 값을 볼 수 있습니다.

배포 테스트 페이지를 통해 단일 예측을 계속하거나 다음 엔드포인트 호출섹션에서 애플리케이션에서 프로그래밍 방식으로 엔드포인트를 호출하는 방법을 알아볼 수 있습니다.

JumpStart 파운데이션 모델 배포 테스트

Canvas 애플리케이션을 통해 배포된 JumpStart 파운데이션 모델과 채팅하여 코드를 통해 간접적으로 호출하기 전에 기능을 테스트할 수 있습니다.

배포된 JumpStart 파운데이션 모델과 채팅하려면 다음을 수행합니다.

1. SageMaker Canvas 애플리케이션을 엽니다.

2. 왼쪽 탐색 패널에서 ML 운영을 선택합니다.

3. 배포 탭을 선택합니다.

4. 배포 목록에서 간접 호출할 배포를 찾아 추가 옵션 아이콘( )을 선택합니다.

5. 컨텍스트 메뉴에서 배포 테스트를 선택합니다.

6. JumpStart 파운데이션 모델과 함께 새로운 콘텐츠 생성, 추출 및 요약 채팅이 열리고 프롬프트 입력을 시작할 수 있습니다. 이 채팅의 프롬프트는 SageMaker AI 호스팅 엔드포인트에 요청으로 전송됩니다.