하나의 엔드포인트 이면의 직렬 추론 파이프라인으로서 전처리 로직과 더불어 모델 호스트.

추론 파이프라인은 데이터에 대한 추론 요청을 처리하는 2~15개 컨테이너의 선형 시퀀스로 구성된 Amazon SageMaker 모델입니다. 추론 파이프라인을 사용하여 사전 학습된 SageMaker 내장 알고리즘과 Docker 컨테이너에 패키징된 자체 사용자 지정 알고리즘을 조합하여 정의하고 배포할 수 있습니다. 추론 파이프라인을 사용하여 전처리, 예측 및 사후 처리 데이터 과학 작업을 결합할 수 있습니다. 추론 파이프라인은 완전 관리형입니다.

모델 학습을 위해 개발된 데이터 변환기를 재사용하는 SageMaker Spark ML Serving 및 scikit-learn 컨테이너를 추가할 수 있습니다. 조립된 전체 추론 파이프라인은 실시간 예측을 하거나 외부 사전 처리 없이 배치 변환을 직접 처리하는 데 사용할 수 있는 SageMaker 모델로 간주할 수 있습니다.

추론 파이프라인 모델 내에서 호출을 일련의 HTTP 요청으로 SageMaker 처리합니다. 파이프라인의 첫 번째 컨테이너가 초기 요청을 처리한 다음 중간 응답이 두 번째 컨테이너에 요청으로 전송되는 식으로 파이프라인의 각 컨테이너에 대해 계속 전송됩니다. SageMaker 최종 응답을 클라이언트에 반환합니다.

파이프라인 모델을 배포할 때는 엔드포인트 또는 변환 작업의 각 Amazon Elastic Compute Cloud (Amazon EC2) 인스턴스에 모든 컨테이너를 SageMaker 설치하고 실행합니다. 컨테이너가 동일한 EC2 인스턴스에 함께 존재하기 때문에 특징 처리 및 추론이 짧은 지연 시간으로 실행됩니다. CreateModel 작업을 사용하거나 콘솔에서 파이프라인 모델에 대한 컨테이너를 정의합니다. 하나를 PrimaryContainer 설정하는 대신 Containers 파라미터를 사용하여 파이프라인을 구성하는 컨테이너를 설정합니다. 컨테이너가 실행되는 순서도 지정할 수 있습니다.

파이프라인 모델이 변경 불가능하더라도 UpdateEndpoint 작업을 사용하여 새 추론 파이프라인을 배포해 추론 파이프라인을 업데이트할 수 있습니다. 이 모듈성은 실험 중에 더 큰 유연성을 지원합니다.

SageMaker 모델 레지스트리를 사용하여 추론 파이프라인을 만드는 방법에 대한 자세한 내용은 을 참조하십시오모델 레지스트리에 모델 등록 및 배포.

이 기능 사용에 대한 추가 비용은 없습니다. 엔드포인트에서 실행 중인 인스턴스에 대해서만 비용을 지불합니다.

주제

• 추론 파이프라인에 대한 샘플 노트북
• SparkML 및 Scikit-learn을 사용하여 특징 처리
• 파이프라인 모델 생성
• 추론 파이프라인을 사용하여 실시간으로 예측 실행하기
• 추론 파이프라인을 사용하여 배치 변환 실행
• 추론 파이프라인 로그 및 지표
• 추론 파이프라인 문제 해결

추론 파이프라인에 대한 샘플 노트북

추론 파이프라인을 생성하고 배포하는 방법을 보여주는 예제는 Scikit-Learn과 Linear Learner를 사용한 추론 파이프라인 샘플 노트북을 참조하세요. 예제를 실행하는 데 사용할 수 있는 Jupyter 노트북 인스턴스를 만들고 액세스하는 방법에 대한 지침은 을 참조하십시오. SageMaker 아마존 SageMaker 노트북 인스턴스

모든 SageMaker 샘플 목록을 보려면 노트북 인스턴스를 만들고 연 후 SageMaker 예제 탭을 선택합니다. 세 개의 추론 파이프라인 노트북이 있습니다. 방금 설명한 처음 2개 추론 파이프라인 노트북은 advanced_functionality 폴더에 있고, 세 번째 노트북은 sagemaker-python-sdk 폴더에 있습니다. 노트북을 열려면 노트북의 사용 탭을 선택하고 복사본 생성을 선택합니다.