모델 추가 또는 제거

다중 모델 엔드포인트에 추가 모델을 배포하고 해당 엔드포인트를 통해 이를 즉시 호출할 수 있습니다. 새 모델을 추가할 때 엔드포인트를 업데이트하거나 다운그레이드할 필요가 없으므로 각각의 새 모델에 대해 별도의 엔드포인트를 생성하고 실행하는 데 드는 비용을 피할 수 있습니다. 모델을 추가하고 제거하는 프로세스는 CPU 및 GPU 지원 다중 모델 엔드포인트의 경우와 동일합니다.

SageMaker 인스턴스가 메모리 용량에 도달하고 컨테이너에 더 많은 모델을 다운로드해야 하는 경우 컨테이너에서 사용하지 않는 모델을 언로드합니다. SageMaker 또한 볼륨이 용량에 도달하고 새 모델을 다운로드해야 하는 경우 인스턴스 스토리지 볼륨에서 사용하지 않은 모델 아티팩트를 삭제합니다. 엔드포인트에서는 모델을 S3에서 호스팅하는 인스턴스의 컨테이너 메모리로 모델을 다운로드하는 데 시간이 걸리기 때문에 새로 추가된 모델에 대한 첫 번째 호출에는 시간이 더 오래 걸립니다.

엔드포인트가 이미 실행 중인 상태에서 새로운 모델 아티팩트 세트를 모델이 저장된 Amazon S3 위치에 복사합니다.

# Add an AdditionalModel to the endpoint and exercise it
aws s3 cp AdditionalModel.tar.gz s3://my-bucket/path/to/artifacts/

중요

모델을 업데이트하려면 새 모델을 추가할 때와 같이 진행합니다. 고유한 새 이름을 사용합니다. 이전 버전의 모델이 여전히 컨테이너나 엔드포인트에 있는 인스턴스의 스토리지 볼륨에 로드될 수 있으므로 Amazon S3에서 모델 아티팩트를 덮어쓰지 마세요. 새 모델을 호출하면 이전 버전의 모델을 호출할 수 있습니다.

클라이언트 애플리케이션은 S3에 저장되는 즉시 추가 대상 모델에서 예측을 요청할 수 있습니다.

response = runtime_sagemaker_client.invoke_endpoint(
                        EndpointName='<ENDPOINT_NAME>',
                        ContentType='text/csv',
                        TargetModel='AdditionalModel.tar.gz',
                        Body=body)

다중 모델 엔드포인트에서 모델을 삭제하려면 클라이언트에서 모델 호출을 중지하고 모델 아티팩트가 저장된 S3 위치에서 모델을 제거합니다.