TorchServe - AWS Deep Learning AMIs
에서 이미지 분류 모델 제공 TorchServe

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

TorchServe

TorchServe 는 Conda를 AMI 사용한 딥 러닝이 사전 설치된 PyTorch. TorchServe com에서 내보낸 딥 러닝 모델을 제공하는 유연한 도구입니다.

사용에 대한 자세한 내용은 모델 서버 for PyTorch Documentation을 TorchServe참조하세요.

주제

에서 이미지 분류 모델 제공 TorchServe

이 자습서에서는 를 사용하여 이미지 분류 모델을 제공하는 방법을 보여줍니다 TorchServe. 에서 제공하는 DenseNet-161 모델을 사용합니다 PyTorch. 서버가 실행되면 예측 요청을 수신합니다. 예를 들어 고양이의 이미지와 같은 이미지를 업로드할 때 서버는 모델이 교육한 클래스 가운데 가장 일치하는 5개 클래스에 대한 예측을 반환합니다.

에서 예제 이미지 분류 모델을 제공하려면 TorchServe

  1. Conda v34 이상의 Deep Learning을 사용하여 Amazon Elastic Compute Cloud(AmazonEC2) 인스턴스AMI에 연결합니다.

  2. pytorch_p310 환경을 활성화합니다.

    source activate pytorch_p310

  3. TorchServe 리포지토리를 복제한 다음 모델을 저장할 디렉터리를 생성합니다.  

    git clone https://github.com/pytorch/serve.git
mkdir model_store

  4. 모델 아카이버를 사용하여 모델을 보관합니다. extra-files 파라미터는 TorchServe 리포지토리의 파일을 사용하므로 필요한 경우 경로를 업데이트합니다. 모델 아카이버에 대한 자세한 내용은 의 Torch 모델 아카이버를 참조하세요 TorchServe.

    wget https://download.pytorch.org/models/densenet161-8d451a50.pth
torch-model-archiver --model-name densenet161 --version 1.0 --model-file ./serve/examples/image_classifier/densenet_161/model.py --serialized-file densenet161-8d451a50.pth --export-path model_store --extra-files ./serve/examples/image_classifier/index_to_name.json --handler image_classifier

  5. 를 실행 TorchServe 하여 엔드포인트를 시작합니다. > /dev/null을 추가하면 로그 출력이 중지됩니다.

    torchserve --start --ncs --model-store model_store --models densenet161.mar > /dev/null

  6. 키튼 이미지를 다운로드하여 예측 엔드포인트로 TorchServe 보냅니다.

    curl -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg
curl http://127.0.0.1:8080/predictions/densenet161 -T kitten.jpg

    예측 엔드포인트는 다음과 같은 상위 5개의 예측과 JSON 유사하게 예측을 반환합니다. 이 예측에서 이미지는 이집트 고양이를 포함할 확률이 47%이고, 이후 탭 고양이를 포함할 확률이 46%입니다.

    {
 "tiger_cat": 0.46933576464653015,
 "tabby": 0.463387668132782,
 "Egyptian_cat": 0.0645613968372345,
 "lynx": 0.0012828196631744504,
 "plastic_bag": 0.00023323058849200606
}

  7. 테스트를 마친 후 서버를 중단합니다.

    torchserve --stop

기타 예제

TorchServe 에는 DLAMI 인스턴스에서 실행할 수 있는 다양한 예제가 있습니다. TorchServe프로젝트 리포지토리 예제 페이지 에서 볼 수 있습니다.

추가 정보

Docker를 사용하여 설정하는 TorchServe 방법과 최신 TorchServe 기능을 포함한 자세한 TorchServe 내용은 의 TorchServe 프로젝트 페이지를 참조하세요 GitHub.