TorchServe

TorchServe 에서 PyTorch 익스포트한 딥 러닝 모델을 제공하기 위한 유연한 도구입니다. TorchServe Conda와 함께 딥 러닝 AMI가 사전 설치되어 제공됩니다.

사용에 TorchServe 대한 자세한 내용은 설명서용 PyTorch 모델 서버를 참조하십시오.

주제

이미지 분류 모델 제공: TorchServe

이 자습서에서는 에서 이미지 분류 모델을 제공하는 방법을 보여줍니다 TorchServe. 에서 제공하는 DenseNet -161 모델을 사용합니다. PyTorch 서버가 실행되면 예측 요청을 수신합니다. 예를 들어 고양이의 이미지와 같은 이미지를 업로드할 때 서버는 모델이 교육한 클래스 가운데 가장 일치하는 5개 클래스에 대한 예측을 반환합니다.

이미지 분류 모델의 예를 제공하려면 다음을 참조하십시오. TorchServe

1. Conda를 사용하는 DLAMI(버전 34 이상)의 Amazon Elastic Compute Cloud(Amazon EC2) 인스턴스에 연결합니다.

2. pytorch_p310 환경을 활성화합니다.

   source activate pytorch_p310

3. TorchServe 리포지토리를 복제한 다음 모델을 저장할 디렉토리를 만드십시오. 

   git clone https://github.com/pytorch/serve.git
   mkdir model_store    

4. 모델 아카이버를 사용하여 모델을 보관합니다. extra-files매개변수는 TorchServe 리포지토리의 파일을 사용하므로 필요한 경우 경로를 업데이트하세요. 모델 아카이버에 대한 자세한 내용은 Torch Model 아카이버를 참조하십시오. TorchServe

   wget https://download.pytorch.org/models/densenet161-8d451a50.pth
   torch-model-archiver --model-name densenet161 --version 1.0 --model-file ./serve/examples/image_classifier/densenet_161/model.py --serialized-file densenet161-8d451a50.pth --export-path model_store --extra-files ./serve/examples/image_classifier/index_to_name.json --handler image_classifier

5. 를 TorchServe 실행하여 엔드포인트를 시작합니다. > /dev/null을 추가하면 로그 출력이 중지됩니다.

   torchserve --start --ncs --model-store model_store --models densenet161.mar > /dev/null

6. 새끼 고양이 이미지를 다운로드하여 TorchServe 예측 엔드포인트로 전송하십시오.

   curl -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg
   curl http://127.0.0.1:8080/predictions/densenet161 -T kitten.jpg

   예측 엔드포인트는 다음 상위 5개의 예측과 유사한 예측을 JSON으로 반환합니다. 여기에서 이미지는 47%의 확률로 이집트 고양이를 포함하고, 그 다음으로 46%의 확률로 태비 고양이를 포함합니다.

   {
    "tiger_cat": 0.46933576464653015,
    "tabby": 0.463387668132782,
    "Egyptian_cat": 0.0645613968372345,
    "lynx": 0.0012828196631744504,
    "plastic_bag": 0.00023323058849200606
   }

7. 테스트를 마친 후 서버를 중단합니다.

   torchserve --stop

기타 예제

TorchServe 에는 DLAMI 인스턴스에서 실행할 수 있는 다양한 예제가 있습니다. TorchServe프로젝트 리포지토리 예제 페이지에서 확인할 수 있습니다.

추가 정보

Docker를 TorchServe 사용하여 설정하는 방법 및 최신 TorchServe 기능을 포함한 자세한 TorchServe 설명서는 의 TorchServe 프로젝트 페이지를 참조하십시오. GitHub