Image Classification 알고리즘 - Amazon SageMaker

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Image Classification 알고리즘

Amazon SageMaker Image Classification 알고리즘은 다중 레이블 분류를 지원하는 지도 학습 알고리즘입니다. 이 알고리즘은 이미지를 입력으로 취해 해당 이미지에 할당된 하나 이상의 레이블을 출력합니다. 처음부터 교육하거나 대량의 훈련 이미지를 이용할 수 없는 경우 전송 학습을 사용하여 훈련할 수 있는 컨볼루션 신경망을 사용합니다.

Amazon에 권장되는 입력 형식 SageMaker 이미지 분류 알고리즘은 Apache MXNet입니다.RecordIO. 하지만 .jpg 또는 .png 형식의 원시 이미지도 사용할 수 있습니다. 기계 학습 시스템을 위한 효율적인 데이터 준비 및 로딩에 대한 광범위한 개요는 이 토론을 참조하십시오.

참고

기존 딥 러닝 프레임워크와의 더 나은 상호 운용성을 유지하기 위해 다른 Amazon SageMaker 알고리즘에서 일반적으로 사용되는 protobuf 데이터 형식과는 다릅니다.

컨볼루션 네트워크에 대한 자세한 정보는 다음을 참조하십시오.

Image Classification 알고리즘의 입력/출력 인터페이스

이 SageMaker 이미지 분류 알고리즘은 RecorDio (application/x-recordio) 및 이미지 (image/png,image/jpeg, 및application/x-image) 파일 모드에서 학습을 위한 콘텐츠 형식 및 RecorDio (application/x-recordio) 파이프 모드에서 훈련하기 위한 콘텐츠 유형입니다. 그러나 증강 매니페스트 형식을 사용하여 RecordIO 파일을 생성하지 않고 이미지 파일(image/png, image/jpegapplication/x-image)을 사용해 파이프 모드에서 훈련할 수도 있습니다.

분산 훈련은 파일 모드와 파이프 모드에서 지원됩니다. 파이프 모드에서 RecordIO 콘텐츠 형식을 사용하는 경우 S3DataSourceS3DataDistributionTypeFullyReplicated로 설정해야 합니다. 이 알고리즘은 데이터가 각 머신에 복사되는 완전 복제된 모델을 지원합니다.

이 알고리즘은 추론을 위해 image/png, image/jpegapplication/x-image를 지원합니다.

RecordIO 형식을 사용한 훈련

훈련에 RecordIO 형식을 사용하는 경우 CreateTrainingJob 요청의 InputDataConfig 파라미터에 대한 값으로 trainvalidation 채널을 둘 다 지정합니다. train 채널에서 1개의 RecordIO(.rec) 파일을 지정하고 validation 채널에서 1개의 RecordIO 파일을 지정합니다. 두 채널에 대한 콘텐츠 유형을 application/x-recordio로 설정합니다.

이미지 형식을 사용한 훈련

교육에 대해 이미지 형식을 사용하는 경우 train 요청의 validation 파라미터에 대한 값으로 train_lst, validation_lst, InputDataConfigCreateTrainingJob 채널을 지정합니다. trainvalidation 채널에 대한 개별 이미지 데이터(.jpg 또는 .png파일)를 지정합니다. 각 .lsttrain_lst 채널에서 1개의 validation_lst 파일을 지정합니다. 네 채널 모두에 대한 콘텐츠 유형을 application/x-image로 설정합니다.

참고

SageMaker는 훈련 및 유효성 검사 데이터를 다른 채널과 별도로 읽으므로 교육 및 유효성 검사 데이터를 다른 폴더에 저장해야 합니다.

.lst 파일은 탭으로 구분된 파일로 이미지 파일의 목록을 담은 3개의 열이 포함되어 있습니다. 첫 번째 열은 이미지 인덱스를 지정하고, 두 번째 열은 이미지에 대한 클래스 레이블 인덱스를 지정하며, 세 번째 열은 이미지 파일의 상대 경로를 지정합니다. 첫 번째 열의 이미지 인덱스는 모든 이미지 간에서 고유해야 합니다. 클래스 레이블 인덱스 세트는 0부터 시작하여 순차적으로 번호가 부여되어 있습니다. 예를 들어 0은 cat 클래스, 1은 dog 클래스이며, 이후 추가로 클래스가 이어집니다.

다음은 .lst 파일의 예제입니다:

5 1 your_image_directory/train_img_dog1.jpg 1000 0 your_image_directory/train_img_cat1.jpg 22 1 your_image_directory/train_img_dog2.jpg

예를 들어 교육 이미지가 s3://<your_bucket>/train/class_dog, s3://<your_bucket>/train/class_cat 등에 저장된 경우 train 채널에 대한 경로를 s3://<your_bucket>/train으로 지정합니다. 이는 데이터의 최상위 디렉터리입니다. .lst 파일에서 train_image_dog1.jpg 클래스 디렉터리의 class_dog 파일에 대한 상대 경로를 class_dog/train_image_dog1.jpg로 지정합니다. 또한 train 디렉터리의 한 하위 디렉터리에 있는 모든 이미지 파일을 저장할 수도 있습니다. 이 경우 상대 경로에 대해 하위 디렉터리를 사용합니다. 예: s3://<your_bucket>/train/your_image_directory.

증강 매니페스트 이미지 형식을 사용한 훈련

증강 매니페스트 형식을 사용하면 RecordIO 파일을 생성할 필요 없이 파이프 모드에서 훈련할 수 있습니다. CreateTrainingJob 요청의 InputDataConfig 파라미터에 대한 값으로 train 및 validation 채널을 둘 다 지정해야 합니다. 이 형식을 사용하는 동안 이미지와 해당하는 주석으로 구성된 목록이 포함된 S3 매니페스트 파일이 생성되어야 합니다. 매니페스트 파일 형식은 각 행이 샘플 하나를 나타내는 JSON Lines 형식이어야 합니다. 이미지는 이미지의 S3 위치를 가리키는 'source-ref' 태그를 사용하여 지정됩니다. 주석은 CreateTrainingJob 요청에서 지정된 대로 "AttributeNames" 파라미터 값 아래에 제공됩니다. 또한 metadata 태그 아래에 추가 메타데이터가 포함될 수 있지만 이들은 알고리즘에서 무시됩니다. 다음 예제에서 "AttributeNames"은 이미지 및 주석 참조 ["source-ref", "class"]의 목록에 포함됩니다. 해당 레이블 값은 첫 번째 이미지가 "0"이고 두 번째 이미지가 “1”입니다.

{"source-ref":"s3://image/filename1.jpg", "class":"0"} {"source-ref":"s3://image/filename2.jpg", "class":"1", "class-metadata": {"class-name": "cat", "type" : "groundtruth/image-classification"}}

다음 순서는"AttributeNames"훈련 할 때 입력 파일에서 중요합니다. ImageClassification 알고리즘. image를 먼저 사용한 다음 label를 사용하여 특정 순서로 파이프된 데이터를 허용합니다. 따라서 이 예제의 "AttributeNames"에는 먼저 "source-ref"가 제공된 다음 "class"가 제공됩니다. 사용 시 ImageClassification 증강 매니페스트가 있는 알고리즘,RecordWrapperType파라미터는 여야 합니다"RecordIO".

레이블의 JSON 배열을 지정하면 다중 레이블 훈련도 가능합니다. num_classes 하이퍼파라미터는 총 클래스 수와 일치하도록 설정해야 합니다. 멀티 핫 형식과 클래스 ID 형식 등 두 가지 유효한 레이블 형식이 있습니다.

멀티 핫 형식에서 각 레이블은 모든 클래스의 다중 핫 인코딩 벡터이며 각 클래스는 0 또는 1 값을 사용합니다. 다음 예제에는 3가지 클래스가 있습니다. 첫 번째 이미지는 클래스 0과 2로 레이블이 지정되고, 두 번째 이미지는는 클래스 2로만 레이블이 지정됩니다.

{"image-ref": "s3://mybucket/sample01/image1.jpg", "class": "[1, 0, 1]"} {"image-ref": "s3://mybucket/sample02/image2.jpg", "class": "[0, 0, 1]"}

클래스 ID 형식에서 각 레이블은 데이터 포인트에 적용되는 클래스 ID(0, num_classes)의 목록입니다. 앞의 예제는 다음과 같이 보일 수 있습니다.

{"image-ref": "s3://mybucket/sample01/image1.jpg", "class": "[0, 2]"} {"image-ref": "s3://mybucket/sample02/image2.jpg", "class": "[2]"}

멀티 핫 형식이 기본값이지만,label-format파라미터:"application/x-recordio; label-format=multi-hot". GroundTruth에서 출력된 형식인 클래스 ID 형식은 명시적으로 설정해야 합니다 ()."application/x-recordio; label-format=class-id".

증강 매니페스트 파일에 대한 자세한 정보는 증강 매니페스트 파일을 사용하여 훈련 작업에 데이터 세트 메타데이터 제공 단원을 참조하십시오.

점진적 훈련

또한 SageMaker로 이전에 훈련한 모델의 결과물을 사용하여 새 모델의 훈련을 시드로 지정할 수도 있습니다. 점진적 훈련은 동일하거나 유사한 데이터를 사용해 새 모델을 훈련하려는 경우 훈련 시간을 줄여줍니다. SageMaker SageMaker에서 훈련된 또 다른 이미지 분류 모델을 통해서만 이미지 분류 모델을 시드로 지정할 수 있습니다.

사전 훈련된 모델을 사용하려면 CreateTrainingJob 요청에서 ChannelNameInputDataConfig 파라미터에 "model"로 지정합니다. model 채널의 ContentTypeapplication/x-sagemaker-model로 설정합니다. model 채널에 업로드한 사전 훈련된 모델과 새 모델 둘 다의 입력 하이퍼파라미터는 num_layers, image_shapenum_classes 입력 파라미터에 대해 설정이 동일해야 합니다. 이러한 파라미터는 네트워크 아키텍처를 정의합니다. 사전 훈련된 모델 파일의 경우 SageMaker에서 출력한 압축된 모델 결과물 (.tar.gz 형식) 을 사용합니다. 입력 데이터에 RecordIO 또는 이미지 형식을 사용할 수 있습니다.

SageMaker 이미지 분류 알고리즘에서 점진적 훈련을 사용하는 방법을 보여주는 샘플 노트북은종단 간 점진적 교육 이미지 분류 예제. 점진적 훈련에 대한 자세한 내용 및 점진적 훈련 사용 방법에 대한 지침은 Amazon SageMaker SageMaker에서의 점진적 훈련 단원을 참조하십시오.

Image Classification 알고리즘을 사용한 추론

생성된 모델은 추론에 대해 호스팅될 수 있고, 인코딩된 .jpg.png 이미지 형식을 image/png, image/jpegapplication/x-image 콘텐츠 유형으로 지원합니다. 입력 이미지의 크기가 자동으로 조정됩니다. 출력은 JSON 형식 또는 배치 변환을 위한 JSON Lines 텍스트 형식으로 인코딩된 모든 클래스에 대한 가능성 값입니다. 이미지 분류 모델은 요청당 단일 이미지를 처리하므로 JSON 또는 JSON Lines 형식으로 한 행만 출력합니다. 다음은 JSON Lines 형식의 응답 예제입니다.

accept: application/jsonlines {"prediction": [prob_0, prob_1, prob_2, prob_3, ...]}

훈련 및 추론에 대한 자세한 정보는 소개에서 참조한 이미지 분류 샘플 노트북 인스턴스를 참조하십시오.

Image Classification 알고리즘에 대한 EC2 인스턴스 권장 사항

이미지 분류에 대해 다음 GPU 인스터스를 교육용으로 지원합니다. ml.p2.xlarge, ml.p2.8xlarge, ml.p2.16xlarge, ml.p3.2xlarge, ml.p3.8xlargeml.p3.16xlarge. 배치 크기가 큰 교육에 대해 메모리가 더 많은 GPU 인스턴스를 사용하는 것이 좋습니다. 하지만 CPU(예: C4) 및 GPU(예: P2 및 P3) 인스턴스를 추론에 대해 사용할 수 있습니다. 또한 분산 교육을 위해 다중 GPU 및 다중 머신 설정에서 알고리즘을 실행할 수 있습니다.

P2 및 P3 인스턴스는 Image Classification 알고리즘에서 지원됩니다.

이미지 분류 샘플 노트북

를 사용하는 샘플 노트북의 경우 SageMaker Image Classification 알고리즘은 caltech-256 데이터 세트에 대한 모델을 훈련시킨 후 추론을 수행하도록 배포하는 알고리즘종단 간 멀티클래스 이미지 분류 예제. SageMaker에서 예제를 실행하는 데 사용할 수 있는 Jupyter 노트북 인스턴스 생성 및 액세스 방법에 대한 지침은 단원을 참조하십시오.Amazon 사용 SageMaker 노트북 인스턴스. 노트북 인스턴스를 생성한 후 열면SageMaker 예제탭을 클릭하여 모든 목록을 볼 수 있습니다. SageMaker 샘플. 이미지 분류 예제 노트북은 Introduction to Amazon algorithms(Amazon 알고리즘 소개) 섹션에 있습니다. 노트북을 열려면 사용 탭을 클릭하고 Create copy(사본 생성)를 선택합니다.