Amazon SageMaker 내장 알고리즘 또는 사전 학습된 모델 사용

SageMaker Amazon은 데이터 과학자와 기계 학습 실무자가 기계 학습 모델의 교육 및 배포를 빠르게 시작할 수 있도록 내장된 알고리즘, 사전 학습된 모델 및 사전 구축된 솔루션 템플릿 제품군을 제공합니다. 처음 사용하는 사용자에게는 특정 사용 사례에 적합한 알고리즘을 선택하는 것이 어려울 수 있습니다. SageMaker 다음 표는 예제 문제 또는 사용 사례부터 시작하여 해당 문제 유형에 적합한 내장 알고리즘을 찾는 방법을 보여주는 간단한 치트 시트를 제공합니다. SageMaker 학습 패러다임 (지도 및 비지도) 과 중요한 데이터 영역 (텍스트 및 이미지) 으로 구성된 추가 지침은 표 다음 섹션에 나와 있습니다.

표: 내장 알고리즘에 사용 사례 매핑
예제 문제 및 사용 사례	학습 패러다임 또는 도메인	문제 유형	데이터 입력 형식	내장 알고리즘
다음은 에서 제공하는 사전 학습된 모델 및 사전 구축된 솔루션 템플릿으로 해결할 수 있는 15가지 문제 유형 중 몇 가지 예입니다 SageMaker JumpStart. 질문 답변: 주어진 질문에 대한 답변을 출력하는 챗봇. 텍스트 분석: 금융과 같은 산업 영역별 모델의 텍스트를 분석합니다.	사전 학습된 모델 및 사전 구축된 솔루션 템플릿	이미지 분류 테이블 형식 분류 테이블 형식 회귀 텍스트 분류 객체 감지 텍스트 임베딩 질문 답변 문장 쌍 분류 이미지 임베딩 명명된 엔터티 인식 인스턴스 세그멘테이션 텍스트 생성 생성 텍스트 요약 의미 체계 분할 기계 번역 기계 번역 서비스	이미지, 텍스트, 표	모빌넷, 욜로, 패스터 R-CNN, BERT, LightGBM 등 인기 모델 CatBoost 사용 가능한 사전 학습된 모델 목록은 JumpStart 모델을 참조하십시오. 사용 가능한 사전 빌드된 솔루션 템플릿 목록은 JumpStart 솔루션을 참조하십시오.
항목이 특정 범주에 속하는지 예측: 이메일 스팸 필터	지도학습 학습 학습 학습 훈련 훈련	바이너리/다중 클래스 분류	표 형식	AutoGluon-표 형식, CatBoost, Factorization Machine 알고리즘, K-Nearest Neighbors(k-NN) 알고리즘, 라이트 GBM, 선형 학습자 알고리즘, TabTransformer, XGBoost 알고리즘
숫자/연속 값 예측: 주택 가치 추정		회귀	표 형식	AutoGluon-표 형식, CatBoost, Factorization Machine 알고리즘, K-Nearest Neighbors(k-NN) 알고리즘, 라이트 GBM, 선형 학습자 알고리즘, TabTransformer, XGBoost 알고리즘
행동에 대한 과거 데이터를 기반으로 future 행동을 예측합니다. 이전 판매 데이터를 기반으로 신제품의 판매를 예측합니다.		시계열 예측	표 형식	DeepAR Forecasting알고리즘
고차원 객체의 데이터 임베딩을 개선하세요. 중복된 지원 티켓을 식별하거나 티켓 내 텍스트의 유사성을 기반으로 올바른 라우팅을 찾을 수 있습니다.		임베딩: 고차원 객체를 저차원 공간으로 변환합니다.	표 형식	Object2Vec 알고리즘
라벨/대상 변수 (주행거리 예측 시 자동차 색상) 와의 관계가 약한 데이터셋에서 해당 열을 삭제하십시오.	비지도 학습 학습 학습 학습 학습 학습 훈련	기능 엔지니어링: 차원 축소	표 형식	Principal Component Analysis(PCA) 알고리즘
애플리케이션의 비정상 동작 감지: IoT 센서가 비정상적인 판독값을 전송할 때 감지		이상 탐지	표 형식	Random Cut Forest(RCF) 알고리즘
의심스러운 사용자로부터 애플리케이션을 보호하세요. 서비스에 액세스하는 IP 주소가 악의적인 행위자의 것인지 탐지하세요.		IP 이상 탐지 탐지 탐지	표 형식	IP Insights
유사한 객체/데이터를 함께 그룹화하세요. 거래 내역에서 고액, 중기 및 저지출 고객을 찾을 수 있습니다.		클러스터링 또는 그룹화	표 형식	k-means 알고리즘
문서 세트를 주제 (미리 알 수 없음) 로 정리하세요. 문서에서 사용된 용어에 따라 문서에 의료 범주에 속하는 것으로 태그를 지정합니다.		토픽 모델링	Text	Latent Dirichlet Allocation(LDA) 알고리즘, Neural Topic Model(NTM) 알고리즘
코퍼스의 문서에 사전 정의된 범주 지정: 도서관의 책을 학술 분야로 분류합니다.	텍스트 분석 분석	텍스트 분류	Text	BlazingText 알고리듬, 텍스트 분류 - TensorFlow
텍스트를 한 언어에서 다른 언어로 변환: 스페인어에서 영어로 변환		기계 번역 기계 번역 서비스 알고리듬	Text	Sequence-to-Sequence 알고리즘
긴 텍스트 코퍼스 요약: 연구 paper 초록		텍스트 요약	Text	Sequence-to-Sequence 알고리즘
오디오 파일을 텍스트로 변환: 추가 분석을 위해 콜센터 대화를 녹음하세요		Speech-to-text	Text	Sequence-to-Sequence 알고리즘
이미지 내용을 기반으로 이미지에 레이블을 지정하거나 태그를 지정합니다. 이미지의 성인용 콘텐츠에 대한 알림	이미지 프로세싱	이미지 및 다중 레이블 분류	이미지	이미지 분류 - MXNet
전이 학습을 사용하여 영상에서 무언가를 분류합니다.		이미지 분류	이미지	이미지 분류 - TensorFlow
이미지에서 사람과 물체 감지: 경찰은 실종자를 찾기 위해 대형 사진 갤러리를 검토합니다.		물체 감지 및 분류	이미지	물체 감지 - MXNet, 물체 감지 - TensorFlow
이미지의 모든 픽셀에 카테고리를 개별적으로 태그하세요. 자율 주행 자동차는 앞을 가로막는 물체를 식별할 준비를 합니다.		컴퓨터 비전	이미지	의미 체계 분할 알고리즘

Docker 레지스트리 경로, 데이터 형식, 권장되는 Amazon EC2 인스턴스 유형 및 에서 제공하는 SageMaker 모든 내장 알고리즘에 공통적인 CloudWatch 로그에 대한 중요한 정보는 을 참조하십시오내장 알고리즘에 대한 일반 정보.

다음 섹션에서는 Amazon SageMaker 내장 알고리즘이 속한 지도 및 비지도 학습 패러다임별로 그룹화된 Amazon 내장 알고리즘에 대한 추가 지침을 제공합니다. 이러한 학습 패러다임 및 관련 문제 유형에 대한 설명은 을 참조하십시오알고리즘 선택. 두 가지 중요한 기계 학습 영역인 텍스트 분석과 이미지 처리를 해결하는 데 사용할 수 있는 SageMaker 내장 알고리즘에 대한 섹션도 제공됩니다.

• 사전 학습된 모델 및 솔루션 템플릿

• 지도학습 학습 학습 학습 훈련 훈련

• 비지도 학습 학습 학습 학습 학습 학습 훈련

• 텍스트 분석 분석

• 이미지 프로세싱

사전 학습된 모델 및 솔루션 템플릿

SageMaker JumpStart 사전 학습된 다양한 모델, 사전 빌드된 솔루션 템플릿 및 SageMaker SDK와 Studio를 사용하는 인기 있는 문제 유형에 대한 예제를 제공합니다. 이러한 모델, 솔루션 및 에서 제공하는 SageMaker JumpStart 예제 노트북에 대한 자세한 내용은 을 참조하십시오SageMaker JumpStart.

지도학습 학습 학습 학습 훈련 훈련

SageMaker Amazon은 분류 또는 회귀 문제에 사용할 수 있는 여러 가지 내장형 범용 알고리즘을 제공합니다.

• AutoGluon-표 형식—모델을 조합하고 여러 레이어로 쌓아 성공하는 오픈 소스 AutoML 프레임워크입니다.

• CatBoost—정렬된 부스팅과 범주형 특징 처리를 위한 혁신적인 알고리즘을 도입하는 그래디언트 부스트 트리 알고리즘의 구현입니다.

• Factorization Machine 알고리즘—고차원 희소 데이터 세트 내에서 특징 간의 상호 작용을 경제적으로 캡처하도록 설계된 선형 모델의 확장입니다.

• K-Nearest Neighbors(k-NN) 알고리즘—레이블이 지정된 가장 가까운 k개 점을 사용하여 분류할 새 데이터 요소에 레이블을 할당하거나 회귀에 가장 가까운 k개 점의 평균을 기반으로 예측된 목표값을 지정하는 비모수 방법입니다.

• 라이트 GBM—향상된 효율성과 확장성을 위한 두 가지 새로운 기술인 그래디언트 기반 단면 샘플링 (GOSS) 과 독점 기능 번들링 (EFB) 을 추가하는 그래디언트 부스트 트리 알고리즘의 구현입니다.

• 선형 학습자 알고리즘—회귀를 위한 선형 함수 또는 분류를 위한 선형 임계값 함수를 학습합니다.

• TabTransformer self-attention-based—Transformer를 기반으로 구축된 새롭고 심층적인 테이블 형식 데이터 모델링 아키텍처.

• XGBoost 알고리즘—더 간단하고 약한 모델 세트의 추정치 앙상블을 결합하는 그래디언트 부스트 트리 알고리즘의 구현.

SageMaker 또한 Amazon은 기능 엔지니어링 및 시계열 데이터에서 예측하는 동안 보다 전문화된 작업에 사용되는 여러 내장 지도 학습 알고리즘을 제공합니다.

• Object2Vec 알고리즘—기능 엔지니어링에 사용되는 새로운 고도로 사용자 정의 가능한 다목적 알고리즘. 고차원 객체의 저차원 고밀도 임베딩을 학습하여 다운스트림 모델의 학습 효율성을 향상시키는 기능을 생성할 수 있습니다. 이 알고리즘은 감독된 알고리즘이지만 훈련을 위해 레이블이 지정된 데이터가 필요하기 때문에 사람의 명시적인 주석 없이 순전히 데이터의 자연스러운 클러스터링에서만 관계 레이블을 얻을 수 있는 시나리오가 많이 있습니다.

• DeepAR Forecasting알고리즘—순환 신경망 (RNN) 을 사용하여 스칼라 (1차원) 시계열을 예측하기 위한 지도 학습 알고리즘.

비지도 학습 학습 학습 학습 학습 학습 훈련

SageMaker Amazon은 클러스터링, 차원 축소, 패턴 인식 및 이상 탐지와 같은 다양한 비지도 학습 작업에 사용할 수 있는 여러 내장 알고리즘을 제공합니다.

• Principal Component Analysis(PCA) 알고리즘—데이터 포인트를 처음 몇 개의 주요 구성 요소에 투영하여 데이터세트 내의 차원 (특징 수) 을 줄입니다. 목표는 가능한 한 많은 정보 또는 변형을 유지하는 것입니다. 수학자의 경우 주성분은 데이터 공분산 행렬의 고유 벡터입니다.

• k-means 알고리즘—그룹의 멤버가 최대한 유사하고 다른 그룹의 멤버와 최대한 다릅니다. 데이터 내에서 그룹의 멤버가 최대한 유사하고 다른 그룹의 멤버와 최대한 다릅니다.

• IP Insights—IPv4 주소의 사용 패턴을 학습합니다. IPv4 주소와 여러 엔터티(예: 사용자 ID 또는 계정 번호) 간 연결을 캡처하도록 설계되어 있습니다.

• Random Cut Forest(RCF) 알고리즘—데이터 세트 내에서 잘 구조화되거나 패턴화된 데이터와 다른 비정상적인 데이터 포인트를 탐지합니다.

텍스트 분석 분석

SageMaker 자연어 처리, 문서 분류 또는 요약, 주제 모델링 또는 분류, 언어 전사 또는 번역에 사용되는 텍스트 문서의 분석에 적합한 알고리즘을 제공합니다.

• BlazingText 알고리듬—대규모 데이터 세트로 쉽게 확장할 수 있는 Word2vec 및 텍스트 분류 알고리즘의 고도로 최적화된 구현입니다. 이는 많은 다운스트림 자연어 처리 (NLP) 작업에 유용합니다.

• Sequence-to-Sequence 알고리즘—신경망 기계 번역에 일반적으로 사용되는 지도 알고리즘입니다.

• Latent Dirichlet Allocation(LDA) 알고리즘—일련의 문서에서 주제를 결정하는 데 적합한 알고리즘입니다. 비지도 알고리즘으로 훈련 중 답이 포함된 예제 데이터를 사용하지 않습니다.

• Neural Topic Model(NTM) 알고리즘—신경망 접근 방식을 사용하여 일련의 문서에서 주제를 결정하는 또 다른 비지도 기법입니다.

• 텍스트 분류 - TensorFlow—텍스트 분류를 위해 사전 학습된 모델을 사용하여 전이 학습을 지원하는 지도 알고리즘입니다.

이미지 프로세싱

SageMaker 또한 이미지 분류, 물체 감지 및 컴퓨터 비전에 사용되는 이미지 처리 알고리즘을 제공합니다.

• 이미지 분류 - MXNet—해답이 포함된 예제 데이터를 사용합니다 (지도 알고리즘이라고 함). 이 알고리즘을 사용하여 이미지를 분류합니다.

• 이미지 분류 - TensorFlow—사전 학습된 TensorFlow Hub 모델을 사용하여 특정 작업에 맞게 미세 조정합니다 (지도 알고리즘이라고 함). 이 알고리즘을 사용하여 이미지를 분류합니다.

• 의미 체계 분할 알고리즘—컴퓨터 비전 애플리케이션을 개발하기 위한 세밀한 픽셀 수준의 접근 방식을 제공합니다.

• 물체 감지 - MXNet—단일 심층 신경망을 사용하여 영상에서 물체를 감지하고 분류합니다. 이 알고리즘은 입력으로 이미지를 가져와 이미지 장면 내에서 객체의 모든 인스턴스를 식별하는 지도 학습 알고리즘입니다.

• 물체 감지 - TensorFlow—이미지에서 경계 상자와 객체 레이블을 감지합니다. 사전 학습된 TensorFlow 모델을 사용하여 전이 학습을 지원하는 지도 학습 알고리즘입니다.

주제

• 내장 알고리즘에 대한 일반 정보
• 기본 제공 SageMaker 테이블 형식 데이터 알고리즘
• 텍스트 데이터를 위한 내장 SageMaker 알고리즘
• 기본 제공 SageMaker 시계열 데이터용 알고리즘
• 감독되지 않는 기본 제공 SageMaker 알고리즘
• 컴퓨터 비전을 위한 내장 SageMaker 알고리즘