Amazon SageMaker 내장 알고리즘 또는 사전 학습된 모델 사용 - 아마존 SageMaker

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon SageMaker 내장 알고리즘 또는 사전 학습된 모델 사용

SageMaker Amazon은 데이터 과학자와 기계 학습 전문가가 기계 학습 모델을 빠르게 교육 및 배포할 수 있도록 기본 제공 알고리즘, 사전 학습된 모델, 사전 구축된 솔루션 템플릿 제품군을 제공합니다. 처음 접하는 사람에게는 특정 사용 사례에 적합한 알고리즘을 선택하는 것이 어려울 수 있습니다. SageMaker 다음 표는 예제 문제 또는 사용 사례로 시작하여 해당 문제 유형에 적합한 내장 알고리즘을 찾는 방법을 보여주는 간단한 치트 시트를 제공합니다. SageMaker 학습 패러다임(지도 및 비지도)과 중요한 데이터 도메인(텍스트 및 이미지)별로 구성된 추가 지침은 테이블 아래 섹션에 나와 있습니다.

테이블: 사용 사례를 기본 제공 알고리즘에 매핑
예제 문제 및 사용 사례 학습 패러다임 또는 도메인 문제 유형 데이터 입력 형식 기본 제공 알고리즘

다음은 에서 제공하는 사전 학습된 모델 및 사전 구축된 솔루션 템플릿으로 해결할 수 있는 15가지 문제 유형 중 몇 가지 예입니다. SageMaker JumpStart

질문 응답: 주어진 질문에 대한 답변을 출력하는 챗봇입니다.

텍스트 분석: 금융과 같은 특정 산업 영역에 대한 모델의 텍스트를 분석합니다.

사전 훈련된 모델 및 사전 구축된 솔루션 템플릿

이미지 분류

테이블 형식 분류

테이블 형식 회귀

텍스트 분류

객체 감지

텍스트 임베딩

질문 응답

문장 쌍 분류

이미지 임베딩

개체명 인식

인스턴스 세분화

텍스트 생성

텍스트 요약

의미 체계 분할

기계 번역

이미지, 텍스트, 테이블 형식

모빌넷, 욜로, 패스터 R-CNN, BERT, 라이트GBM 등 인기 모델 CatBoost

사용 가능한 사전 학습된 모델 목록은 모델을 참조하십시오. JumpStart

사용 가능한 사전 빌드된 솔루션 템플릿 목록은 솔루션을 참조하십시오JumpStart .

항목이 범주에 속하는지 예측: 이메일 스팸 필터

지도 학습

바이너리/멀티클래스 분류

테이블 형식

AutoGluon-표 형식, CatBoost, Factorization Machine 알고리즘, K-Nearest Neighbors(k-NN) 알고리즘, LightGBM, 선형 학습자 알고리즘, TabTransformer, 아마존에서 XGBoost 알고리즘 사용 SageMaker

숫자/연속 값 예측: 주택 가치 추정

회귀

테이블 형식

AutoGluon-표 형식, CatBoost, Factorization Machine 알고리즘, K-Nearest Neighbors(k-NN) 알고리즘, LightGBM, 선형 학습자 알고리즘, TabTransformer, 아마존에서 XGBoost 알고리즘 사용 SageMaker

행동에 대한 과거 데이터를 기반으로 미래 행동 예측: 이전 판매 데이터를 기반으로 신제품의 판매 예측

시계열 예측

테이블 형식

DeepAR Forecasting 알고리즘

고차원 객체의 데이터 임베딩 개선: 중복된 지원 티켓을 식별하거나 티켓에 있는 텍스트의 유사성을 기반으로 올바른 경로 찾기

임베딩: 고차원 객체를 저차원 공간으로 변환 테이블 형식 Object2Vec 알고리즘

데이터 세트에서 레이블/대상 변수와의 관련성이 약한 열 삭제: 마일리지를 예측할 때 차의 색상

비지도 학습

특성 추출: 차원 축소

테이블 형식

Principal Component Analysis(PCA) 알고리즘

애플리케이션 내 비정상 동작 감지: IoT 센서가 비정상 판독값을 전송하는 경우 파악

이상 탐지

테이블 형식

Random Cut Forest(RCF) 알고리즘

의심스러운 사용자로부터 애플리케이션 보호: 서비스에 액세스하는 IP 주소가 악의적인 공격자인지 탐지

IP 이상 탐지

테이블 형식

IP Insights

유사한 객체/데이터 그룹화: 거래 내역에서 지출이 많은 고객, 보통인 고객, 적은 고객 찾기

클러스터링 또는 그룹화

테이블 형식

k-means 알고리즘

문서 세트를 주제별로 정리(사전에 알려지지 않음): 문서에 사용된 용어에 따라 의료 범주에 속하는 것으로 문서에 태그 지정

주제 모델링

텍스트

Latent Dirichlet Allocation(LDA) 알고리즘, Neural Topic Model(NTM) 알고리즘

코퍼스의 문서에 사전 정의된 범주 할당: 도서관의 책을 학문 분야별로 분류

텍스트 분석

텍스트 분류

텍스트

BlazingText 알고리듬, 텍스트 분류 - TensorFlow

텍스트를 한 언어에서 다른 언어로 변환: 스페인어에서 영어로

기계 번역

알고리즘
텍스트

Sequence-to-Sequence 알고리즘

긴 텍스트 코퍼스 요약: 연구 논문 초록

텍스트 요약

텍스트

Sequence-to-Sequence 알고리즘

오디오 파일을 텍스트로 변환: 추가 분석을 위해 콜센터 대화를 텍스트로 변환

음성을 텍스트로 변환

텍스트

Sequence-to-Sequence 알고리즘

이미지 콘텐츠를 기반으로 이미지에 레이블 또는 태그 지정: 이미지 내 성인용 콘텐츠에 대한 알림

이미지 처리

이미지 및 다중 레이블 분류

이미지

이미지 분류 - MXNet

전이 학습을 사용하여 이미지의 물체 분류

이미지 분류 이미지

이미지 분류 - TensorFlow

이미지 속 사람과 사물 탐지: 경찰이 실종자 수색을 위해 대규모 사진 갤러리 검토

객체 감지 및 분류

이미지

객체 감지 - MXNet, 물체 감지 - TensorFlow

이미지의 모든 픽셀에 범주를 지정하여 개별적으로 태그 지정: 객체를 식별할 준비를 하는 자율 주행 차량

컴퓨터 비전

이미지

의미 체계 분할 알고리즘

Docker 레지스트리 경로, 데이터 형식, 권장 Amazon EC2 인스턴스 유형, CloudWatch 에서 제공하는 SageMaker 모든 내장 알고리즘에 공통적인 로그에 대한 중요한 정보는 을 참조하십시오. 기본 제공 알고리즘에 대한 일반 정보

다음 섹션에서는 Amazon SageMaker 내장 알고리즘에 대한 추가 지침을 제공합니다. 알고리즘은 이들이 속한 지도 학습 패러다임과 비지도 학습 패러다임별로 그룹화되어 있습니다. 이러한 학습 패러다임 및 관련 문제 유형에 대한 설명은 알고리즘 선택 섹션을 참조하세요. 두 가지 중요한 기계 학습 영역인 텍스트 분석과 SageMaker 이미지 처리를 처리하는 데 사용할 수 있는 내장 알고리즘에 대한 섹션도 제공됩니다.

사전 훈련된 모델 및 솔루션 템플릿

SageMaker JumpStart 다양한 사전 학습된 모델, 사전 구축된 솔루션 템플릿, SageMaker SDK와 Studio Classic을 사용하는 인기 있는 문제 유형에 대한 예제를 제공합니다. 에서 제공하는 이러한 모델, 솔루션 및 예제 노트북에 대한 자세한 내용은 을 참조하십시오. SageMaker JumpStart SageMaker JumpStart

지도 학습

SageMaker Amazon은 분류 또는 회귀 문제에 사용할 수 있는 몇 가지 내장된 범용 알고리즘을 제공합니다.

  • AutoGluon-표 형식 - 모델을 앙상블하고 여러 레이어로 쌓아 승계하는 오픈 소스 AutoML 프레임워크.

  • CatBoost - 그라디언트 부스트 트리 알고리즘의 구현으로, 순서가 있는 부스팅과 범주형 특성 처리를 위한 혁신적인 알고리즘의 구현.

  • Factorization Machine 알고리즘 - 고차원 저밀도 데이터 세트 내 특성 간 상호 작용을 경제적으로 캡처하도록 설계된 선형 모델의 확장.

  • K-Nearest Neighbors(k-NN) 알고리즘 - 레이블이 지정된 가장 가까운 k개의 포인트를 사용하여 분류할 새 데이터 포인트에 레이블을 할당하거나 회귀를 위해 가장 가까운 k개의 포인트 평균을 바탕으로 예측된 대상 값을 지정하는 비모수적 방법.

  • LightGBM - 효율성과 확장성을 개선하기 위한 두 가지 새로운 기법인 그라디언트 기반 단측 샘플링(GOSS)과 배타적 특성 번들링(EFB)이 추가된 그라디언트 부스트 트리 알고리즘의 구현.

  • 선형 학습자 알고리즘 - 회귀를 위한 선형 함수 또는 분류를 위한 선형 임계값 함수를 학습합니다.

  • TabTransformer—Transformer를 기반으로 구축된 새로운 딥 테이블 형식 데이터 모델링 아키텍처. self-attention-based

  • 아마존에서 XGBoost 알고리즘 사용 SageMaker - 더 간단하고 약한 모델 세트의 예상치 앙상블을 결합하는 그라디언트 부스트 트리 알고리즘의 구현.

SageMaker 또한 Amazon은 기능 엔지니어링 및 시계열 데이터로부터 예측을 수행하는 동안 보다 전문화된 작업에 사용되는 몇 가지 내장된 지도 학습 알고리즘을 제공합니다.

  • Object2Vec 알고리즘 - 특성 추출에 사용되는 고도로 사용자 지정이 가능한 새로운 다목적 알고리즘. 고차원 객체의 저차원 밀도 임베딩을 학습하여 다운스트림 모델의 훈련 효율성을 향상시키는 특성을 생성할 수 있습니다. 이 알고리즘은 훈련에 레이블이 지정된 데이터가 필요하기 때문에 지도 알고리즘이지만, 사람의 명시적인 주석 없이 데이터의 자연스러운 클러스터링을 통해서만 관계 레이블을 얻을 수 있는 시나리오가 많이 있습니다.

  • DeepAR Forecasting 알고리즘 - 반복 신경망(RNN)을 사용하여 스칼라(1차원) 시계열을 예상하는 지도 학습 알고리즘.

비지도 학습

SageMaker Amazon은 클러스터링, 차원 축소, 패턴 인식 및 이상 탐지와 같은 다양한 비지도 학습 작업에 사용할 수 있는 여러 내장 알고리즘을 제공합니다.

  • Principal Component Analysis(PCA) 알고리즘 - 처음 몇 개의 주요 구성 요소에 데이터 포인트를 프로젝션하여 데이터 세트 내의 차원(특성 수)을 줄입니다. 목표는 가능한 한 많은 정보나 변형을 유지하는 것입니다. 수학자의 경우 주요 구성 요소은 데이터 공분산 행렬의 고유벡터입니다.

  • k-means 알고리즘 - 데이터 내 별도의 그룹화를 찾습니다. 이 경우 그룹의 멤버는 가급적 다른 멤버와 유사하고 다른 그룹의 멤버와는 가급적 다릅니다.

  • IP Insights - IPv4 주소의 사용 패턴을 학습합니다. IPv4 주소와 여러 엔터티(예: 사용자 ID 또는 계정 번호) 간 연결을 캡처하도록 설계되어 있습니다.

  • Random Cut Forest(RCF) 알고리즘 - 데이터 세트 내에서 제대로 구조화되거나 패턴이 있는 데이터와 다른 비정상적인 데이터 포인트를 탐지합니다.

텍스트 분석

SageMaker 자연어 처리, 문서 분류 또는 요약, 주제 모델링 또는 분류, 언어 전사 또는 번역에 사용되는 텍스트 문서의 분석에 맞게 조정된 알고리즘을 제공합니다.

  • BlazingText 알고리듬 - 대규모 데이터 세트로 쉽게 확장할 수 있는 Word2vec 및 텍스트 분류 알고리즘의 고도로 최적화된 구현. 많은 다운스트림 자연어 처리 (NLP) 태스크에 유용합니다.

  • Sequence-to-Sequence 알고리즘 - 신경망 기계 번역에 일반적으로 사용되는 감독형 알고리즘.

  • Latent Dirichlet Allocation(LDA) 알고리즘 - 여러 문서에서 주제를 결정하는 데 적합한 알고리즘. 비지도 알고리즘으로 훈련 중 답이 포함된 예제 데이터를 사용하지 않습니다.

  • Neural Topic Model(NTM) 알고리즘 - 신경망 접근 방식을 사용하여 여러 문서에서 주제를 결정하는 또 다른 비지도 기법.

  • 텍스트 분류 - TensorFlow - 텍스트 분류에 사용할 수 있는 사전 훈련된 모델을 사용하여 전이 학습을 지원하는 지도 알고리즘.

이미지 처리

SageMaker 또한 이미지 분류, 객체 감지 및 컴퓨터 비전에 사용되는 이미지 처리 알고리즘도 제공합니다.

  • 이미지 분류 - MXNet - 답이 포함된 예제 데이터를 사용합니다(지도 알고리즘이라고 함). 이 알고리즘을 사용하여 이미지를 분류할 수 있습니다.

  • 이미지 분류 - TensorFlow—사전 훈련된 TensorFlow Hub 모델을 사용하여 특정 작업에 맞게 미세 조정합니다 (감독형 알고리즘이라고 함). 이 알고리즘을 사용하여 이미지를 분류할 수 있습니다.

  • 의미 체계 분할 알고리즘 - 컴퓨터 비전 응용 분야를 개발하는 데 세분화된 픽셀 수준 접근 방식을 제공합니다.

  • 객체 감지 - MXNet - 단일 심층 신경망을 사용하여 이미지의 물체를 감지하고 분류합니다. 이 알고리즘은 입력으로 이미지를 가져와 이미지 장면 내에서 객체의 모든 인스턴스를 식별하는 지도 학습 알고리즘입니다.

  • 물체 감지 - TensorFlow - 이미지에서 경계 상자와 객체 레이블을 감지합니다. 사용 가능한 사전 훈련된 모델을 사용하여 전이 학습을 지원하는 지도 학습 알고리즘입니다. TensorFlow