알고리즘 선택

기계 학습은 일종의 귀납적 추론이 필요한 경험적 작업을 수행하는 데 도움이 될 수 있습니다. 이 작업에는 데이터를 사용하여 알고리즘을 훈련시켜 일반화시킬 수 있는 추론을 수행하는 귀납법이 포함됩니다. 즉, 알고리즘은 훈련에 사용되지 않은 새 데이터에 적용할 경우 통계적으로 신뢰할 수 있는 예측 또는 결정을 내리거나 다른 태스크를 완료할 수 있습니다.

태스크에 가장 적합한 알고리즘을 선택할 수 있도록 다양한 추상화 수준에 따라 이러한 작업을 분류합니다. 가장 높은 추상화 수준에서 기계 학습은 특징 또는 데이터 세트의 텍스트와 같이 덜 구조화된 항목 간의 패턴이나 관계를 찾으려고 시도합니다. 패턴 인식 기법은 고유한 기계 학습 패러다임으로 분류할 수 있으며, 각 패러다임은 특정 문제 유형을 다룹니다. 현재 다양한 문제 유형을 해결하는 데 사용되는 기계 학습에는 세 가지 기본 패러다임이 있습니다.

• 지도 학습

• 비지도 학습

• 강화 학습

보유하고 있거나 수집할 수 있는 데이터 유형으로부터 도출하고자 하는 추론 (또는 예측, 결정 또는 기타 태스크)을 고려하여 각 학습 패러다임이 해결할 수 있는 문제 유형을 식별합니다. 기계 학습 패러다임은 알고리즘 방법을 사용하여 다양한 문제 유형을 해결합니다. 알고리즘은 이러한 문제를 해결하기 위한 방법을 제공합니다.

그러나 신경망과 같은 많은 알고리즘을 다양한 학습 패러다임과 다양한 유형의 문제에 적용할 수 있습니다. 여러 알고리즘을 사용하여 특정 문제 유형을 해결할 수도 있습니다. 일부 알고리즘은 더 일반적으로 적용할 수 있고 다른 알고리즘은 특정 종류의 목표와 데이터에 매우 구체적입니다. 따라서 기계 학습 알고리즘과 문제 유형 간의 매핑은 다대다로 이루어집니다. 또한 알고리즘에 사용할 수 있는 다양한 구현 옵션이 있습니다.

다음 섹션에서는 다양한 문제 유형에 적합한 구현 옵션, 기계 학습 패러다임 및 알고리즘에 관한 지침을 제공합니다.

주제

• 알고리즘 구현 선택
• 기본 기계 학습 패러다임의 문제 유형
• Amazon SageMaker 내장 알고리즘 또는 사전 학습된 모델 사용
• Amazon SageMaker를 통한 강화형 기계 학습 사용

알고리즘 구현 선택

알고리즘을 선택한 후에는 어떤 구현을 사용할지 결정해야 합니다. Amazon SageMaker는 점점 더 많은 노력이 필요한 세 가지 구현 옵션을 지원합니다.

• 사전 훈련된 모델은 최소한의 노력이 필요하며 배포 준비 완료 상태이거나 SageMaker JumpStart를 사용하여 미세 조정 및 배포할 수 있는 모델입니다.

• 데이터 세트가 크고 모델을 학습하고 배포하는 데 상당한 리소스가 필요한 경우 기본 제공 알고리즘은 더 많은 노력과 확장이 필요합니다.

• 제대로 작동하는 내장 솔루션이 없는 경우 Scikit-Learn, TensorFlow, PyTorch, MXNet 또는 Chainer와 같은 지원되는 프레임워크를 위해 기계 및 딥 러닝 프레임워크용으로 미리 만들어진 이미지를 사용하는 솔루션을 개발해 보세요.

• 사용자 지정 패키지를 실행하거나 지원되는 프레임워크의 일부가 아니거나 PyPi를 통해 제공되는 코드를 사용해야 하는 경우 필요한 패키지 또는 소프트웨어를 설치하도록 구성된 사용자 지정 Docker 이미지를 직접 빌드해야 합니다. 또한 사용자 지정 이미지는 Amazon Elastic Container Registry와 같은 온라인 리포지토리로 푸시해야 합니다.

알고리즘 구현 지침
구현	코드 요구	사전 코딩된 알고리즘	타사 패키지 지원	사용자 지정 코드 지원	노력 수준
기본 제공	아니요	예	아니요	아니요	낮음
Scikit-learn	예	예	PyPi 전용	예	중간
Spark ML	예	예	PyPi 전용	예	중간
XGBoost (오픈 소스)	예	예	PyPi 전용	예	중간
TensorFlow	예	아니요	PyPi 전용	예	중간-높음
PyTorch	예	아니요	PyPi 전용	예	중간-높음
MXNet	예	아니요	PyPi 전용	예	중간-높음
Chainer	예	아니요	PyPi 전용	예	중간-높음
사용자 지정 이미지	예	아니요	예, 모든 소스에서	예	높음

기본 제공 알고리즘 사용

문제 유형과 데이터에 맞는 알고리즘을 선택할 때 가장 쉬운 옵션은 Amazon SageMaker의 기본 제공 알고리즘 중 하나를 사용하는 것입니다. 이러한 기본 제공 알고리즘에는 두 가지 주요 이점이 있습니다.

• 기본 제공 알고리즘은 코딩하지 않아도 실험을 실행할 수 있습니다. 입력으로 데이터, 하이퍼파라미터, 컴퓨팅 리소스만 제공하면 됩니다. 이를 통해 결과 및 코드 변경을 추적하는 데 드는 오버헤드를 줄이면서 실험을 더 빠르게 실행할 수 있습니다.

• 기본 제공 알고리즘은 여러 컴퓨팅 인스턴스에서 병렬화를 지원하며 적용 가능한 모든 알고리즘에 대해 GPU를 즉시 지원합니다(일부 알고리즘은 고유한 제한으로 인해 포함되지 않을 수 있음). 모델 훈련에 사용할 데이터가 많은 경우 대부분의 기본 제공 알고리즘은 수요에 맞게 쉽게 규모를 조정할 수 있습니다. 사전 훈련된 모델이 있더라도, 지원되는 프레임워크의 스크립트 모드를 사용하여 모델을 포팅하는 것보다 SageMaker에서 결과를 사용하고 이미 알고 있는 하이퍼 파라미터를 입력하는 것이 더 쉬울 수 있습니다.

SageMaker에서 제공하는 기본 제공 알고리즘에 대한 자세한 내용은 Amazon SageMaker 내장 알고리즘 또는 사전 학습된 모델 사용을 참조하세요.

Docker 레지스트리 경로, 데이터 형식, 권장 EC2 인스턴스 유형 및 SageMaker에서 제공하는 모든 기본 제공 알고리즘에 공통적인 CloudWatch 로그에 대한 중요한 정보는 기본 제공 알고리즘에 대한 일반 정보을 참조하세요.

지원되는 프레임워크에서 스크립트 모드를 사용하세요.

모델에 사용하려는 알고리즘이 기본 제공 선택으로 지원되지 않고 자체 솔루션을 코딩하는 데 익숙하다면 Amazon SageMaker 지원 프레임워크 사용을 고려해야 합니다. .py 확장자가 있는 텍스트 파일에 사용자 지정 코드(스크립트)를 작성하기 때문에 이를 ‘스크립트 모드’라고 합니다. 위의 테이플에서 알 수 있듯이 SageMaker는 널리 사용되는 대부분의 기계 학습 프레임워크를 지원합니다. 이러한 프레임워크에는 해당 프레임워크와 Pandas, NumPy와 같은 일부 추가 Python 패키지가 미리 로드되어 있으므로 알고리즘 교육을 위한 코드를 직접 작성할 수 있습니다. 또한 이러한 프레임워크를 사용하면 교육 코드와 함께 requirements.txt 파일을 포함하거나 자체 코드 디렉토리를 포함하여 PyPi에서 호스팅되는 모든 Python 패키지를 설치할 수 있습니다. R은 SageMaker 노트북 커널에서도 기본적으로 지원됩니다. scikit-learn 및 Spark ML과 같은 일부 프레임워크에는 쉽게 사용할 수 있는 사전 코딩된 알고리즘이 있는 반면, TensorFlow 및 PyTorch와 같은 다른 프레임워크에서는 알고리즘을 직접 구현해야 할 수도 있습니다. 지원되는 프레임워크 이미지를 사용할 때의 유일한 제한은 PyPi에서 호스팅되지 않거나 프레임워크 이미지에 아직 포함되지 않은 소프트웨어 패키지를 가져올 수 없다는 것입니다.

SageMaker에서 지원하는 프레임워크에 대한 자세한 내용은 기계 학습 프레임워크 및 언어을 참조하세요.

사용자 지정 Docker 이미지 사용

Amazon SageMaker의 기본 제공 알고리즘과 지원되는 프레임워크는 대부분의 사용 사례를 포함해야 하지만, 지원되는 프레임워크에 포함되지 않은 패키지의 알고리즘을 사용해야 하는 경우도 있습니다. 또한 배포해야 하는 곳에 사전 훈련된 모델을 선택하거나 유지한 모델이 있을 수 있습니다. SageMaker는 Docker 이미지를 사용하여 모든 모델의 교육 및 서비스를 호스팅하므로, 필요한 패키지 또는 소프트웨어가 지원되는 프레임워크에 포함되어 있지 않은 경우 사용자 지정 Docker 이미지를 제공할 수 있습니다. 이것은 사용자 고유의 Python 패키지일 수도 있고 Stan 또는 Julia와 같은 언어로 코딩된 알고리즘일 수도 있습니다. 또한 이러한 이미지의 경우 Dockerfile에서 알고리즘 훈련 및 모델 제공을 적절히 구성해야 합니다. 이를 위해서는 Docker에 대한 중급 지식이 필요하므로, 사용자가 스스로 기계 학습 알고리즘을 작성하는 데 익숙하지 않은 한 사용하지 않는 것이 좋습니다. 모델을 제대로 교육시키고 제공할 수 있으려면 먼저 Docker 이미지를 Amazon Elastic Container Registry(ECR)와 같은 온라인 리포지토리에 업로드해야 합니다.

SageMaker의 사용자 지정 Docker 이미지에 대한 자세한 내용은 Docker 컨테이너를 사용하여 모델 구축을 참조하세요.

기본 기계 학습 패러다임의 문제 유형

다음 세 섹션에서는 기계 학습의 세 가지 기본 패러다임에서 다루는 주요 문제 유형을 설명합니다. SageMaker가 이러한 문제 유형을 해결하기 위해 제공하는 기본 제공 알고리즘 목록은 Amazon SageMaker 내장 알고리즘 또는 사전 학습된 모델 사용을 참조하세요.

주제

• 지도 학습
• 비지도 학습
• 강화 학습

지도 학습

데이터 세트가 대상 값(출력)을 포함하는 특징 또는 속성(입력)으로 구성된 경우 지도 학습 문제가 있는 것입니다. 대상 값이 범주형(수학적으로 불연속형)이면 분류에 문제가 있는 것입니다. 바이너리를 멀티클래스 분류와 구별하는 것이 표준 방법입니다.

• 바이너리 분류는 개인의 속성에 따라 미리 정의되고 상호 배타적인 두 클래스 중 하나에 개인을 할당하는 지도 학습의 한 유형입니다. 올바르게 레이블이 지정된 객체가 있는 속성을 제공하는 예제를 사용하여 모델이 훈련되므로 지도가 가능합니다. 진단 테스트의 결과에 기반하여 개인이 질병을 갖고 있는지 여부에 대한 의학적 진단은 이진 분류의 예입니다.

• 멀티클래스 분류는 개인의 속성에 따라 여러 클래스 중 하나에 개인을 할당하는 지도 학습의 한 유형입니다. 올바르게 레이블이 지정된 객체가 있는 속성을 제공하는 예제를 사용하여 모델이 훈련되므로 지도가 가능합니다. 예를 들어 텍스트 문서와 가장 관련성이 높은 주제를 예측합니다. 문서는 종교, 정치, 금융 또는 기타 다양한 미리 정의된 주제 클래스 중 하나에 대한 것으로 분류될 수 있습니다.

예측하려는 대상 값이 수학적으로 연속적이면 회귀 문제가 있는 것입니다. 회귀는 상관 관계가 있는 하나 이상의 다른 변수 또는 속성을 기반으로 종속 대상 변수의 값을 추정합니다. 예를 들어 욕실 및 침실 수, 주택 및 정원의 평방 피트와 같은 특징을 사용하여 주택 가격을 예측합니다. 회귀 분석을 통해 이들 특징 중 하나 이상을 입력으로 사용하는 모델을 만들고 주택 가격을 예측할 수 있습니다.

SageMaker에서 제공하는 기본 제공 지도 학습 알고리즘에 대한 자세한 내용은 지도 학습을 참조하세요.

비지도 학습

데이터 세트가 레이블 또는 대상 값(출력)을 포함하지 않는 특징 또는 속성(입력)으로 구성된 경우 비지도 학습 문제가 있는 것입니다. 이 유형의 문제에서는 입력 데이터에서 발견된 패턴을 기반으로 출력을 예측해야 합니다. 비지도 학습 문제의 목표는 데이터 내에서 그룹화와 같은 패턴을 발견하는 것입니다. 비지도 학습을 적용할 수 있는 태스크나 문제 유형은 매우 다양합니다. 주요 구성 요소 분석과 클러스터 분석은 데이터 사전 처리에 일반적으로 사용되는 두 가지 주요 방법입니다. 다음은 비지도 학습으로 해결할 수 있는 문제 유형의 간단한 목록입니다.

• 차원 축소는 일반적으로 모델 구성에 사용할 관련성이 가장 높은 특징을 결정하는 데 사용되는 데이터 탐색 단계의 일부입니다. 그러니까 인구 밀도가 낮은 고차원 공간의 데이터를 원본 데이터의 가장 중요한 속성을 유지하는 저차원 공간으로 변환하는 것입니다. 이렇게 하면 통계 분석에 문제가 되는 인구 밀도가 낮은 고차원 데이터에서 발생할 수 있는 차원상 폐해를 완화할 수 있습니다. 또한 고차원 데이터를 시각화할 수 있는 저차원으로 축소하여 데이터를 더 잘 이해할 수 있도록 사용할 수 있습니다.

• 클러스터 분석은 객체 또는 사례를 클러스터라는 그룹으로 분류하는 데 사용되는 일종의 기법입니다. 데이터 내 별도의 그룹화를 찾으려 합니다. 이 경우 그룹의 멤버는 가급적 다른 멤버와 유사하고 다른 그룹의 멤버와는 가급적 다릅니다. 알고리즘이 유사성을 결정하는 데 사용할 특징이나 속성을 정의하고, 유사성을 측정할 거리 함수를 선택하고, 분석에 사용할 클러스터 수를 지정합니다.

• 이상 탐지는 데이터 세트에서 나머지 데이터와 크게 다르기 때문에 의심을 불러일으키는 희귀 항목, 이벤트 또는 관측치를 식별하는 것입니다. 예를 들어, 은행 사기 또는 의료 오류를 탐지하는 데 변칙 항목을 식별하는 데 사용할 수 있습니다. 이상은 특이값, 신규성, 노이즈, 편차, 예외라고도 합니다.

• 밀도 추정은 관측된 데이터를 기반으로 관측할 수 없는 기본 확률 밀도 함수의 추정치를 구성하는 것입니다. 밀도 추정치는 데이터 탐색에 자연스럽게 사용됩니다. 밀도 추정치를 통해 데이터에서 왜도 및 다중 모달과 같은 특징을 발견할 수 있습니다. 밀도 추정의 가장 기본적인 형태는 크기가 조정된 히스토그램입니다.

SageMaker는 이러한 비지도 학습 태스크에 사용할 수 있는 몇 가지 내장 기계 학습 알고리즘을 제공합니다. SageMaker에서 제공하는 기본 제공 비지도 알고리즘에 대한 자세한 내용은 비지도 학습을 참조하세요.

강화 학습

강화형 기계 학습은 환경과의 상호 작용을 기반으로 하는 학습 유형입니다. 이러한 유형의 학습은 행동의 결과로 받는 장기적 보상을 극대화하는 것을 목표로 동적 환경과의 시행착오 상호 작용을 통해 행동을 학습해야 하는 에이전트가 사용합니다. 불확실한 보상이 있는 행동의 탐색을 알려진 보상이 있는 행동의 악용과 절충함으로써 보상을 극대화합니다.

강화 학습을 위한 SageMaker의 프레임워크, 툴킷 및 환경에 대한 자세한 내용은 Amazon SageMaker를 통한 강화형 기계 학습 사용을 참조하세요.