NTM 모델 튜닝 - 아마존 SageMaker

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

NTM 모델 튜닝

하이퍼파라미터 튜닝이라고도 하는 자동 모델 튜닝은 데이터 세트에 대한 광범위한 하이퍼파라미터를 테스트하는 여러 작업을 실행하여 최적의 모델 버전을 찾습니다. 튜닝 가능한 하이퍼파라미터, 각 하이퍼파라미터에 대한 값 범위 및 목표 지표를 선택합니다. 알고리즘에서 계산하는 지표 중에서 목표 지표를 선택합니다. 자동 모델 튜닝은 선택한 하이퍼파라미터를 검색하여 목표 지표를 최적화하는 모델을 만드는 값 조합을 찾습니다.

Amazon SageMaker NTM은 문서의 코퍼스와 같은 대량의 별도 데이터 컬렉션의 잠재 표상을 학습하는 비지도 학습 알고리즘입니다. 잠재 표상은 직접 측정되지 않고 추론된 변수를 사용하여 데이터 세트의 관측치를 모델링합니다. NTM에 대한 자동 모델 튜닝을 통해 훈련 또는 검증 데이터에 대한 손실을 최소화하는 모델을 찾을 수 있습니다. 훈련 손실은 모델이 훈련 데이터에 잘 맞는 정도를 측정합니다. 검증 손실은 훈련되지 않은 데이터에 대해 모델을 일반화할 수 있는 정도를 측정합니다. 훈련 손실이 낮으면 모델이 훈련 데이터에 잘 맞는 것입니다. 검증 손실이 낮으면 모델이 훈련 데이터에 과적합되지 않아 훈련하지 않은 문서를 성공적으로 모델링할 수 있어야 합니다. 일반적으로, 두 손실 모두 작은 것이 바람직합니다. 그러나 훈련 손실을 너무 최소화하면 과적합이 발생하여 검증 손실이 커져 모델의 일반성이 줄어들 수 있습니다.

모델 튜닝에 대한 자세한 정보는 다음을 사용하여 자동 모델 튜닝을 수행합니다. SageMaker 단원을 참조하십시오.

NTM 알고리즘으로 계산되는 지표

NTM 알고리즘은 훈련 중 계산되는 단일 지표 validation:total_loss를 보고합니다. 총 손실은 재구성 손실과 Kullback-Leibler 발산의 합입니다. 하이퍼파라미터 값을 튜닝할 때 목표 지표로 이 지표를 선택합니다.

지표 이름 설명 최적화 방향
validation:total_loss

검증 세트에 대한 총 손실

최소화

튜닝 가능한 NTM 하이퍼파라미터

NTM 알고리즘에 대한 다음 하이퍼파라미터를 튜닝할 수 있습니다. 일반적으로 mini_batch_size를 낮게 설정하고, learning_rate 값을 작게 설정하면 훈련 시간이 길어질 수 있긴 하지만 검증 손실이 작아집니다. 검증 손실이 낮다고 해서 반드시 인간이 해석하는 것처럼 더욱 일관된 주제가 생성되는 것은 아닙니다. 훈련 및 검증 손실에 대한 다른 하이퍼파라미터의 영향은 데이터 세트마다 다를 수 있습니다. 호환 가능한 값을 확인하려면 NTM 하이퍼파라미터 단원을 참조하십시오.

파라미터 이름 파라미터 유형 권장 범위
encoder_layers_activation

CategoricalParameterRanges

['sigmoid', 'tanh', 'relu']

learning_rate

ContinuousParameterRange

MinValue: 1e-4, MaxValue: 0.1

mini_batch_size

IntegerParameterRanges

MinValue: 16, MaxValue:2048

optimizer

CategoricalParameterRanges

['sgd', 'adam', 'adadelta']

rescale_gradient

ContinuousParameterRange

MinValue: 0.1, MaxValue: 1.0

weight_decay

ContinuousParameterRange

MinValue: 0.0, MaxValue: 1.0