NTM 모델 조정

하이퍼파라미터 튜닝이라고도 하는 자동 모델 튜닝은 데이터 세트에 대한 광범위한 하이퍼파라미터를 테스트하는 여러 작업을 실행하여 최적의 모델 버전을 찾습니다. 튜닝 가능한 하이퍼파라미터, 각 하이퍼파라미터에 대한 값 범위 및 목표 지표를 선택합니다. 알고리즘에서 계산하는 지표 중에서 목표 지표를 선택합니다. 자동 모델 튜닝은 선택한 하이퍼파라미터를 검색하여 목표 지표를 최적화하는 모델을 만드는 값 조합을 찾습니다.

Amazon SageMaker NTM은 문서의 corpus와 같은 대규모 개별 데이터 모음의 잠재적 표현을 학습하는 비감독형 학습 알고리즘입니다. 잠재 표상은 직접 측정되지 않고 추론된 변수를 사용하여 데이터 세트의 관측치를 모델링합니다. 의 자동 모델 튜닝NTM을 사용하면 훈련 또는 검증 데이터에 대한 손실을 최소화하는 모델을 찾을 수 있습니다. 훈련 손실은 모델이 훈련 데이터에 잘 맞는 정도를 측정합니다. 검증 손실은 훈련되지 않은 데이터에 대해 모델을 일반화할 수 있는 정도를 측정합니다. 훈련 손실이 낮으면 모델이 훈련 데이터에 잘 맞는 것입니다. 검증 손실이 낮으면 모델이 훈련 데이터에 과적합되지 않아 훈련하지 않은 문서를 성공적으로 모델링할 수 있어야 합니다. 일반적으로, 두 손실 모두 작은 것이 바람직합니다. 그러나 훈련 손실을 너무 최소화하면 과적합이 발생하여 검증 손실이 커져 모델의 일반성이 줄어들 수 있습니다.

모델 튜닝에 대한 자세한 정보는 를 사용한 자동 모델 튜닝 SageMaker 단원을 참조하세요.

NTM 알고리즘으로 계산된 지표

NTM 알고리즘은 훈련 중에 계산되는 단일 지표인 를 보고합니다validation:total_loss. 총 손실은 재구성 손실과 Kullback-Leibler 발산의 합입니다. 하이퍼파라미터 값을 튜닝할 때 목표 지표로 이 지표를 선택합니다.

지표 이름	설명	최적화 방향
validation:total_loss	검증 세트에 대한 총 손실	최소화

조정 가능한 NTM 하이퍼파라미터

NTM 알고리즘에 대해 다음 하이퍼파라미터를 조정할 수 있습니다. 일반적으로 mini_batch_size를 낮게 설정하고, learning_rate 값을 작게 설정하면 훈련 시간이 길어질 수 있긴 하지만 검증 손실이 작아집니다. 검증 손실이 낮다고 해서 반드시 인간이 해석하는 것처럼 더욱 일관된 주제가 생성되는 것은 아닙니다. 훈련 및 검증 손실에 대한 다른 하이퍼파라미터의 영향은 데이터 세트마다 다를 수 있습니다. 호환 가능한 값을 확인하려면 NTM 하이퍼파라미터 단원을 참조하세요.

파라미터 이름	파라미터 유형	권장 범위
encoder_layers_activation	CategoricalParameterRanges	['sigmoid', 'tanh', 'relu']
learning_rate	ContinuousParameterRange	MinValue: 1e-4, MaxValue: 0.1
mini_batch_size	IntegerParameterRanges	MinValue: 16, MaxValue:2048
optimizer	CategoricalParameterRanges	['sgd', 'adam', 'adadelta']
rescale_gradient	ContinuousParameterRange	MinValue: 0.1, MaxValue: 1.0
weight_decay	ContinuousParameterRange	MinValue: 0.0, MaxValue: 1.0