Factorization Machine 모델 튜닝

하이퍼파라미터 튜닝이라고도 하는 자동 모델 튜닝은 데이터세트에 대한 광범위한 하이퍼파라미터를 테스트하는 여러 작업을 실행하여 최적의 모델 버전을 찾습니다. 튜닝 가능한 하이퍼파라미터, 각 하이퍼파라미터에 대한 값 범위 및 목표 지표를 선택합니다. 알고리즘에서 계산하는 지표 중에서 목표 지표를 선택합니다. 자동 모델 튜닝은 선택한 하이퍼파라미터를 검색하여 목표 지표를 최적화하는 모델을 만드는 값 조합을 찾습니다.

모델 튜닝에 대한 추가 정보는 SageMaker AI를 사용한 자동 모델 튜닝 섹션을 참조하세요.

Factorization Machine 알고리즘으로 계산되는 지표

Factorization Machine 알고리즘에는 바이너리 분류 및 회귀 예측기 유형이 둘 다 있습니다. 예측기 유형은 자동 모델 튜닝에 사용할 수 있는 지표를 결정합니다. 알고리즘은 test:rmse 회귀 지표를 보고하며, 이러한 지표는 훈련 중 계산됩니다. 회귀 작업을 위한 모델을 튜닝하는 경우 이 지표를 목표 지표로 선택합니다.

지표 이름	설명	최적화 방향
test:rmse	평균 제곱근 오차	최소화

Factorization Machine 알고리즘은 3가지 바이너리 분류 지표를 보고하며, 이러한 지표는 훈련 중 계산됩니다. 바이너리 분류 작업을 위한 모델을 튜닝하는 경우 이러한 지표 중 하나를 목표 지표로 선택합니다.

지표 이름	설명	최적화 방향
test:binary_classification_accuracy	정확도	최대화
test:binary_classification_cross_entropy	교차 엔트로피	최소화
test:binary_f_beta	베타	최대화

튜닝 가능한 Factorization Machine 하이퍼파라미터

Factorization Machine 알고리즘에 대한 다음 하이퍼파라미터를 튜닝할 수 있습니다. 편향항, 선형 및 인수분해가 포함된 초기화 파라미터는 초기화 메서드에 따라 달라집니다. uniform, normal 및 constant, 이렇게 3가지 초기화 메서드가 있습니다. 이러한 초기화 메서드 자체는 튜닝이 불가능합니다. 튜닝 가능한 파라미터는 선택한 초기화 메서드에 따라 달라집니다. 예를 들어, 초기화 메서드가 uniform이면 scale 파라미터만 튜닝할 수 있습니다. 특히, 초기화 메서드가 bias_init_method==uniform인 경우에는 bias_init_scale, linear_init_scale 및 factors_init_scale을 튜닝할 수 있습니다. 마찬가지로, 초기화 메서드가 normal이면 sigma 파라미터만 튜닝할 수 있습니다. 초기화 메서드가 constant이면 value 파라미터만 튜닝할 수 있습니다. 다음 표에는 이러한 종속성이 나열되어 있습니다.

파라미터 이름	파라미터 유형	권장 범위	종속성
bias_init_scale	ContinuousParameterRange	MinValue: 1e-8, MaxValue: 512	bias_init_method==uniform
bias_init_sigma	ContinuousParameterRange	MinValue: 1e-8, MaxValue: 512	bias_init_method==normal
bias_init_value	ContinuousParameterRange	MinValue: 1e-8, MaxValue: 512	bias_init_method==constant
bias_lr	ContinuousParameterRange	MinValue: 1e-8, MaxValue: 512	없음
bias_wd	ContinuousParameterRange	MinValue: 1e-8, MaxValue: 512	없음
epoch	IntegerParameterRange	MinValue: 1, MaxValue: 1000	없음
factors_init_scale	ContinuousParameterRange	MinValue: 1e-8, MaxValue: 512	bias_init_method==uniform
factors_init_sigma	ContinuousParameterRange	MinValue: 1e-8, MaxValue: 512	bias_init_method==normal
factors_init_value	ContinuousParameterRange	MinValue: 1e-8, MaxValue: 512	bias_init_method==constant
factors_lr	ContinuousParameterRange	MinValue: 1e-8, MaxValue: 512	없음
factors_wd	ContinuousParameterRange	MinValue: 1e-8, MaxValue: 512]	없음
linear_init_scale	ContinuousParameterRange	MinValue: 1e-8, MaxValue: 512	bias_init_method==uniform
linear_init_sigma	ContinuousParameterRange	MinValue: 1e-8, MaxValue: 512	bias_init_method==normal
linear_init_value	ContinuousParameterRange	MinValue: 1e-8, MaxValue: 512	bias_init_method==constant
linear_lr	ContinuousParameterRange	MinValue: 1e-8, MaxValue: 512	없음
linear_wd	ContinuousParameterRange	MinValue: 1e-8, MaxValue: 512	없음
mini_batch_size	IntegerParameterRange	MinValue: 100, MaxValue: 10000	없음