BlazingText 모델 튜닝 - 아마존 SageMaker

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

BlazingText 모델 튜닝

하이퍼파라미터 튜닝이라고도 하는 자동 모델 튜닝은 데이터 세트에 대한 광범위한 하이퍼파라미터를 테스트하는 여러 작업을 실행하여 최적의 모델 버전을 찾습니다. 튜닝 가능한 하이퍼파라미터, 각 하이퍼파라미터에 대한 값 범위 및 목표 지표를 선택합니다. 알고리즘에서 계산하는 지표 중에서 목표 지표를 선택합니다. 자동 모델 튜닝은 선택한 하이퍼파라미터를 검색하여 목표 지표를 최적화하는 모델을 만드는 값 조합을 찾습니다.

모델 튜닝에 대한 자세한 정보는 를 사용한 자동 모델 튜닝 수행 SageMaker 단원을 참조하십시오.

BlazingText 알고리즘에서 계산하는 지표

BlazingText 워드2Vec 알고리즘 (skipgram,cbow, 및batch_skipgrammode) 는 훈련 중 단일 지표 에 대해 보고합니다. train:mean_rho. 이 지표는 다음과 같이 계산됩니다.WS-353 단어 유사성 데이터 세트. Word2Vec 알고리즘에 대한 하이퍼파라미터 값을 튜닝할 때 이 지표를 목표값으로 사용합니다.

BlazingText 텍스트 분류 알고리즘(supervised 모드) 역시 훈련 중 단일 지표(validation:accuracy)에 대해 보고합니다. 텍스트 분류 알고리즘에 대한 하이퍼파라미터 값을 튜닝할 때 이러한 지표를 목표값으로 사용합니다.

지표 이름 설명 최적화 방향
train:mean_rho

WS-353 단어 유사성 데이터 세트에 대한 중앙값 rho(Spearman 순위 상관 계수)

최대화

validation:accuracy

사용자 지정 검증 데이터 세트에 대한 분류 정확성

최대화

튜닝 가능한 BlazingText 하이퍼파라미터

Word2Vec 알고리즘의 튜닝 가능한 하이퍼파라미터

다음 하이퍼파라미터를 사용하여 Amazon SageMaker BlazingText Word2Vec 모델을 튜닝합니다. Word2Vec 목표 지표에 가장 큰 영향을 미치는 하이퍼파라미터는 mode, learning_rate, window_size, vector_dimnegative_samples입니다.

파라미터 이름 파라미터 유형 권장 범위 또는 값
batch_size

IntegerParameterRange

[8-32]

epochs

IntegerParameterRange

[5-15]

learning_rate

ContinuousParameterRange

MinValue: 0.005, MaxValue: 0.01

min_count

IntegerParameterRange

[0-100]

mode

CategoricalParameterRange

['batch_skipgram', 'skipgram', 'cbow']

negative_samples

IntegerParameterRange

[5-25]

sampling_threshold

ContinuousParameterRange

MinValue: 0.0001, MaxValue: 0.001

vector_dim

IntegerParameterRange

[32-300]

window_size

IntegerParameterRange

[1-10]

텍스트 분류 알고리즘의 튜닝 가능한 하이퍼파라미터

다음을 사용하여 Amazon SageMaker BlazingText 텍스트 분류 모델을 튜닝합니다.하이퍼파라미터.

파라미터 이름 파라미터 유형 권장 범위 또는 값
buckets

IntegerParameterRange

[1000000-10000000]

epochs

IntegerParameterRange

[5-15]

learning_rate

ContinuousParameterRange

MinValue: 0.005, MaxValue: 0.01

min_count

IntegerParameterRange

[0-100]

mode

CategoricalParameterRange

['supervised']

vector_dim

IntegerParameterRange

[32-300]

word_ngrams

IntegerParameterRange

[1-3]