기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
BlazingText알고리듬
더 아마존SageMaker BlazingText알고리즘은 Word2vec 및 텍스트 분류 알고리즘의 고도로 최적화된 구현을 제공합니다. Word2vec 알고리즘은 감정 분석, 명명된 엔터티 인식, 기계 번역 등 여러 가지 다운스트림 자연 언어 처리(NLP) 작업에 유용합니다. 텍스트 분류는 웹 검색, 정보 검색, 순위 지정 및 문서 분류를 수행하는 애플리케이션에 중요한 작업입니다.
Word2vec 알고리즘은 고품질 분산 벡터로 단어를 매핑합니다. 단어의 결과 벡터 표현은 단어 임베딩이라고 합니다. 의미적으로 유사한 단어는 가까이 있는 벡터에 해당합니다. 이러한 방식으로 단어 임베딩은 단어 간 의미 관계를 파악합니다.
많은 자연 언어 처리(NLP) 애플리케이션이 다량의 문서 모음을 훈련해 단어 임베딩을 배웁니다. 사전 훈련된 벡터 표현은 이후에 보다 제한된 양의 데이터로 훈련된 다른 모델의 일반화 가능성을 개선하는 의미 및 단어 분포에 대한 정보를 제공합니다. 대부분의 Word2vec 알고리즘 구현은 멀티 코어 CPU 아키텍처에 대해 최적화되어 있습니다. 이로 인해 크기가 큰 데이터 세트로 크기 조정하기 어렵습니다.
와 함께BlazingText알고리즘을 사용하면 대규모 데이터 세트로 쉽게 확장할 수 있습니다. Word2vec과 유사하게 스킵그램 및 연속형 기능을 제공합니다.bag-of-words(CBOW) 트레이닝 아키텍처. BlazingText의 감독형 다중 클래스, 다중 레이블 텍스트 분류 알고리즘 구현으로 FastText 텍스트 분류기를 확장하여 사용자 지정 GPU 가속화 기능을 사용할 수 있습니다.쿠다
더BlazingText알고리즘은 병렬화할 수 없습니다. 훈련과 관련된 파라미터에 대한 자세한 내용은 을 참조하십시오.에 대한 도커 레지스트리 경로SageMaker내장 알고리즘.
더SageMaker BlazingText알고리즘은 다음과 같은 기능을 제공합니다.
-
멀티 코어 CPU 또는 GPU의 fastText 텍스트 분류자 및 고도로 최적화된 CUDA 커널을 사용하는 GPU의 Word2Vec 훈련을 가속화합니다. 자세한 내용은 을 참조하십시오.BlazingText: 다중 GPU를 사용한 워드2Vec 크기 조정 및 가속화
. -
character n-gram에 대한 벡터 표현을 학습하여 형태소(subword) 정보로 풍부해진 단어 벡터
. 이 접근 방식을 사용하면BlazingText다음에 대한 의미 있는 벡터 생성하기out-of-vocabulary해당 벡터를 문자 n-gram (서브워드) 벡터의 합으로 표현하여 단어를 (OOV) 합니다. -
여러 CPU 노드 간에 더욱 빠른 훈련 및 분산 컴퓨팅을 허용하는 Word2Vec 알고리즘을 위한
batch_skipgrammode.batch_skipgrammode에서는 Negative Sample Sharing 전략으로 미니 배치를 훈련하여 레벨 1 BLAS 작업을 레벨 3 BLAS 작업으로 변환합니다. 이렇게 하면 최신 아키텍처의 곱셈-누산 지침을 효율적을 활용할 수 있습니다. 자세한 정보는 Parallelizing Word2Vec in Shared and Distributed Memory를 참조하십시오.
요약하면 다음과 같은 모드가 지원됩니다.BlazingText다른 유형의 인스턴스에서:
| Modes |
Word2Vec (비지도 학습) |
텍스트 분류 (지도 학습) |
|---|---|---|
|
단일 CPU 인스턴스 |
|
|
|
단일 GPU 인스턴스(GPU 1개 이상) |
|
GPU 하나를 사용하는 |
|
다중 CPU 인스턴스 |
Batch Skip-gram |
없음 |
수학에 대한 자세한 내용은BlazingText, 참조BlazingText: 다중 GPU를 사용한 워드2Vec 크기 조정 및 가속화
주제
의 입력/출력 인터페이스BlazingText알고리즘
더BlazingText알고리즘에는 공백으로 구분된 토큰이 있는 사전 처리된 단일 텍스트 파일이 필요합니다. 이 파일의 각 행에는 문장이 하나 포함되어 있어야 합니다. 여러 텍스트 파일에 대해 훈련해야 하는 경우 해당 텍스트 파일을 하나의 파일로 연결한 다음 각 채널에서 파일을 업로드합니다.
훈련 및 검증 데이터 형식
Word2Vec 알고리즘에 대한 훈련 및 검증 데이터 형식
Word2Vec 훈련을 위해 train 채널에서 파일을 업로드합니다. 다른 채널은 지원되지 않습니다. 이 파일에는 행마다 훈련 문장이 포함되어 있어야 합니다.
텍스트 분류 알고리즘에 대한 훈련 및 검증 데이터 형식
지도 모드의 경우에는 파일 모드 또는 증강 매니페스트 텍스트 형식을 사용하여 훈련할 수 있습니다.
파일 모드를 사용하여 훈련
supervised 모드의 경우 훈련/검증 파일에는 레이블과 함께 행마다 훈련 문장이 하나씩 포함되어 있어야 합니다. 레이블은 문자열 __label__로 시작하는 단어입니다. 다음은 훈련/검증 파일의 예입니다.
__label__4 linux ready for prime time , intel says , despite all the linux hype , the open-source movement has yet to make a huge splash in the desktop market . that may be about to change , thanks to chipmaking giant intel corp . __label__2 bowled by the slower one again , kolkata , november 14 the past caught up with sourav ganguly as the indian skippers return to international cricket was short lived .
참고
문장 내 레이블의 순서는 중요하지 않습니다.
train 채널에서 훈련 파일을 업로드하고, validation 채널에서 검증 파일을 선택적으로 업로드합니다.
증강 매니페스트 텍스트 형식으로 훈련
CPU 인스턴스용 수퍼바이드 모드는 또한 확장 매니페스트 형식을 지원하므로 RecordIO 파일을 생성할 필요 없이 파이프 모드에서 학습을 수행할 수 있습니다. 이 형식을 사용하는 동안 문장 목록과 문장의 해당 레이블을 포함한 S3 매니페스트 파일을 생성해야 합니다. 매니페스트 파일 형식은 각 행이 샘플 하나를 나타내는 JSON Linessource 태그를 사용하여 지정되고, 레이블은 label 태그를 사용하여 지정할 수 있습니다. source 및 label 태그는 둘 모두 요청으로 지정된 AttributeNames 파라미터 값 아래에서 제공되어야 합니다.
{"source":"linux ready for prime time , intel says , despite all the linux hype", "label":1} {"source":"bowled by the slower one again , kolkata , november 14 the past caught up with sourav ganguly", "label":2}
다중 레이블 훈련도 레이블의 JSON 배열을 지정하여 지원됩니다.
{"source":"linux ready for prime time , intel says , despite all the linux hype", "label": [1, 3]} {"source":"bowled by the slower one again , kolkata , november 14 the past caught up with sourav ganguly", "label": [2, 4, 5]}
증강 매니페스트 파일에 대한 자세한 정보는 증강 매니페스트 파일을 사용하여 훈련 작업에 데이터 세트 메타데이터 제공 단원을 참조하십시오.
모델 결과물 및 추론
Word2Vec 알고리즘의 모델 결과물
Word2Vec 학습의 경우 모델 아티팩트는 다음과 같이 구성됩니다.vectors.txt, 다음을 포함합니다words-to-vectors매핑 및vectors.bin, 에서 사용하는 바이너리BlazingText호스팅, 추론 또는 둘 다에 사용됩니다.vectors.txtGensim 및 Spacy와 같은 다른 도구와 호환되는 형식으로 벡터를 저장합니다. 예를 들어, Gensim 사용자는 다음 명령을 실행하여 vectors.txt 파일을 로드할 수 있습니다.
from gensim.models import KeyedVectors word_vectors = KeyedVectors.load_word2vec_format('vectors.txt', binary=False) word_vectors.most_similar(positive=['woman', 'king'], negative=['man']) word_vectors.doesnt_match("breakfast cereal dinner lunch".split())
평가 파라미터가 True로 설정된 경우에는 추가 파일인 eval.json이 생성됩니다. 이 파일에는 WS-353 데이터 세트에 대한 유사성 검증 결과(Spearman 순위 상관 계수)가 포함되어 있습니다. 훈련 코퍼스에 없는 WS-353 데이터 세트의 단어 수가 보고됩니다.
추론 요청의 경우 이 모델은 문자열 목록이 포함된 JSON 파일을 수락하고 벡터 목록을 반환합니다. 단어가 어휘에 등록되지 않은 경우 추론에서는 0으로 구성된 벡터를 반환합니다. 서브워드가 다음과 같이 설정된 경우True훈련 중에 모델은 다음에 대한 벡터를 생성할 수 있습니다.out-of-vocabulary(OV) 단어.
샘플 JSON 요청
Mime-type: application/json
{ "instances": ["word1", "word2", "word3"] }
텍스트 분류 알고리즘의 모델 결과물
감독된 출력을 사용한 트레이닝은 다음을 생성합니다.model.bin에서 사용할 수 있는 파일BlazingText호스팅. 추론을 위해BlazingText모델은 문장 목록이 포함된 JSON 파일을 받아들이고 해당 예측 레이블 및 확률 점수 목록을 반환합니다. 각 문장은 공백으로 구분된 토큰, 단어 또는 둘 다가 포함된 문자열이어야 합니다.
샘플 JSON 요청
Mime-type: application/json
{ "instances": ["the movie was excellent", "i did not like the plot ."] }
기본적으로 서버는 확률이 가장 높은 예측을 하나만 반환합니다. 상위 k 예측을 가져오기 위해 구성에서 k를 다음과 같이 설정할 수 있습니다.
{ "instances": ["the movie was excellent", "i did not like the plot ."], "configuration": {"k": 2} }
... 에 대한BlazingText, content-type과accept매개변수는 같아야 합니다. 배치 변환을 위해 이러한 파라미터는 둘 다 application/jsonlines여야 합니다. 다른 경우 Accept 필드가 무시됩니다. 입력 형식은 다음과 같습니다.
content-type: application/jsonlines {"source": "source_0"} {"source": "source_1"} if you need to pass the value of k for top-k, then you can do it in the following way: {"source": "source_0", "k": 2} {"source": "source_1", "k": 3}
출력 형식은 다음과 같습니다.
accept: application/jsonlines {"prob": [prob_1], "label": ["__label__1"]} {"prob": [prob_1], "label": ["__label__1"]} If you have passed the value of k to be more than 1, then response will be in this format: {"prob": [prob_1, prob_2], "label": ["__label__1", "__label__2"]} {"prob": [prob_1, prob_2], "label": ["__label__1", "__label__2"]}
감독 모드 (텍스트 분류) 및 비감독 모드 (Word2Vec) 모드 모두에서 바이너리 (*.bin) 에 의해 제작BlazingTextFastText에서 교차 사용할 수 있으며 그 반대의 경우도 마찬가지입니다. 에서 생성한 바이너리를 사용할 수 있습니다.BlazingText패스트텍스트 작성. 마찬가지로 다음을 사용하여 FastText로 만든 모델 바이너리를 호스팅할 수 있습니다.BlazingText.
다음은 로 생성된 모델을 사용하는 방법의 예입니다.BlazingText패스트 텍스트 포함:
#Download the model artifact from S3 aws s3 cp s3://<YOUR_S3_BUCKET>/<PREFIX>/model.tar.gz model.tar.gz #Unzip the model archive tar -xzf model.tar.gz #Use the model archive with fastText fasttext predict ./model.bin test.txt
그러나 바이너리는 CPU 및 단일 GPU에 대한 훈련인 경우에만 지원됩니다. 다중 GPU에 대한 훈련은 바이너리를 생성하지 않습니다.
에 대한 EC2 인스턴스 권장 사항BlazingText알고리즘
... 에 대한cbow과skipgram모드,BlazingText단일 CPU 및 단일 GPU 인스턴스를 지원합니다. 이러한 두 모드에서는 subwords 임베딩 학습을 지원합니다. 정확도의 저하 없이 속도를 최대한 높이려면 ml.p3.2xlarge 인스턴스를 사용하는 것이 좋습니다.
... 에 대한batch_skipgram모드,BlazingText단일 또는 다중 CPU 인스턴스를 지원합니다. 여러 인스턴스에서 훈련 시 CreateTrainingJob으로 전달하는 S3DataSource 객체의 S3DataDistributionType 필드 값을 FFullyReplicated로 설정합니다. BlazingText시스템 간에 데이터를 배포하는 역할을 담당합니다.
지도 텍스트 분류 모드의 경우 훈련 데이터 세트가 2GB 미만인 경우 C5 인스턴스가 권장됩니다. 더 큰 데이터세트의 경우 단일 GPU가 있는 인스턴스를 사용하세요. BlazingText학습 및 추론을 위한 P2, P3, G4dn 및 G5 인스턴스를 지원합니다.
BlazingText 샘플 노트북
교육 및 배포를 위한 샘플 노트북용SageMaker BlazingText단어 벡터를 생성하는 알고리즘, 참조Word2Vec 단어 표현을 사용하여 학습하기BlazingText
