데이터 세트 준비

모델 사용자 지정 작업을 시작하려면 먼저 학습 데이터세트를 최소한으로 준비해야 합니다. 검증 데이터셋의 지원 여부와 훈련 및 검증 데이터셋의 형식은 다음 요인에 따라 달라집니다.

• 사용자 지정 작업 유형 (미세 조정 또는 지속적인 사전 교육).

• 데이터의 입력 및 출력 방식.

다양한 모델의 데이터세트 및 파일 요구 사항을 보려면 을 참조하십시오. 모델 사용자 지정 할당량

사용 사례와 관련된 탭을 선택하세요.

Fine-tuning: Text-to-text

text-to-text 모델을 미세 조정하려면 여러 개의 JSON 라인이 포함된 JSONL 파일을 만들어 학습 및 선택적 검증 데이터세트를 준비하세요. 각 JSON 라인은 a와 필드를 모두 포함하는 샘플입니다. prompt completion 토큰 개수의 근사치로 토큰당 6자를 사용합니다. 형식은 다음과 같습니다.

{"prompt": "<prompt1>", "completion": "<expected generated text>"}
{"prompt": "<prompt2>", "completion": "<expected generated text>"}
{"prompt": "<prompt3>", "completion": "<expected generated text>"}      

다음은 질문-응답 태스크의 예제 항목입니다.

{"prompt": "what is AWS", "completion": "it's Amazon Web Services"}

Fine-tuning: Text-to-image & Image-to-embeddings

text-to-image or image-to-embedding 모델을 미세 조정하려면 여러 개의 JSON 라인이 포함된 JSONL 파일을 생성하여 학습 데이터세트를 준비하세요. 검증 데이터세트는 지원되지 않습니다. 각 JSON 라인은 image-ref, 이미지용 Amazon S3 URI, 이미지용 프롬프트가 될 수 있는 caption이 포함된 샘플입니다.

이미지는 JPEG 또는 PNG 형식이어야 합니다.

{"image-ref": "s3://bucket/path/to/image001.png", "caption": "<prompt text>"}
{"image-ref": "s3://bucket/path/to/image002.png", "caption": "<prompt text>"}
{"image-ref": "s3://bucket/path/to/image003.png", "caption": "<prompt text>"}    

예시는 다음과 같습니다.

{"image-ref": "s3://my-bucket/my-pets/cat.png", "caption": "an orange cat with white spots"}

Amazon Bedrock이 이미지 파일에 액세스할 수 있도록 하려면, 사용자가 설정했거나 콘솔에서 교육 및 검증 파일에 액세스하고 S3에 출력 파일을 작성할 수 있는 권한 자동으로 설정된 Amazon Bedrock 모델 사용자 지정 서비스 역할에 있는 것과 유사한 IAM 정책을 추가하십시오. 훈련 데이터 세트에 제공하는 Amazon S3 경로는 정책에서 지정하는 폴더에 있어야 합니다.

Continued Pre-training: Text-to-text

text-to-text 모델에 대한 지속적인 사전 교육을 수행하려면 여러 JSON 라인이 포함된 JSONL 파일을 생성하여 교육 및 선택적 검증 데이터 세트를 준비하십시오. 지속적인 사전 학습에는 레이블이 지정되지 않은 데이터가 포함되므로 각 JSON 라인은 필드만 포함하는 샘플입니다. input 토큰 개수의 근사치로 토큰당 6자를 사용합니다. 형식은 다음과 같습니다.

{"input": "<input text>"}
{"input": "<input text>"}
{"input": "<input text>"}

다음은 훈련 데이터에 포함될 수 있는 예제 항목입니다.

{"input": "AWS stands for Amazon Web Services"}