파운데이션 모델 미세 조정

Amazon SageMaker Canvas를 통해 액세스할 수 있는 파운데이션 모델은 다양한 범용 작업에 도움이 될 수 있습니다. 그러나 특정 사용 사례가 있고 자체 데이터를 기반으로 응답을 사용자 지정하려는 경우 파운데이션 모델을 미세 조정할 수 있습니다.

파운데이션 모델을 미세 조정하려면 샘플 프롬프트와 모델 응답으로 구성된 데이터 세트를 제공합니다. 그런 다음 데이터에 대해 파운데이션 모델을 훈련합니다. 마지막으로 미세 조정된 파운데이션 모델은 보다 구체적인 응답을 제공할 수 있습니다.

다음 목록에는 Canvas에서 미세 조정할 수 있는 파운데이션 모델이 포함되어 있습니다.

• 타이탄 익스프레스

• Falcon-7B

• Falcon-7B-Instruct

• Falcon-40B-Instruct

• Falcon-40B

• Flan-T5-Large

• Flan-T5-Xl

• Flan-T5-Xxl

• MPT-7B

• MPT-7B-Instruct

모델을 미세 조정하는 동안 Canvas 애플리케이션의 각 파운데이션 모델에 대한 자세한 정보에 액세스할 수 있습니다. 자세한 내용은 모델 미세 조정 단원을 참조하십시오.

이 주제에서는 Canvas에서 파운데이션 모델을 미세 조정하는 방법을 설명합니다.

시작하기 전 준비 사항

파운데이션 모델을 미세 조정하기 전에 Canvas의 모델에 대한 Ready-to-use 권한과 Amazon Bedrock과 신뢰 관계가 있는 AWS Identity and Access Management 실행 역할이 있는지 확인합니다. 이렇게 하면 Amazon Bedrock이 파운데이션 모델을 미세 조정하는 동안 역할을 수임할 수 있습니다.

Amazon SageMaker 도메인을 설정하거나 편집할 때는 1) Canvas Ready-to-use 모델 구성 권한을 켜고 2) Amazon Bedrock과의 신뢰 관계를 SageMaker 연결하는 IAM 실행 역할인 Amazon Bedrock 역할을 생성하거나 지정해야 합니다. 이러한 설정을 구성하는 것에 대한 자세한 내용은 Amazon SageMaker Canvas 설정을 위한 사전 조건 섹션을 참조하십시오.

자체 IAM 실행 역할을 사용하려는 경우 Amazon Bedrock 역할을 수동으로 구성할 수 있습니다(사용자를 대신하여 SageMaker 생성하도록 허용하는 대신). Amazon Bedrock과 자체 IAM 실행 역할의 신뢰 관계를 구성하는 방법에 대한 자세한 내용은 섹션을 참조하세요Canvas에서 Amazon Bedrock 및 Generative AI 기능을 사용할 수 있는 권한을 사용자에게 부여합니다..

또한 대규모 언어 모델()을 미세 조정하기 위한 형식의 데이터 세트가 있어야 합니다LLMs. 다음은 데이터 세트의 요구 사항 목록입니다.

• 데이터 세트는 테이블 형식이어야 하며 텍스트 데이터의 열 2개 이상을 포함해야 합니다. 하나는 입력 열(모델에 대한 예제 프롬프트 포함)이고 다른 하나는 출력 열(모델의 예제 응답 포함)입니다.

  예는 다음과 같습니다.

  Input	출력
  배송 조건은 어떻게 됩니까?	$50를 초과하는 모든 주문에 대해 무료 배송을 제공합니다. 50달러 미만의 주문은 배송비가 5.99달러입니다.
  항목을 반환하려면 어떻게 해야 하나요?	품목을 반품하려면 반품 센터를 방문하여 지침을 따르세요. 주문 번호와 반품 이유를 제공해야 합니다.
  제품에 문제가 있습니다. 어떻게 해야 합니까?	고객 지원 팀에 문의하시면 문제 해결을 도와드리겠습니다.

• 데이터 세트에는 최소 100개의 텍스트 페어(해당 입력 및 출력 항목의 행)가 있는 것이 좋습니다. 이렇게 하면 파운데이션 모델에 미세 조정을 위한 충분한 데이터가 있고 응답의 정확도가 높아집니다.

• 각 입력 및 출력 항목은 최대 512자를 포함해야 합니다. 파운데이션 모델을 미세 조정할 때 더 긴 내용은 512자로 줄어듭니다.

Amazon Bedrock 모델을 미세 조정할 때는 Amazon Bedrock 할당량을 준수해야 합니다. 자세한 내용은 Amazon Bedrock 사용 설명서의 모델 사용자 지정 할당량을 참조하세요.

Canvas의 일반 데이터 세트 요구 사항 및 제한 사항에 대한 자세한 내용은 섹션을 참조하세요데이터세트 생성.

파운데이션 모델 미세 조정

Canvas 애플리케이션에서 다음 방법 중 하나를 사용하여 파운데이션 모델을 미세 조정할 수 있습니다.

• 파운데이션 모델과의 콘텐츠 채팅 생성, 추출 및 요약에서 미세 조정 모델 아이콘()을 선택합니다 .

• 파운데이션 모델과 채팅하는 동안 응답을 두 번 이상 다시 생성한 경우 Canvas는 모델을 미세 조정할 수 있는 옵션을 제공합니다. 다음 스크린샷은 이것이 어떤 모습인지 보여줍니다.

  

• 내 모델 페이지에서 새 모델 을 선택한 다음 파운데이션 모델 미세 조정 을 선택하여 새 모델을 생성할 수 있습니다.

• Ready-to-use 모델 홈 페이지에서 자체 모델 생성을 선택한 다음 새 모델 생성 대화 상자에서 파운데이션 모델 미세 조정을 선택합니다.

• Data Wrangler 탭에서 데이터 세트를 검색하는 동안 데이터 세트를 선택하고 모델 생성을 선택할 수 있습니다. 그런 다음 파운데이션 모델 미세 조정을 선택합니다.

모델을 미세 조정하기 시작한 후 다음을 수행합니다.

데이터 세트 선택

모델 미세 조정의 선택 탭에서 파운데이션 모델을 학습시킬 데이터를 선택합니다.

기존 데이터 세트를 선택하거나 시작하기 전 준비 사항 섹션에 나열된 요구 사항을 충족하는 새 데이터 세트를 생성합니다. 데이터 세트를 생성하는 방법에 대한 자세한 내용은 섹션을 참조하세요데이터세트 생성.

데이터 세트를 선택하거나 생성한 후 계속 진행할 준비가 되면 데이터 세트 선택을 선택합니다.

모델 미세 조정

데이터를 선택한 후 이제 훈련을 시작하고 모델을 미세 조정할 준비가 되었습니다.

미세 조정 탭에서 다음을 수행합니다.

1. (선택 사항) 파운데이션 모델에 대해 자세히 알아보기를 선택하여 각 모델에 대한 자세한 정보에 액세스하고 배포할 파운데이션 모델 또는 모델을 결정하는 데 도움이 됩니다.

2. 최대 3개의 기본 모델 선택 에서 드롭다운 메뉴를 열고 훈련 작업 중에 미세 조정하려는 파운데이션 모델(최대 2 JumpStart 개 모델 및 Amazon Bedrock 모델 1개)을 최대 3개까지 확인합니다. 여러 파운데이션 모델을 미세 조정하여 성능을 비교하고 궁극적으로 사용 사례에 가장 적합한 모델을 기본 모델로 선택할 수 있습니다. 기본 모델에 대한 자세한 내용은 섹션을 참조하세요모델 리더보드에서 모델 후보 보기.

3. 입력 선택 열 에서 예제 모델 프롬프트가 포함된 데이터 세트의 텍스트 데이터 열을 선택합니다.

4. 출력 선택 열 에서 예제 모델 응답이 포함된 데이터 세트의 텍스트 데이터 열을 선택합니다.

5. (선택 사항) 훈련 작업에 대한 고급 설정을 구성하려면 모델 구성을 선택합니다. 고급 모델 구축 설정에 대한 자세한 내용은 섹션을 참조하세요고급 모델 구축 구성.

   모델 구성 팝업 창에서 다음을 수행합니다.

   1. 하이퍼파라미터 의 경우 선택한 각 모델에 대해 에폭 수, 배치 크기, 학습 속도 및 학습 속도 워밍업 단계를 조정할 수 있습니다. 이러한 파라미터에 대한 자세한 내용은 JumpStart 설명서의 하이퍼파라미터 섹션을 참조하세요.

   2. 데이터 분할 의 경우 훈련 세트와 검증 세트 간에 데이터를 나누는 방법에 대한 백분율을 지정할 수 있습니다.

   3. 최대 작업 런타임의 경우 Canvas가 빌드 작업을 실행하는 최대 시간을 설정할 수 있습니다. 이 기능은 JumpStart 파운데이션 모델에서만 사용할 수 있습니다.

   4. 설정을 구성한 후 저장을 선택합니다.

6. 미세 조정을 선택하여 선택한 파운데이션 모델 훈련을 시작합니다.

미세 조정 작업이 시작된 후 페이지에서 나갈 수 있습니다. 내 모델 페이지에 모델이 준비됨으로 표시되면 사용할 준비가 된 것이므로 이제 미세 조정된 파운데이션 모델의 성능을 분석할 수 있습니다.

미세 조정된 파운데이션 모델 분석

미세 조정된 파운데이션 모델의 분석 탭에서 모델의 성능을 확인할 수 있습니다.

이 페이지의 개요 탭은 훈련 중에 시간 경과에 따른 모델의 개선을 시각화하는 분석과 함께 복잡성 및 손실 점수를 보여줍니다. 다음 스크린샷은 개요 탭을 보여줍니다.

이 페이지에서는 다음 시각화를 볼 수 있습니다.

• Perplexity Curve는 모델이 시퀀스에서 다음 단어를 얼마나 잘 예측하는지 또는 모델 출력이 얼마나 문법적인지 측정합니다. 이상적으로는 훈련 중에 모델이 개선되면 점수가 감소하고 시간이 지남에 따라 곡선이 낮아지고 평탄해집니다.

• 손실 곡선은 올바른 출력과 모델의 예상 출력 간의 차이를 정량화합니다. 시간이 지남에 따라 감소하고 평탄해지는 손실 곡선은 모델이 정확한 예측 능력을 개선하고 있음을 나타냅니다.

고급 지표 탭에는 모델의 하이퍼파라미터와 추가 지표가 표시됩니다. 다음 스크린샷과 같습니다.

고급 지표 탭에는 다음 정보가 포함되어 있습니다.

• 설명 가능성 섹션에는 하이퍼파라미터가 포함되어 있습니다. 하이퍼파라미터는 모델의 미세 조정을 안내하기 위해 작업 전에 설정된 값입니다. 모델 미세 조정 섹션의 모델 고급 설정에서 사용자 지정 하이퍼파라미터를 지정하지 않은 경우 Canvas가 기본 하이퍼파라미터를 선택합니다.

  JumpStart 모델의 경우 모델에서 생성된 요약의 품질을 평가하는 고급 지표ROUGE(기스팅 평가를 위한 Recall-Oriented Understudy)도 볼 수 있습니다. 모델이 통로의 주요 포인트를 얼마나 잘 요약할 수 있는지 측정합니다.

• 아티팩트 섹션은 미세 조정 작업 중에 생성된 아티팩트에 대한 링크를 제공합니다. Amazon S3에 저장된 훈련 및 검증 데이터와 모델 평가 보고서 링크(자세한 내용은 다음 단락 참조)에 액세스할 수 있습니다.

더 많은 모델 평가 인사이트를 얻으려면 모델 및 데이터의 편향을 감지하는 데 도움이 되는 기능인 SageMaker Clarify를 사용하여 생성된 보고서를 다운로드할 수 있습니다. 먼저 페이지 하단에서 평가 보고서 생성을 선택하여 보고서를 생성합니다. 보고서가 생성된 후 보고서 다운로드를 선택하거나 아티팩트 섹션으로 돌아가서 전체 보고서를 다운로드할 수 있습니다.

Python 코드에서 미세 조정 작업을 복제하는 방법을 보여주는 Jupyter 노트북에 액세스할 수도 있습니다. 이를 사용하여 미세 조정 작업을 복제하거나 프로그래밍 방식으로 변경하거나 Canvas가 모델을 미세 조정하는 방법을 더 깊이 이해할 수 있습니다. 모델 노트북과 이에 액세스하는 방법에 대한 자세한 내용은 섹션을 참조하세요모델 노트북 다운로드.

미세 조정된 파운데이션 모델의 분석 탭에서 정보를 해석하는 방법에 대한 자세한 내용은 주제를 참조하세요모델 평가.

개요 및 고급 지표 탭을 분석한 후 모델 리더보드를 열도록 선택할 수도 있습니다. 그러면 빌드 중에 훈련된 기본 모델 목록이 표시됩니다. 손실 점수가 가장 낮은 모델은 가장 성능이 좋은 모델로 간주되며 분석 탭에 분석이 표시되는 모델인 기본 모델 로 선택됩니다. 기본 모델만 테스트하고 배포할 수 있습니다. 모델 리더보드 및 기본 모델 변경 방법에 대한 자세한 내용은 섹션을 참조하세요모델 리더보드에서 모델 후보 보기.

채팅에서 미세 조정된 파운데이션 모델 테스트

미세 조정된 파운데이션 모델의 성능을 분석한 후 테스트하거나 기본 모델과 응답을 비교해야 할 수 있습니다. 콘텐츠 생성, 추출 및 요약 기능에서 채팅에서 미세 조정된 파운데이션 모델을 테스트할 수 있습니다.

다음 방법 중 하나를 선택하여 미세 조정된 모델과 채팅을 시작합니다.

• 미세 조정된 모델의 분석 탭에서 파운데이션 모델에서 테스트를 Ready-to-use 선택합니다.

• Canvas Ready-to-use 모델 페이지에서 콘텐츠 생성, 추출 및 요약을 선택합니다. 그런 다음 새 채팅을 선택하고 테스트할 모델의 버전을 선택합니다.

모델은 채팅에서 시작되며 다른 파운데이션 모델과 마찬가지로 채팅과 상호 작용할 수 있습니다. 채팅에 모델을 더 추가하고 출력을 비교할 수 있습니다. 채팅 기능에 대한 자세한 내용은 섹션을 참조하세요 SageMaker Canvas의 세대 AI 파운데이션 모델.

미세 조정된 파운데이션 모델 운영

Canvas에서 모델을 미세 조정한 후 다음을 수행할 수 있습니다.

• 모델을 SageMaker 모델 레지스트리에 등록하여 조직 MLOps 프로세스에 통합합니다. 자세한 내용은 모델 레지스트리에 SageMaker 모델 버전 등록 단원을 참조하십시오.

• 모델을 SageMaker 엔드포인트에 배포하고 애플리케이션 또는 웹 사이트에서 모델로 요청을 보내 예측(또는 추론)을 가져옵니다. 자세한 내용은 엔드포인트에 모델 배포 단원을 참조하십시오.

중요

Amazon Bedrock JumpStart 기반 모델이 아닌 미세 조정된 기반 파운데이션 모델만 등록하고 배포할 수 있습니다.