SageMaker Clarify를 사용하여 대규모 언어 모델을 평가하기 위한 옵션 이해

중요

SageMaker Clarify Foundation 모델 평가를 사용하려면 새 Studio 환경으로 업그레이드해야 합니다. 2023년 11월 30일부터 이전 Amazon SageMaker Studio 환경이 이제 Amazon SageMaker Studio Classic으로 지정되었습니다. 파운데이션 평가 기능은 업데이트된 환경에서만 사용할 수 있습니다. Studio를 업데이트하는 방법에 대한 자세한 내용은 섹션을 참조하세요Amazon SageMaker Studio Classic에서 마이그레이션. Studio Classic 애플리케이션 사용에 대한 자세한 내용은 섹션을 참조하세요Amazon SageMaker Studio Classic.

Amazon SageMaker Clarify를 사용하면 모델 평가 작업을 생성하여 대규모 언어 모델(LLMs)을 평가할 수 있습니다. 모델 평가 작업을 사용하면 의 텍스트 기반 파운데이션 모델에 대한 모델 품질 및 책임 지표를 평가하고 비교할 수 있습니다 JumpStart. 모델 평가 작업은 엔드포인트에 이미 배포된 JumpStart 모델의 사용도 지원합니다.

세 가지 접근 방식을 사용하여 모델 평가 작업을 생성할 수 있습니다.

• Studio에서 자동 모델 평가 작업 생성 - 자동 모델 평가 작업을 사용하면 모델의 작업 수행 능력을 빠르게 평가할 수 있습니다. 특정 사용 사례에 맞게 조정한 사용자 지정 프롬프트 데이터 세트를 제공하거나 사용 가능한 내장형 데이터 세트를 사용할 수 있습니다.

• Studio에서 인적 작업자를 사용하는 모델 평가 작업 생성 - 인적 작업자를 사용하는 모델 평가 작업을 사용하면 모델 평가 프로세스에 인적 의견을 가져올 수 있습니다. 이들은 회사 직원이거나 업계의 분야별 전문가 그룹일 수 있습니다.

• fmeval 라이브러리를 사용하여 자동화된 모델 평가 작업 생성 - 를 사용하여 작업을 생성fmeval하면 모델 평가 작업을 가장 세밀하게 제어할 수 있습니다. 또한 다른 서비스의 LLMs 외부 AWS 또는 비JumpStart 기반 모델 사용을 지원합니다.

모델 평가 작업은 텍스트 생성, 텍스트 분류, 질문 및 응답, 텍스트 요약LLMs과 같은 일반적인 사용 사례를 지원합니다.

• 개방형 세대 - 사전 정의된 구조가 없는 텍스트에 대한 자연적인 인적 응답의 생성입니다.

• 텍스트 요약 - 더 큰 텍스트에 포함된 의미와 주요 정보를 유지하면서 간결하고 요약된 요약을 생성하는 것입니다.

• 질문 응답 - 프롬프트에 대한 적절하고 정확한 응답을 생성합니다.

• 분류 - 콘텐츠에 따라 레이블 또는 점수와 같은 범주를 텍스트에 할당합니다.

다음 주제에서는 사용 가능한 모델 평가 작업과 사용할 수 있는 지표 종류에 대해 설명합니다. 또한 사용 가능한 내장형 데이터 세트와 자체 데이터 세트를 지정하는 방법도 설명합니다.

주제

• 파운데이션 모델 평가란 무엇입니까?
• 모델 평가 시작하기
• 모델 평가 작업에서 프롬프트 데이터 세트 및 사용 가능한 평가 차원 사용
• 인적 작업자를 사용하는 모델 평가 작업 생성
• 자동 모델 평가
• 모델 평가 작업의 결과 이해
• fmeval 라이브러리를 사용하여 워크플로 사용자 지정
• 모델 평가 노트북 자습서
• Amazon에서 모델 평가 작업을 생성할 때 발생하는 오류 해결 SageMaker