기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
중요
SageMaker Clarify 파운데이션 모델 평가(FMEval)를 사용하려면 새 Studio 경험으로 업그레이드해야 합니다.
2023년 11월 30일부터 이전 Amazon SageMaker Studio 환경이 이제 Amazon SageMaker Studio Classic으로 명명되었습니다. Amazon SageMaker Studio Classic에서는 FMEval을 사용할 수 없습니다.
새 Studio 경험으로 업그레이드하는 방법에 대한 자세한 내용은 Amazon SageMaker Studio Classic에서 마이그레이션 섹션을 참조하세요. Studio Classic 애플리케이션 사용에 대한 자세한 내용은 Amazon SageMaker Studio Classic 섹션을 참조하세요.
모델 평가 작업을 만드는 동안 오류가 발생하면 다음 목록을 사용하여 평가 문제를 해결합니다. 추가 지원이 필요한 경우 Amazon SageMaker AI용 지원
주제
Amazon S3 버킷에서 데이터를 업로드하는 중 오류 발생
파운데이션 모델 평가를 만들 때 모델 입력 및 출력을 저장하려는 S3 버킷에 대해 올바른 권한을 설정해야 합니다. 교차 오리진 리소스 공유(CORS) 권한이 올바르게 설정되지 않은 경우 SageMaker AI는 다음 오류를 생성합니다.
오류: s3에 객체를 넣지 못함: s3에 객체를 업로드하는 중 오류 발생 오류: s3에 객체를 넣지 못함: 리소스를 가져오려고 할 때 네트워크 오류.
올바른 버킷 권한을 설정하려면 Studio에서 자동 모델 평가 작업 만들기의 환경 설정에 있는 지침을 따르세요.
처리 작업을 완료하지 못함
처리 작업을 완료하지 못한 가장 일반적인 이유는 다음과 같습니다.
각 문제를 완화하는 데 도움이 되도록 다음 섹션을 참조하세요.
할당량 부족
배포되지 않은 JumpStart 모델에 대한 파운데이션 모델 평가를 실행하면 SageMaker Clarify는 계정의 SageMaker AI 엔드포인트에 대규모 언어 모델(LLM)을 배포합니다. 계정에 선택한 JumpStart 모델을 실행할 충분한 할당량이 없는 경우 ClientError 오류와 함께 작업이 실패합니다. 할당량을 늘리려면 다음 단계를 따르세요.
AWS Service Quotas 증가 요청
-
화면 오류 메시지에서 인스턴스 이름, 현재 할당량 및 필요한 할당량을 검색합니다. 예를 들어 다음 오류에서는 다음과 같습니다.
-
인스턴스 이름은
ml.g5.12xlarge입니다. -
current utilization다음 숫자에서 현재 할당량은0 instances입니다. -
request delta다음 숫자에서 추가 필수 할당량은1 instances입니다.
샘플 오류는 다음과 같습니다.
ClientError: An error occurred (ResourceLimitExceeded) when calling the CreateEndpoint operation: The account-level service limit 'ml.g5.12xlarge for endpoint usage' is 0 Instances, with current utilization of 0 Instances and a request delta of 1 Instances. Please use AWS Service Quotas to request an increase for this quota. If AWS Service Quotas is not available, contact AWS support to request an increase for this quota -
-
에 로그인 AWS Management Console 하고 Service Quotas 콘솔
을 엽니다. -
탐색 창의 할당량 관리에서
Amazon SageMaker AI를 입력합니다. -
할당량 보기를 선택합니다.
-
서비스 할당량 아래의 검색 창에 1단계의 인스턴스 이름을 입력합니다. 예를 들어 1단계의 오류 메시지에 포함된 정보를 사용하여
ml.g5.12xlarge를 입력합니다. -
인스턴스 이름 옆에 나타나고 (엔드포인트용)으로 끝나는 할당량 이름을 선택합니다. 예를 들어 1단계의 오류 메시지에 포함된 정보를 사용하여 ml.g5.12xlarge(엔드포인트용)을 선택합니다.
-
계정 수준에서 증가 요청을 선택합니다.
-
할당량 값 증가에서 1단계의 오류 메시지에 제공된 정보에서 필요한 할당량을 입력합니다.
current utilization과request delta의 합계를 입력합니다. 이전 예시 오류에서current utilization은0 Instances이고request delta는1 Instances입니다. 이 예시에서는 필요한 할당량을 공급하기 위해1의 할당량을 제공합니다. -
요청을 선택합니다.
-
탐색 창에서 할당량 요청 기록을 선택합니다.
-
상태가 보류 중에서 승인됨으로 변경되면 작업을 다시 실행합니다. 변경 사항을 보기 위해 브라우저를 새로 고쳐야 할 수도 있습니다.
할당량 증가 요청에 대한 자세한 내용은 Requesting a quota increase를 참조하세요.
메모리 부족
평가 알고리즘을 실행할 메모리가 충분하지 않은 Amazon EC2 인스턴스에서 파운데이션 모델 평가를 시작하면 다음 오류와 함께 작업이 실패합니다.
The actor is dead because its worker process has died. Worker exit type:
SYSTEM_ERROR Worker exit detail: Worker unexpectedly exits with a connection
error code 2. End of file. There are some potential root causes. (1) The
process is killed by SIGKILL by OOM killer due to high memory usage. (2) ray
stop --force is called. (3) The worker is crashed unexpectedly due to
SIGSEGV or other unexpected errors. The actor never ran - it was cancelled
before it started running.
평가 작업에 사용할 수 있는 메모리를 늘리려면 인스턴스를 메모리가 더 많은 인스턴스로 변경합니다. 사용자 인터페이스를 사용하는 경우 2단계의 프로세서 구성에서 인스턴스 유형을 선택할 수 있습니다. SageMaker AI 콘솔 내에서 작업을 실행하는 경우 메모리 용량이 증가한 인스턴스를 사용하여 새 공간을 시작합니다.
Amazon EC2 인스턴스 목록은 인스턴스 유형을 참조하세요.
메모리 용량이 큰 인스턴스에 대한 자세한 내용은 Memory optimized instances를 참조하세요.
ping 검사를 통과하지 못함
경우에 따라 SageMaker AI가 엔드포인트를 배포할 때 ping 검사를 통과하지 못했기 때문에 파운데이션 모델 평가 작업이 실패합니다. ping 테스트를 통과하지 못하면 다음 오류가 나타납니다.
ClientError: Error hosting endpoint
your_endpoint_name: Failed. Reason: The
primary container for production variant AllTraffic did not pass the ping
health check. Please check CloudWatch logs for this endpoint..., Job exited
for model: your_model_name of model_type:
your_model_type
작업에서 이 오류가 발생하면 몇 분 정도 기다렸다가 작업을 다시 실행하세요. 오류가 지속되면 Amazon SageMaker AI에 대한 AWS 지원
SageMaker AI 콘솔에서 파운데이션 모델 평가를 찾을 수 없습니다.
SageMaker Clarify 파운데이션 모델 평가를 사용하려면 새 Studio 경험으로 업그레이드해야 합니다. 2023년 11월 30일부터 이전 Amazon SageMaker Studio 환경이 이제 Amazon SageMaker Studio Classic으로 명명되었습니다. 파운데이션 평가 기능은 업데이트된 경험에서만 사용할 수 있습니다. Studio를 업데이트하는 방법에 대한 자세한 내용은 Amazon SageMaker Studio Classic에서 마이그레이션 섹션을 참조하세요.
모델이 프롬프트 고정 관념화를 지원하지 않음
일부 JumpStart 모델만 프롬프트 고정 관념화를 지원합니다. 지원되지 않는 JumpStart 모델을 선택하면 다음 오류가 나타납니다.
{"evaluationMetrics":"This model does not support Prompt stereotyping
evaluation. Please remove that evaluation metric or select another model that
supports it."}
이 오류가 발생하면 파운데이션 평가에서 선택한 모델을 사용할 수 없습니다. SageMaker Clarify는 현재 파운데이션 모델 평가에 사용할 수 있도록 프롬프트 고정 관념화 작업을 위해 모든 JumpStart 모델을 업데이트하고 있습니다.
데이터세트 검증 오류(인간)
인간 작업자를 사용하는 모델 평가 작업의 사용자 지정 프롬프트 데이터세트는 .jsonl 확장을 사용하여 JSON Lines 형식을 사용하여 형식을 지정해야 합니다.
작업을 시작하면 프롬프트 데이터세트의 각 JSON 객체가 상호 의존적으로 검증됩니다. JSON 객체 중 하나가 유효하지 않으면 다음 오류가 발생합니다.
Customer Error: Your input dataset could not be validated. Your dataset can have up to 1000 prompts. The dataset must be a valid jsonl file, and each prompt valid json object.To learn more about troubleshooting dataset validations errors, see Troubleshooting guide. Job executed for models: meta-textgeneration-llama-2-7b-f, pytorch-textgeneration1-alexa20b.
사용자 지정 프롬프트 데이터세트가 모든 검증을 통과하려면 JSON Lines 파일의 모든 JSON 객체에 대해 다음 사항이 true여야 합니다.
-
프롬프트 데이터세트 파일의 각 줄은 유효한 JSON 객체여야 합니다.
-
따옴표(
")와 같은 특수 문자는 적절하게 이스케이프 처리되어야 합니다. 예를 들어 프롬프트가"Claire said to the crowd, "Bananas are the best!""와 같으면\,"Claire said to the crowd, \"Bananas are the best!\""를 사용하여 따옴표를 이스케이프 처리해야 합니다. -
유효한 JSON 객체에는 최소한
prompt키/값 쌍이 포함되어야 합니다. -
프롬프트 데이터세트 파일은 단일 파일에 1,000개 이상의 JSON 객체를 포함할 수 없습니다.
-
어떤 JSON 객체에서든
responses키를 지정하는 경우 모든 JSON 객체에 키가 있어야 합니다. -
responses키 내의 최대 객체 개수는 1개입니다. 비교하려는 여러 모델의 응답이 있는 경우 각각 별도의 BYOI 데이터세트가 필요합니다. -
어떤 JSON 객체에서든
responses키를 지정하는 경우 모든responses객체에modelIdentifier및text키도 포함해야 합니다.
