Amazon Bedrock으로 사용자 지정 모델 가져오기 - Amazon Bedrock
지원되는 아키텍처소스 가져오기모델 가져오기

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Bedrock으로 사용자 지정 모델 가져오기

사용자 지정 모델 임포트는 Amazon Bedrock의 프리뷰 릴리즈 중이며 변경될 수 있습니다.

Amazon Bedrock과 같은 다른 환경에서 사용자 지정한 기초 모델을 가져오려면 사용자 지정 모델 가져오기 기능을 사용하여 Amazon Bedrock에서 사용자 지정 모델을 생성할 수 있습니다. SageMaker 예를 들어, Amazon에서 생성한 모델 중에 독점 모델 가중치가 SageMaker 있는 모델이 있을 수 있습니다. 이제 해당 모델을 Amazon Bedrock으로 가져온 다음 Amazon Bedrock 기능을 활용하여 모델에 대한 추론 호출을 수행할 수 있습니다.

온디맨드 처리량으로 가져온 모델을 사용할 수 있습니다. InvokeModelor InvokeModelWithResponseStream연산을 사용하여 모델에 대한 추론 호출을 수행할 수 있습니다. 자세한 내용은 를 사용하여 단일 프롬프트 제출 InvokeModel 단원을 참조하십시오.

참고

프리뷰 릴리스의 경우 사용자 지정 모델 임포트는 미국 동부 (버지니아 북부) 및 미국 서부 (오레곤) 에서 사용할 수 있습니다. AWS 지역만 해당됩니다. 다음과 같은 Amazon Bedrock 기능으로는 사용자 지정 모델 임포트를 사용할 수 없습니다.

  • 아마존 베드락 에이전트

  • Amazon 베드락 지식 베이스

  • 아마존 베드락 가드 레일

  • Batch 추론

  • AWS CloudFormation

사용자 지정 모델 가져오기를 사용하려면 먼저 할당량에 대한 할당량 증가를 요청해야 합니다. Imported models per account 자세한 내용은 할당량 증가 요청을 참조하십시오.

사용자 지정 모델 가져오기를 사용하면 다음 패턴을 지원하는 사용자 지정 모델을 만들 수 있습니다.

  • 미세 조정 또는 지속적인 사전 교육 모델 — 전용 데이터를 사용하여 모델 가중치를 사용자 정의하면서도 기본 모델의 구성을 유지할 수 있습니다.

  • 적응 모델이 잘 일반화되지 않는 사용 사례에 맞게 모델을 도메인에 맞게 사용자 지정할 수 있습니다. 도메인 적응은 대상 도메인에 대해 일반화하고 도메인 간의 불일치를 처리하도록 모델을 수정합니다. 예를 들어 금융 업계에서는 가격 책정을 잘 반영하는 모델을 만들고자 합니다. 또 다른 예로 언어 적응을 들 수 있습니다. 예를 들어 포르투갈어나 타밀어로 응답을 생성하도록 모델을 사용자 지정할 수 있습니다. 대부분의 경우 여기에는 사용 중인 모델의 어휘가 변경되어야 합니다.

  • 처음부터 사전 학습 — 모델의 가중치 및 어휘를 사용자 지정하는 것 외에도 주의 집중 수, 숨겨진 레이어 또는 컨텍스트 길이와 같은 모델 구성 파라미터를 변경할 수 있습니다.

지원되는 아키텍처

가져오는 모델은 다음 아키텍처 중 하나에 있어야 합니다.

  • Mistral— 슬라이딩 윈도우 어텐션 (SWA) 및 그룹화된 쿼리 어텐션 () 옵션이 있는 디코더 전용 트랜스포머 기반 아키텍처. GQA 자세한 내용은 단원을 참조하세요.미스트랄 인 더 허깅 페이스 문서.

  • Flan — T5 아키텍처의 향상된 버전인 인코더-디코더 기반 트랜스포머 모델. 자세한 내용은 단원을 참조하세요.Flan T5Hugging Face 문서에서.

  • Llama 2 그리고 Llama3— 의 개선된 버전 Llama 그룹화된 쿼리 주의 (GQA) 포함. 자세한 내용은 단원을 참조하세요.Llama 2 및 Llama 3Hugging Face 문서에서.

소스 가져오기

Amazon Bedrock 콘솔에서 모델 가져오기 작업을 생성하여 Amazon Bedrock으로 모델을 가져옵니다. 작업에서 모델 파일의 소스로 Amazon URI S3를 지정합니다. 또는 SageMaker Amazon에서 모델을 생성한 경우 SageMaker 모델을 지정할 수 있습니다. 모델 교육 중에 가져오기 작업은 모델의 아키텍처를 자동으로 감지합니다.

Amazon S3 버킷에서 가져오는 경우 모델 파일을 다음 위치에 제공해야 합니다.Hugging Face 가중치 형식. Hugging Face 트랜스포머 라이브러리를 사용하여 파일을 만들 수 있습니다. 의 모델 파일을 만들려면 Llama 모델은 convert_llama_weights_to_hf.py 를 참조하십시오. 에 대한 파일을 만들려면 Mistral AI 모델은 convert_mistral_weights_to_hf.py 를 참조하십시오.

Amazon S3에서 모델을 가져오려면 Hugging Face 변환기 라이브러리에서 생성하는 다음과 같은 파일이 최소한 필요합니다.

  • .safetensor — 세이프텐서 형식의 모델 가중치입니다. 세이프텐서는 다음과 같이 만든 형식입니다.Hugging Face 모델 가중치를 텐서로 저장합니다. 모델의 텐서는 확장자가 있는 파일에 저장해야 합니다. .safetensors 자세한 내용은 세이프텐서를 참조하십시오. 모델 가중치를 세이프텐서 형식으로 변환하는 방법에 대한 자세한 내용은 가중치를 세이프텐서로 변환을 참조하십시오.

    참고

    • 현재 Amazon Bedrock은,, 정밀도를 포함한 모델 가중치만 지원합니다. FP32 FP16 BF16 Amazon Bedrock은 모델 중량을 다른 정밀도로 제공하는 경우 모델 중량을 거부합니다. Amazon Bedrock은 내부적으로 FP32 모델을 정밀도로 변환합니다. BF16

    • Amazon Bedrock은 양자화된 모델 가져오기를 지원하지 않습니다.

  • config.json — 예를 들어, 및 을 참조하십시오. LlamaConfigMistralConfig

  • 토크나이저_config.json — 예를 보려면 을 참조하십시오. LlamaTokenizer

  • 토크나이저.json

  • 토크나이저. 모델

모델 가져오기

다음 절차는 이미 사용자 지정한 모델을 가져와서 사용자 지정 모델을 만드는 방법을 보여줍니다. 모델 가져오기 작업은 몇 분 정도 걸릴 수 있습니다. 작업 중에 Amazon Bedrock은 모델이 호환 가능한 모델 아키텍처를 사용하는지 검증합니다.

모델 가져오기 작업을 제출하려면 다음 단계를 수행하십시오.

  1. 할당량 증가를 요청하세요. Imported models per account 자세한 내용은 할당량 증가 요청을 참조하십시오.

  2. Amazon S3에서 모델 파일을 가져오는 경우 모델을 다음으로 변환하십시오.Hugging Face 형식

    1. 모델이 다음과 같은 경우 Mistral AI 모델은 convert_mistral_weights_to_hf.py 를 사용하세요.

    2. 모델이 다음과 같은 경우 Llama 모델은 convert_llama_weights_to_hf.py 를 참조하십시오.

    3. 모델 파일을 내 Amazon S3 버킷에 업로드합니다. AWS 계정. 자세한 내용은 버킷에 객체 업로드를 참조하십시오.

  3. 에 로그인하십시오. AWS Management Console Amazon Bedrock 권한이 있는 IAM 역할을 사용하여 에서 Amazon Bedrock 콘솔을 엽니다. https://console.aws.amazon.com/bedrock/

  4. 왼쪽 탐색 창의 파운데이션 모델에서 가져온 모델을 선택합니다.

  5. 모델 탭을 선택합니다.

  6. 모델 가져오기를 선택합니다.

  7. 가져오기 탭에서 모델 가져오기를 선택하여 모델 가져오기 페이지를 엽니다.

  8. 모델 세부 정보 섹션에서 다음을 수행하십시오.

    1. 모델 이름에 모델 이름을 입력합니다.

    2. (선택 사항) 태그를 모델에 연결하려면 태그 섹션을 펼치고 새 태그 추가를 선택합니다.

  9. 작업 이름 가져오기 섹션에서 다음을 수행하십시오.

    1. Job name에 모델 가져오기 작업의 이름을 입력합니다.

    2. (선택 사항) 태그를 커스텀 모델에 연결하려면 태그 섹션을 펼치고 새 태그 추가를 선택합니다.

  10. 모델 가져오기 설정에서 사용하려는 가져오기 옵션을 선택합니다.

    • Amazon S3 버킷에서 모델 파일을 가져오는 경우, Amazon S3 버킷을 선택하고 S3 위치에 Amazon S3 위치를 입력합니다. 선택적으로 S3 찾아보기를 선택하여 파일 위치를 선택할 수 있습니다.

    • SageMakerAmazon에서 모델을 가져오는 경우 Amazon SageMaker 모델을 선택한 다음 SageMaker 모델로 가져올 SageMaker 모델을 선택합니다.

  11. 서비스 액세스 섹션에서 다음 중 하나를 선택합니다.

    • 새 서비스 역할 생성 및 사용 - 서비스 역할의 이름을 입력합니다.

    • 기존 서비스 역할 사용 - 드롭다운 목록에서 서비스 역할을 선택합니다. 기존 서비스 역할에 필요한 권한을 보려면 권한 세부 정보 보기를 선택합니다.

      적절한 권한으로 서비스 역할을 설정하는 방법에 대한 자세한 내용은 을 참조하십시오모델 가져오기를 위한 서비스 역할 생성.

  12. 가져오기를 선택합니다.

  13. 사용자 지정 모델 페이지에서 Import를 선택합니다.

  14. 작업 섹션에서 가져오기 작업의 상태를 확인합니다. 선택한 모델 이름은 모델 가져오기 작업을 식별합니다. 모델의 상태 값이 완료이면 작업이 완료된 것입니다.

  15. 다음을 수행하여 모델의 모델 ID를 가져오세요.

    1. 가져온 모델 페이지에서 모델 탭을 선택합니다.

    2. ARN열에서 사용하려는 모델의 모델을 복사합니다. ARN

  16. 모델을 추론 호출에 사용하세요. 자세한 내용은 를 사용하여 단일 프롬프트 제출 InvokeModel 단원을 참조하십시오. 온디맨드 처리량과 함께 모델을 사용할 수 있습니다.

    Amazon Bedrock 텍스트 플레이그라운드에서도 모델을 사용할 수 있습니다.