기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
배치 추론 실행
참고
배치 추론은 현재 미리 보기이므로 변경될 수도 있습니다. 배치 추론은 현재 API를 통해서만 사용할 수 있습니다. 다음 SDK를 통해 배치 API에 액세스할 수 있습니다.
SDK를 사용할 가상 환경을 만드는 것이 좋습니다. 최신 SDK에서는 일괄 추론 API를 사용할 수 없으므로 일괄 추론 API가 포함된 버전을 설치하기 전에 가상 환경에서 최신 버전의 SDK를 제거하는 것이 좋습니다. 가이드 예제는 을 참조하십시오. 코드 샘플
배치 추론을 사용하면 여러 추론 요청을 비동기적으로 실행하여 S3 버킷에 저장된 데이터에 대해 추론을 실행함으로써 많은 요청을 효율적으로 처리할 수 있습니다. 배치 추론을 사용하여 대규모 데이터 세트에 대한 모델 추론 성능을 개선할 수 있습니다.
참고
프로비저닝된 모델에는 Batch 추론이 지원되지 않습니다.
배치 추론을 위한 할당량을 보려면 배치 추론 할당량 섹션을 참조하세요.
Amazon Bedrock은 다음 모델에 대한 배치 추론을 지원합니다.
-
텍스트-임베딩
-
텍스트-텍스트
-
텍스트-이미지
-
이미지-이미지
-
이미지에서 임베딩으로
Amazon S3 버킷에 데이터를 저장하여 배치 추론을 준비할 수 있습니다. 그런 다음 ModelInvocationJob API를 사용하여 배치 추론 작업을 수행하고 관리할 수 있습니다.
배치 추론을 수행하려면 먼저 배치 추론 API를 호출할 수 있는 권한을 부여받아야 합니다. 그런 다음 배치 추론 작업을 수행할 권한을 갖도록 IAM Amazon Bedrock 서비스 역할을 구성합니다.
다음 AWS SDK 패키지 중 하나를 다운로드하고 설치하여 일괄 추론 API를 사용할 수 있습니다.
