배치 추론 작업 생성

모델 추론을 실행하기 위한 파일로 Amazon S3 버킷을 설정한 후 일괄 추론 작업을 생성할 수 있습니다. 배치 추론 작업을 생성하는 방법을 알아보려면 선택한 방법에 해당하는 탭을 선택하고 단계를 따르십시오.

Console

일괄 추론 작업을 만들려면

1. 에 로그인하십시오. AWS Management Console Amazon Bedrock 권한이 있는 IAM 역할을 사용하여 에서 Amazon Bedrock 콘솔을 엽니다. https://console.aws.amazon.com/bedrock/

2. 왼쪽 탐색 창에서 Batch 추론을 선택합니다.

3. Batch 추론 작업 섹션에서 작업 생성을 선택합니다.

4. Job details 섹션에서 배치 추론 작업에 Job 이름을 지정하고 모델 선택을 선택하여 배치 추론 작업에 사용할 모델을 선택합니다.

5. 입력 데이터 섹션에서 S3 찾아보기를 선택하고 배치 추론 작업에 사용할 파일이 들어 있는 S3 위치를 선택합니다. 파일이 에 설명된 형식을 준수하는지 확인하십시오. 추론 데이터의 형식 지정 및 업로드

6. 출력 데이터 섹션에서 S3 찾아보기를 선택하고 배치 추론 작업의 출력 파일을 저장할 S3 위치를 선택합니다. 기본적으로 출력 데이터는 다음을 통해 암호화됩니다. AWS 관리형 키. 사용자 지정 KMS 키를 선택하려면 암호화 설정 사용자 지정 (고급) 을 선택하고 키를 선택합니다. Amazon Bedrock 데이터 암호화 및 사용자 지정 KMS 키 설정에 대한 자세한 내용은 을 참조하십시오. 데이터 암호화

7. 서비스 액세스 섹션에서 다음 옵션 중 하나를 선택합니다.

   • 기존 서비스 역할 사용 - 드롭다운 목록에서 서비스 역할을 선택합니다. 적절한 권한이 있는 사용자 지정 역할을 설정하는 방법에 대한 자세한 내용은 일괄 추론에 필요한 권한 섹션을 참조하세요.

   • 새 서비스 역할 생성 및 사용 - 서비스 역할의 이름을 입력합니다.

8. (선택 사항) 태그를 일괄 추론 작업에 연결하려면 태그 섹션을 확장하고 각 태그의 키와 선택적 값을 추가합니다. 자세한 내용은 태그를 사용한 리소스 관리 단원을 참조하십시오.

9. 배치 추론 작업 생성을 선택합니다.

API

일괄 추론 작업을 생성하려면 Amazon Bedrock 컨트롤 플레인 엔드포인트를 사용하여 CreateModelInvocationJob요청 (요청 및 응답 형식과 필드 세부 정보는 링크 참조) 을 보내십시오.

필수 필드는 다음과 같습니다.

필드	사용 사례
jobName	작업 이름을 지정하려면
roleArn	작업을 생성하고 관리할 권한이 있는 서비스 역할의 Amazon 리소스 이름 (ARN) 을 지정합니다. 자세한 내용은 배치 추론을 위한 서비스 역할 생성 단원을 참조하십시오.
modelId	추론에 사용할 ARN 모델의 ID 또는 ID를 지정합니다.
inputDataConfig	작업에 제출할 프롬프트 및 구성이 포함된 S3 위치를 지정합니다. 자세한 내용은 추론 데이터의 형식 지정 및 업로드 단원을 참조하십시오.
outputDataConfig	모델 응답을 기록할 S3 위치를 지정합니다.

다음 필드는 선택 사항입니다.

필드	사용 사례
timeoutDurationIn시간	작업 제한 시간이 경과되는 기간을 시간 단위로 지정합니다.
tags	작업과 연결할 태그를 지정합니다. 자세한 내용은 태그를 사용한 리소스 관리 단원을 참조하십시오.
clientRequestToken	API요청이 한 번만 완료되도록 하기 위한 식별자입니다.

응답은 다른 일괄 API 추론 관련 호출을 수행할 때 작업을 참조하는 데 사용할 수 있는 jobArn a를 반환합니다.