Neptune ML 데이터 처리 API

데이터 처리 작업:

• StartMLDataProcessingJob(동작)

• ListMLDataProcessingJobs(작업)

• GetMLDataProcessingJob(동작)

• CancelMLDataProcessingJob(동작)

ML 범용 구조:

• MlResourceDefinition(구조)

• MlConfigDefinition(구조)

StartMLDataProcessingJob(동작)

        이 API의 AWS CLI 이름은 start-ml-data-processing-job입니다.

Neptune에서 훈련용으로 내보낸 그래프 데이터를 처리하기 위한 새 Neptune ML 데이터 처리 작업을 만듭니다. dataprocessing 명령을 사용합니다.

IAM 인증이 사용 설정된 Neptune 클러스터에서 이 작업을 간접적으로 호출하는 경우 요청을 생성하는 IAM 사용자 또는 역할에는 해당 클러스터에서 neptune-db:StartMLModelDataProcessingJob IAM 작업을 허용하는 정책이 연결되어 있어야 합니다.

요청

• configFileName(CLI의 경우: --config-file-name) - String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  훈련용으로 내보낸 그래프 데이터를 로드하는 방법을 설명하는 데이터 사양 파일입니다. 파일은 Neptune 내보내기 도구 키트에 의해 자동으로 생성됩니다. 기본값은 training-data-configuration.json입니다.

• id(CLI의 경우: --id) - String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  새 작업의 고유 식별자입니다. 기본값은 자동 생성된 UUID입니다.

• inputDataS3Location(CLI의 경우: --input-data-s3-location) - 필수: String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  SageMaker가 데이터 처리 작업을 실행하는 데 필요한 데이터를 다운로드하도록 하려는 Amazon S3 위치의 URI입니다.

• modelType(CLI의 경우: --model-type) - String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  Neptune ML이 현재 지원하는 두 모델 유형인 이기종 그래프 모델(heterogeneous)과 지식 그래프(kge) 중 하나입니다. 기본값은 없습니다. 지정하지 않으면 Neptune ML은 데이터를 기반으로 모델 유형을 자동으로 선택합니다.

• neptuneIamRoleArn(CLI의 경우: --neptune-iam-role-arn) - String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  SageMaker가 사용자를 대신하여 작업을 수행하도록 수임할 수 있는 IAM 역할의 Amazon 리소스 이름(ARN)입니다. 이는 DB 클러스터 파라미터 그룹에 나열되어 있어야 합니다. 그렇지 않으면 오류가 발생합니다.

• previousDataProcessingJobId(CLI의 경우: --previous-data-processing-job-id) - String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  이전 버전의 데이터에서 실행된 완료 데이터 처리 작업의 작업 ID입니다.

• processedDataS3Location(CLI의 경우: --processed-data-s3-location) - 필수: String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  SageMaker가 데이터 처리 작업의 결과를 저장하게 하려는 Amazon S3 위치의 URI입니다.

• processingInstanceType(CLI의 경우: --processing-instance-type) - String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  데이터 처리 중에 사용되는 ML 인스턴스의 유형입니다. 메모리는 처리된 데이터 세트를 담을 수 있을 만큼 커야 합니다. 기본값은 디스크에서 내보낸 그래프 데이터 크기보다 10배 큰 메모리가 있는 가장 작은 ml.r5 유형입니다.

• processingInstanceVolumeSizeInGB(CLI의 경우: --processing-instance-volume-size-in-gb) - Integer, 유형은 integer(32비트 부호 있는 정수)입니다.

  처리 인스턴스의 디스크 볼륨 크기입니다. 입력 데이터와 처리된 데이터 모두 디스크에 저장되므로, 볼륨 크기는 두 데이터 세트를 모두 담을 수 있을 만큼 커야 합니다. 기본값은 0입니다. 지정하지 않거나 0으로 지정하면 Neptune ML은 데이터 크기를 기준으로 볼륨 크기를 자동으로 선택합니다.

• processingTimeOutInSeconds(CLI의 경우: --processing-time-out-in-seconds) - Integer, 유형은 integer(32비트 부호 있는 정수)입니다.

  데이터 처리 작업의 제한 시간(초)입니다. 기본값은 86,400(1일)입니다.

• s3OutputEncryptionKMSKey(CLI의 경우: --s-3-output-encryption-kms-key) - String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  SageMaker가 처리 작업의 출력을 암호화하는 데 사용하는 Amazon Key Management Service(Amazon KMS) 키입니다. 기본값은 없습니다.

• sagemakerIamRoleArn(CLI의 경우: --sagemaker-iam-role-arn) - String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  SageMaker를 실행하기 위한 IAM 역할의 ARN입니다. 이는 DB 클러스터 파라미터 그룹에 나열되어 있어야 합니다. 그렇지 않으면 오류가 발생합니다.

• securityGroupIds(CLI의 경우: --security-group-ids) - String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  VPC 보안 그룹 ID입니다. 기본값은 없습니다.

• subnets(CLI의 경우: --subnets) - String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  Neptune VPC의 서브넷 ID입니다. 기본값은 없습니다.

• volumeEncryptionKMSKey(CLI의 경우: --volume-encryption-kms-key) - String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  훈련 작업을 실행하는 ML 컴퓨팅 인스턴스에 연결된 스토리지 볼륨에서 데이터를 암호화하는 데 SageMaker가 사용하는 Amazon Key Management Service(Amazon KMS) 키입니다. 기본값은 없습니다.

응답

• arn - String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  데이터 처리 작업의 ARN입니다.

• creationTimeInMillis - Long, 유형은 long(64비트 부호 있는 정수)입니다.

  새 처리 작업을 생성하는 데 걸린 시간(밀리초)입니다.

• id - String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  새 데이터 처리 작업의 고유 ID입니다.

오류

• UnsupportedOperationException

• BadRequestException

• MLResourceNotFoundException

• InvalidParameterException

• ClientTimeoutException

• PreconditionsFailedException

• ConstraintViolationException

• InvalidArgumentException

• MissingParameterException

• IllegalArgumentException

• TooManyRequestsException

ListMLDataProcessingJobs(작업)

        이 API의 AWS CLI 이름은 list-ml-data-processing-jobs입니다.

Neptune ML 데이터 처리 작업 목록을 반환합니다. Neptune ML 데이터 처리 명령을 사용하여 활성 데이터 처리 작업 나열을 참조하세요.

IAM 인증이 활성화된 Neptune 클러스터에서 이 작업을 호출하는 경우 요청을 하는 IAM 사용자 또는 역할에는 해당 클러스터에서 neptune-db:ListMLDataProcessingJobs의 IAM 작업을 허용하는 정책이 연결되어 있어야 합니다.

요청

• maxItems(CLI의 경우: --max-items) - ListMLDataProcessingJobsInputMaxItemsInteger, 유형은 1~1,024자인 integer(32비트 부호 있는 정수)입니다.

  반환할 항목의 최대 수입니다(1~1024이며, 기본값은 10).

• neptuneIamRoleArn(CLI의 경우: --neptune-iam-role-arn) - String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  SageMaker와 Amazon S3 리소스에 대한 Neptune의 액세스 권한을 제공하는 IAM 역할의 ARN입니다. 이는 DB 클러스터 파라미터 그룹에 나열되어 있어야 합니다. 그렇지 않으면 오류가 발생합니다.

응답

• ids - String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  데이터 처리 작업 ID를 나열하는 페이지입니다.

오류

• UnsupportedOperationException

• BadRequestException

• MLResourceNotFoundException

• InvalidParameterException

• ClientTimeoutException

• PreconditionsFailedException

• ConstraintViolationException

• InvalidArgumentException

• MissingParameterException

• IllegalArgumentException

• TooManyRequestsException

GetMLDataProcessingJob(동작)

        이 API의 AWS CLI 이름은 get-ml-data-processing-job입니다.

지정된 데이터 처리 작업에 대한 정보를 검색합니다. dataprocessing 명령을 사용합니다.

IAM 인증이 활성화된 Neptune 클러스터에서 이 작업을 호출하는 경우 요청을 하는 IAM 사용자 또는 역할에는 해당 클러스터에서 neptune-db:neptune-db:GetMLDataProcessingJobStatus IAM 작업을 허용하는 정책이 연결되어 있어야 합니다.

요청

• id(CLI의 경우: --id) - 필수: String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  검색할 데이터 처리 작업의 고유 식별자입니다.

• neptuneIamRoleArn(CLI의 경우: --neptune-iam-role-arn) - String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  SageMaker와 Amazon S3 리소스에 대한 Neptune의 액세스 권한을 제공하는 IAM 역할의 ARN입니다. 이는 DB 클러스터 파라미터 그룹에 나열되어 있어야 합니다. 그렇지 않으면 오류가 발생합니다.

응답

• id - String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  이 데이터 처리 작업의 고유 식별자입니다.

• processingJob – MlResourceDefinition 객체입니다.

  데이터 처리 작업의 정의입니다.

• status - String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  데이터 처리 작업의 상태입니다.

오류

• UnsupportedOperationException

• BadRequestException

• MLResourceNotFoundException

• InvalidParameterException

• ClientTimeoutException

• PreconditionsFailedException

• ConstraintViolationException

• InvalidArgumentException

• MissingParameterException

• IllegalArgumentException

• TooManyRequestsException

CancelMLDataProcessingJob(동작)

        이 API의 AWS CLI 이름은 cancel-ml-data-processing-job입니다.

Neptune ML 데이터 처리 작업을 취소합니다. dataprocessing 명령을 사용합니다.

IAM 인증이 활성화된 Neptune 클러스터에서 이 작업을 호출하는 경우 요청을 하는 IAM 사용자 또는 역할에는 해당 클러스터에서 Neptune-DB:CancelmlDataProcessingJob IAM 작업을 허용하는 정책이 연결되어 있어야 합니다.

요청

• clean(CLI의 경우: --clean) - Boolean, 유형은 boolean(부울(true 또는 false) 값)입니다.

  TRUE로 설정된 경우 이 플래그는 작업이 중지될 때 모든 Neptune ML S3 아티팩트를 삭제하도록 지정합니다. 기본값은 FALSE입니다.

• id(CLI의 경우: --id) - 필수: String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  데이터 처리 작업의 고유 식별자입니다.

• neptuneIamRoleArn(CLI의 경우: --neptune-iam-role-arn) - String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  SageMaker와 Amazon S3 리소스에 대한 Neptune의 액세스 권한을 제공하는 IAM 역할의 ARN입니다. 이는 DB 클러스터 파라미터 그룹에 나열되어 있어야 합니다. 그렇지 않으면 오류가 발생합니다.

응답

• status - String, 유형은 string(UTF-8 인코딩 문자열)입니다.

  취소 요청의 상태입니다.

오류

• UnsupportedOperationException

• BadRequestException

• MLResourceNotFoundException

• InvalidParameterException

• ClientTimeoutException

• PreconditionsFailedException

• ConstraintViolationException

• InvalidArgumentException

• MissingParameterException

• IllegalArgumentException

• TooManyRequestsException

ML 범용 구조:

MlResourceDefinition(구조)

Neptune ML 리소스를 정의합니다.

필드

• arn - String이며, 유형은 string(UTF-8 인코딩 문자열)입니다.

  리소스 ARN입니다.

• cloudwatchLogUrl - String이며, 유형은 string(UTF-8 인코딩 문자열)입니다.

  리소스의 CloudWatch 로그 URL입니다.

• failureReason - String이며, 유형은 string(UTF-8 인코딩 문자열)입니다.

  실패 사유(실패 시)입니다.

• name - String이며, 유형은 string(UTF-8 인코딩 문자열)입니다.

  리소스 이름입니다.

• outputLocation - String이며, 유형은 string(UTF-8 인코딩 문자열)입니다.

  출력 위치입니다.

• status - String이며, 유형은 string(UTF-8 인코딩 문자열)입니다.

  리소스 상태입니다.

MlConfigDefinition(구조)

Neptune ML 구성을 포함합니다.

필드

• arn - String이며, 유형은 string(UTF-8 인코딩 문자열)입니다.

  구성의 ARN입니다.

• name - String이며, 유형은 string(UTF-8 인코딩 문자열)입니다.

  구성 이름입니다.