EmrCluster - AWS Data Pipeline
스케줄러Amazon EMR 릴리스 버전Amazon EMR 권한구문참고

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

EmrCluster

Amazon EMR 클러스터의 구성을 나타냅니다. 이 객체는 EmrActivity 및 HadoopActivity에 의해 클러스터를 시작합니다.

내용

스케줄러

스케줄러는 Hadoop 클러스터에서 리소스 할당 및 작업 우선 순위를 지정하는 방법을 제공합니다. 관리자 또는 사용자는 사용자 및 애플리케이션의 다양한 클래스에 대한 스케줄러를 선택할 수 있습니다. 스케줄러는 대기열을 사용하여 사용자 및 애플리케이션에 리소스를 할당할 수 있습니다. 클러스터를 생성할 때 이러한 대기열을 설정합니다. 그런 다음 특정 작업 유형 및 사용자에 우선순위를 설정할 수 있습니다. 이렇게 하면 클러스터 리소스를 효과적으로 사용할 수 있으며 둘 이상의 사용자가 클러스터에 작업을 제출할 수 있습니다. 세 가지 유형의 스케줄러를 사용할 수 있습니다.

  • FairScheduler— 상당한 기간 동안 리소스를 균등하게 스케줄링하려고 시도합니다.

  • CapacityScheduler— 대기열을 사용하여 클러스터 관리자가 다양한 우선 순위와 리소스 할당의 대기열에 사용자를 할당할 수 있습니다.

  • Default — 기본 스케줄러 사이트를 구성할 수 있는 클러스터에 사용되는 스케줄러입니다.

Amazon EMR 릴리스 버전

Amazon EMR 릴리스는 빅 데이터 에코시스템의 오픈 소스 애플리케이션입니다. 각 릴리스는 클러스터를 생성할 때 Amazon EMR을 설치하고 구성하도록 선택한 여러 빅 데이터 애플리케이션, 구성 요소 및 기능으로 구성됩니다. 릴리스 레이블을 사용하여 릴리스 버전을 지정합니다. 릴리스 레이블은 emr-x.x.x 형식입니다. 예를 들어 emr-5.30.0입니다. 릴리스 레이블 emr-4.0.0을 기반으로 한 Amazon EMR 클러스터는 나중에 releaseLabel 속성을 사용하여 EmrCluster 객체의 릴리스 레이블을 지정합니다. 이전 버전에서는 amiVersion 속성을 사용합니다.

중요

릴리스 버전 5.22.0 이상을 사용하여 생성된 모든 Amazon EMR 클러스터는 나중에 서명 버전 4를 사용하여 Amazon S3에 대한 요청을 인증합니다. 일부 이전 릴리스 버전에서는 서명 버전 2를 사용합니다. 서명 버전 2 지원이 중단되고 있습니다. 자세한 내용은 Amazon S3 업데이트 — SigV2 사용 중단 기간 연장 및 수정을 참조하십시오. 서명 버전 4를 지원하는 Amazon EMR 릴리스 버전을 사용하는 것이 좋습니다. EMR 4.7.x부터 이전 릴리스 버전의 경우 시리즈의 최신 릴리스가 서명 버전 4를 지원하도록 업데이트되었습니다. 이전 버전의 EMR 릴리스를 사용하는 경우 시리즈의 최신 릴리스를 사용하는 것이 좋습니다. 또한 EMR 4.7.0 이전 릴리스는 사용하지 마십시오.

고려 사항 및 제한

최신 버전의 Task Runner 사용

릴리스 레이블을 가지고 자체 관리형 EmrCluster 객체를 사용 중인 경우에는 최신 Task Runner를 사용합니다. 작업 실행기에 대한 정보는 Task Runner로 작업하기를 참조하십시오. 모든 Amazon EMR 구성 분류에 대한 속성 값을 구성할 수 있습니다. 자세한 내용을 알아보려면 Amazon EMR 릴리스 안내서, EmrConfiguration 및 속성 객체 참조의 구성 애플리케이션을 참조하십시오.

IMDSv2에 대한 지원

이전에는 IMDSv1만 지원되었습니다. AWS Data Pipeline 이제 아마존 EMR 5.23.1, 5.27.1, 5.32 이상 버전과 아마존 EMR 6.2 이상에서 IMDSv2를 AWS Data Pipeline 지원합니다. IMDSv2는 세션 지향 방법을 사용하여 인스턴스에서 메타데이터 정보를 검색할 때 인증을 더 잘 처리합니다. -2.0을 사용하여 사용자 관리형 리소스를 생성하여 IMDSv2 호출을 수행하도록 인스턴스를 구성해야 합니다. TaskRunner

Amazon EMR 5.32 이상 및 Amazon EMR 6.x

Amazon EMR 5.32 이상 및 6.x 릴리스 시리즈는 Hadoop 버전 3.x를 사용합니다. 이 버전에서는 Hadoop 버전 2.x와 비교하여 Hadoop의 클래스 경로를 평가하는 방식이 크게 변경되었습니다. Joda-Time과 같은 일반 라이브러리는 클래스 경로에서 제거되었습니다.

EmrActivity 또는 HadoopActivity이(가) Hadoop 3.x에서 제거된 라이브러리에 대한 종속성이 있는 Jar 파일을 실행하는 경우, 단계는 오류 java.lang.NoClassDefFoundError 또는 java.lang.ClassNotFoundException이(가) 발생하면서 실패합니다. Amazon EMR 5.x 릴리스 버전을 사용하여 문제 없이 실행한 Jar 파일에서 이 문제가 발생할 수 있습니다.

문제를 해결하려면 EmrActivity 또는 HadoopActivity을(를) 시작하기 전에 Jar 파일 종속성을 EmrCluster 상의 객체의 Hadoop 클래스 경로에 복사해야 합니다. 이를 수행할 bash 스크립트를 제공합니다. bash 스크립트는 다음 위치에서 사용할 수 있습니다 (예: EmrCluster 객체가 AWS 실행되는 지역). MyRegionus-west-2 

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh

스크립트 실행 방법은 자체 관리 리소스에서 실행되는지 EmrActivity 아니면 HadoopActivity 자체 관리 리소스에서 실행되는지에 따라 달라집니다. AWS Data Pipeline

에서 관리하는 AWS Data Pipeline리소스를 사용하는 경우 EmrCluster 객체에 bootstrapAction a를 추가하십시오. bootstrapAction은(는) 복사할 스크립트와 Jar 파일을 인수로 지정합니다. EmrCluster 객체당 최대 255개의 bootstrapAction 필드를 추가할 수 있으며 bootstrapAction 필드를 이미 부트스트랩 작업이 있는 EmrCluster 객체에 추가할 수 있습니다.

이 스크립트를 부트스트랩 작업으로 지정하려면 다음 구문을 사용합니다. 여기서 JarFileRegion 는 Jar 파일이 저장되는 지역이고, 각 MyJarFilen은 하둡 클래스 경로로 복사할 Jar 파일의 Amazon S3의 절대 경로입니다. 기본적으로 Hadoop 클래스 경로에 있는 Jar 파일은 지정하지 마십시오.

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,JarFileRegion,MyJarFile1,MyJarFile2[, ...]

다음 예제는 Amazon S3에 있는 Jar 파일 두 개(my-jar-file.jar 및 emr-dynamodb-tool-4.14.0-jar-with-dependencies.jar)를 복사하는 부트스트랩 작업을 지정합니다. 이 예에서 사용되는 리전은 us-west-2입니다.

{
  "id" : "MyEmrCluster",
  "type" : "EmrCluster",
  "keyPair" : "my-key-pair",
  "masterInstanceType" : "m5.xlarge",
  "coreInstanceType" : "m5.xlarge",
  "coreInstanceCount" : "2",
  "taskInstanceType" : "m5.xlarge",
  "taskInstanceCount": "2",
  "bootstrapAction" : ["s3://datapipeline-us-west-2/us-west-2/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,us-west-2,s3://path/to/my-jar-file.jar,s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar"]
}

파이프라인을 저장하고 활성화해야 새 bootstrapAction에 대한 변경 사항이 적용됩니다.

자체 관리형 리소스를 사용하는 경우, 스크립트를 클러스터 인스턴스로 다운로드하고 SSH를 사용하여 명령줄에서 실행할 수 있습니다. 스크립트는 /etc/hadoop/conf/shellprofile.d(이)라는 이름이 지정된 디렉터리와 해당 디렉터리에 datapipeline-jars.sh(이)라는 이름의 파일을 생성합니다. 명령줄 인수로 제공된 jar 파일은 스크립트에서 만든 /home/hadoop/datapipeline_jars(이)라는 디렉터리에 복사됩니다. 클러스터가 다르게 설정된 경우 스크립트를 다운로드한 후 적절하게 수정하십시오.

명령줄에서 스크립트를 실행하는 구문은 이전 예제에 표시된 bootstrapAction을(를) 사용하는 것과 약간 다릅니다. 다음 예제에서 볼 수 있듯이 같이 인수 간에 쉼표 대신 스페이스를 사용합니다.

./copy-jars-to-hadoop-classpath.sh us-west-2 s3://path/to/my-jar-file.jar s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar

Amazon EMR 권한

사용자 지정 IAM 역할을 생성하는 경우, 작업을 수행하기 위해 클러스터에 필요한 최소 권한을 신중하게 고려하십시오. Amazon S3에 있는 파일, Amazon RDS Amazon Redshift 또는 DynamoDB에 있는 데이터와 같은 필수 리소스에 권한을 부여해야 합니다. visibleToAllUsers를 false로 설정하려면 역할에 적절한 해당 권한이 있어야 합니다. DataPipelineDefaultRole에는 해당 권한이 없음을 참조하십시오. EmrCluster 객체 역할로서 DataPipelineDefaultRole 역할 및 DefaultDataPipelineResourceRole 객체 역할의 조합을 제공하거나 이런 목적을 위해 직접 역할을 생성해야 합니다.

구문

액체 호출 필드 설명 슬롯 유형
schedule 이 객체는 예약 간격을 실행할 때 호출됩니다. 이 객체의 종속 실행 순서를 설정하려면 다른 객체로 일정 참조를 지정합니다. 사용자가 객체에서 일정을 명확히 설정하여(예: "schedule": {"ref": "DefaultSchedule"} 지정)하여 이 요건을 충족할 수 있습니다. 대부분의 경우에서는 모든 객체가 상속할 수 있도록 일정 참조를 기본 파이프라인 객체에 두는 것이 좋습니다. 또는 파이프라인에 일정 트리가 있는 경우(마스터 일정 안의 일정) 사용자가 일정 참조가 있는 부모 객체를 생성할 수 있습니다. 선택형 일정 구성 예제에 대한 자세한 내용은 https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html 단원을 참조하십시오. 참조 객체, 예: "schedule":{"ref":"myScheduleId"}

선택 필드 설명 슬롯 유형
actionOnResource실패 이 리소스의 리소스 실패 후 취한 조치입니다. 유효 값은 지정 시간 동안 클러스터의 모든 작업을 재시도하는 "retryall"과 "retrynone"입니다. String
actionOnTask실패 이 리소스의 작업 실패 후 취한 조치입니다. 유효 값은 클러스터를 종료하지 않는 "continue"와 "terminate"입니다. String
additionalMasterSecurityGroupIds EMR 클러스터의 추가 마스터 보안 그룹의 식별자로, sg-01XXXX6a 형식을 따릅니다. 자세한 내용은 Amazon EMR 관리 안내서의 Amazon EMR 추가 보안 그룹을 참조하십시오. String
additionalSlaveSecurityGroupIds EMR 클러스터의 추가 슬레이브 보안 그룹의 식별자로, sg-01XXXX6a 형식을 따릅니다. String
amiVersion 클러스터 노드를 설치할 때 Amazon EMR이 사용하는 Amazon Machine Image(AMI) 버전입니다. 자세한 내용은 Amazon EMR 관리 안내서를 참조하세요. String
애플리케이션 쉼표로 구분된 인수가 있는 클러스터에 설치하는 애플리케이션입니다. 기본적으로 Hive 및 Pig가 설치됩니다. 이 파라미터는 Amazon EMR 버전 4.0 이상에만 적용됩니다. String
attemptStatus 원격 활동에서 가장 최근에 보고한 상태입니다. String
attemptTimeout 원격 작업 완료의 제한 시간입니다. 이 필드를 설정하면 설정된 시작 시간 이내에 완료되지 않는 원격 활동을 재시도할 수 있습니다. 기간
availabilityZone 클러스터를 실행할 가용 영역입니다. String
bootstrapAction 클러스터가 시작될 때 실행할 작업입니다. 쉼표로 구분된 인수를 지정할 수 있습니다. 최대 255개까지 여러 작업을 지정하려면 여러 bootstrapAction 필드를 추가합니다. 기본 동작은 부트스트랩 작업이 없는 클러스터를 시작하는 것입니다. String
구성 Amazon EMR에 대한 구성. 이 파라미터는 Amazon EMR 버전 4.0 이상에만 적용됩니다. 참조 객체, 예:"configuration":{"ref":"myEmrConfigurationId"}
coreInstanceBid가격 Amazon EC2 인스턴스에 대해 지불하고자 하는 최고 스팟 가격입니다. 입찰 가격이 정해지면 Amazon EMR은 인스턴스 그룹에 대해 스팟 인스턴스를 활성화합니다. 달러 단위로 지정됩니다. String
coreInstanceCount 클러스터에 사용할 코어 노드의 수입니다. Integer
coreInstanceType 코어 노드에 사용할 Amazon EC2 인스턴스의 유형입니다. 지원된 Amazon EMR 클러스터에 대한 Amazon EC2 인스턴스 섹션을 참조하세요. String
coreGroupConfiguration Amazon EMR 클러스터 코어 인스턴스 그룹의 구성. 이 파라미터는 Amazon EMR 버전 4.0 이상에만 적용됩니다. 참조 객체, 예: “configuration”: {“ref”: “myEmrConfigurationId”}
coreEbsConfiguration Amazon EMR 클러스터의 코어 그룹에서 각 코어 노드에 연결될 Amazon EBS 볼륨의 구성입니다. 자세한 내용은 Amazon EC2 사용 설명서의 EBS 최적화를 지원하는 인스턴스 유형을 참조하십시오. 참조 객체, 예: “coreEbsConfiguration”: {“ref”: “myEbsConfiguration”}
customAmiId Amazon EMR 릴리스 5.7.0 이상에만 적용됩니다. Amazon EMR이 Amazon EC2 인스턴스를 프로비저닝할 때 사용할 사용자 지정 AMI의 AMI ID를 지정합니다. 부트스트랩 작업 대신 클러스터 노드 구성을 사용자 지정하는 데 사용할 수도 있습니다. 자세한 내용은 Amazon EMR 관리 안내서에서 다음 항목을 참조하십시오. 사용자 지정 AMI 사용 String
EbsBlockDeviceConfig

인스턴스 그룹과 연결된 요청한 Amazon EBS 블록 디바이스의 구성입니다. 인스턴스 그룹의 각 인스턴스와 연결될 지정된 개수의 볼륨을 포함합니다. volumesPerInstance 및 volumeSpecification을 포함합니다. 여기서,

  • volumesPerInstance는 인스턴스 그룹의 각 인스턴스와 연결될 특정 볼륨 구성이 포함된 EBS 볼륨 수입니다.

  • volumeSpecification은(는) Amazon EMR 클러스터의 EC2 인스턴스에 연결된 EBS 볼륨에 대해 요청될 기비바이트(GiB)의 볼륨 유형, IOPS 및 크기 같은 Amazon EBS 볼륨 사양입니다.

 참조 객체, 예: “EbsBlockDeviceConfig”: {“ref”: “myEbsBlockDeviceConfig”}
emrManagedMasterSecurityGroupId Amazon EMR 클러스터의 마스터 보안 그룹 식별자로, sg-01XXXX6a 형식을 따릅니다. 자세한 내용을 알아보려면 Amazon EMR 관리 안내서의 인스턴스 플릿 구성을 참조하십시오. String
emrManagedSlaveSecurityGroupId Amazon EMR 클러스터의 슬레이브 보안 그룹 식별자로, sg-01XXXX6a 형식을 따릅니다. String
enableDebugging Amazon EMR 클러스터에서 디버깅을 활성화합니다. String
failureAndRerun모드 종속 요소에 장애가 있거나 재시도될 때의 소비자 노드 거동을 설명합니다. 열거
hadoopSchedulerType 클러스터의 스케줄러 유형입니다. 유효한 형식은 PARALLEL_FAIR_SCHEDULING, PARALLEL_CAPACITY_SCHEDULING, 및 DEFAULT_SCHEDULER입니다. 열거
httpProxy 클라이언트가 AWS 서비스에 연결할 때 사용할 프록시 호스트입니다. 참조 객체 (예: “HttpProxy”: {"ref”:” myHttpProxy Id "}
initTimeout 리소스가 시작되기 전까지의 대기 시간입니다. 기간
keyPair Amazon EMR 클러스터의 마스터 노드에 로그인할 때 사용하는 Amazon EC2 키 페어입니다. String
lateAfterTimeout 파이프라인 시작 후 객체가 완료되어야 하는 경과 시간입니다. 스케줄 유형이 ondemand(으)로 설정되지 않은 경우에만 트리거됩니다. 기간
masterInstanceBid가격 Amazon EC2 인스턴스에 대해 지불하고자 하는 최고 스팟 가격입니다. 0~20.00 사이의 십진수 값을 지정합니다. 달러 단위로 지정됩니다. 이 값을 설정하면 Amazon EMR 클러스터 마스터 노드의 스팟 인스턴스가 활성화됩니다. 입찰 가격이 정해지면 Amazon EMR은 인스턴스 그룹에 대해 스팟 인스턴스를 활성화합니다. String
masterInstanceType 마스터 노드에 사용할 Amazon EC2 인스턴스의 유형입니다. 지원된 Amazon EMR 클러스터에 대한 Amazon EC2 인스턴스 섹션을 참조하세요. String
masterGroupConfiguration Amazon EMR 클러스터 마스터 인스턴스 그룹의 구성입니다. 이 파라미터는 Amazon EMR 버전 4.0 이상에만 적용됩니다. 참조 객체, 예: “configuration”: {“ref”: “myEmrConfigurationId”}
masterEbsConfiguration Amazon EMR 클러스터의 마스터 그룹에서 각 마스터 노드에 연결될 Amazon EBS 볼륨의 구성입니다. 자세한 내용은 Amazon EC2 사용 설명서의 EBS 최적화를 지원하는 인스턴스 유형을 참조하십시오. 참조 객체, 예: “masterEbsConfiguration”: {“ref”: “myEbsConfiguration”}
maxActiveInstances 구성요소의 동시 활성 인스턴스 최대수입니다. 재실행은 활성 인스턴스의 수에 포함되지 않습니다. Integer
maximumRetries 장애 시 재시도 최대 횟수. Integer
onFail 현재 객체에 장애가 있을 때 실행할 작업입니다. 참조 객체, 예:"onFail":{"ref":"myActionId"}
onLateAction 객체가 아직 예약되지 않았거나 여전히 완료되지 않은 경우에 트리거해야 하는 작업입니다. 참조 객체, 예:"onLateAction":{"ref":"myActionId"}
onSuccess 현재 객체가 성공하면 실행할 작업입니다. 참조 객체, 예:"onSuccess":{"ref":"myActionId"}
parent 슬롯을 상속해 올 현재 객체의 상위 객체입니다. 참조 객체, 예:"parent":{"ref":"myBaseObjectId"}
pipelineLogUri 파이프라인의 로그를 업로드하기 위한 Amazon S3 URI (예: 's3://BucketName/Key/ '). String
region Amazon EMR 클러스터가 실행되어야 할 리전의 코드입니다. 기본적으로 이 클러스터는 파이프라인과 동일한 리전에서 실행됩니다. 종속 데이터 세트와 동일한 리전에서 클러스터를 실행할 수 있습니다. 열거
releaseLabel EMR 클러스터용 릴리스 레이블. String
reportProgressTimeout 원격 작업에서 reportProgress를 연속으로 호출하는 제한 시간입니다. 이 필드를 설정하면 지정된 기간 동안 진행 상황을 보고하지 않는 원격 활동은 중단된 것으로 간주하고 재시도할 수 있습니다. 기간
resourceRole Amazon EMR 클러스터를 생성하는 데 AWS Data Pipeline 사용하는 IAM 역할. 기본 역할은 DataPipelineDefaultRole입니다. String
retryDelay 두 번의 재시도 사이의 제한 시간 간격입니다. 기간
역할 EC2 노드를 생성하기 위해 Amazon EMR로 전달되는 IAM 역할입니다. String
runsOn 이 객체에서는 이 필드가 허용되지 않습니다. 참조 객체, 예:"runsOn":{"ref":"myResourceId"}
securityConfiguration 클러스터에 적용된 EMR 보안 구성의 식별자 이름입니다. 이 파라미터는 Amazon EMR 버전 4.8.0. 이상에만 적용됩니다. String
serviceAccessSecurityGroupId Amazon EMR 클러스터의 서비스 액세스 보안 그룹의 식별자입니다. 문자열. sg-01XXXX6a 형식을 따릅니다. 예: sg-1234abcd.
scheduleType 일정 유형을 사용하여 파이프라인 정의에 있는 객체의 일정을 간격 시작 시점으로 또는 종료 시점으로 지정할 수 있습니다. 값은 cron, ondemand 및 timeseries입니다. timeseries 일정 조정은 각 간격이 종료될 때 인스턴스 일정이 지정됩니다. cron 일정 조정은 각 간격이 시작될 때 인스턴스 일정이 지정됩니다. ondemand 일정을 사용하면 활성화될 때마다 한 번씩 파이프라인을 실행할 수 있습니다. 그러므로 다시 실행하기 위해 파이프라인을 복제하거나 다시 생성할 필요가 없습니다. ondemand 일정을 사용하려면 기본 객체에서 지정해야 하며, 이것이 파이프라인의 객체에 지정된 유일한 scheduleType이어야 합니다. ondemand 파이프라인을 사용하려면 후속 실행마다 ActivatePipeline 작업을 호출합니다. 열거
subnetId Amazon EMR 클러스터를 시작할 서브넷의 식별자입니다. String
supportedProducts Amazon EMR 클러스터에 타사 소프트웨어를 설치하는 파라미터입니다(예: 타사 Hadoop 배포 버전 설치). String
taskInstanceBid가격 EC2 인스턴스에 대해 지불하고자 하는 최고 스팟 가격입니다. 0~20.00 사이의 십진수 값을 지정합니다. 달러 단위로 지정됩니다. 입찰 가격이 정해지면 Amazon EMR은 인스턴스 그룹에 대해 스팟 인스턴스를 활성화합니다. String
taskInstanceCount Amazon EMR 클러스터에 사용할 작업 노드의 수입니다. Integer
taskInstanceType 작업 노드에 사용할 Amazon EC2 인스턴스의 유형입니다. String
taskGroupConfiguration Amazon EMR 클러스터 작업 인스턴스 그룹의 구성입니다. 이 파라미터는 Amazon EMR 버전 4.0 이상에만 적용됩니다. 참조 객체, 예: “configuration”: {“ref”: “myEmrConfigurationId”}
taskEbsConfiguration Amazon EMR 클러스터의 작업 그룹에서 각 작업 노드에 연결될 Amazon EBS 볼륨의 구성입니다. 자세한 내용은 Amazon EC2 사용 설명서의 EBS 최적화를 지원하는 인스턴스 유형을 참조하십시오. 참조 객체, 예: “taskEbsConfiguration”: {“ref”: “myEbsConfiguration”}
terminateAfter 이 여러 시간 이후에 리소스를 종료합니다. Integer
VolumeSpecification

Amazon EMR 클러스터의 Amazon EC2 인스턴스에 연결된 Amazon EBS 볼륨에 대해 요청될 기비바이트(GiB)의 볼륨 유형, IOPS 및 크기 같은 Amazon EBS 볼륨 사양입니다. 이 노드는 코어, 마스터 또는 작업 노드일 수 있습니다.

VolumeSpecification에는 다음이 포함됩니다.

  • iops() 정수. Amazon EBS 볼륨이 지원하는 초당 I/O 작업 수(IOPS)입니다(예: 1000). 자세한 내용은 Amazon EC2 사용 설명서의 EBS I/O 특성을 참조하십시오.

  • sizeinGB(). 정수. 기비바이트(GiB) 단위의 Amazon EBS 볼륨 크기입니다(예: 500). 볼륨 유형과 하드 드라이브 크기의 유효한 조합에 대한 자세한 내용은 Amazon EC2 사용 설명서의 EBS 볼륨 유형을 참조하십시오.

  • volumetType. 문자열. Amazon EBS 볼륨 유형. 예: gp2. 지원되는 볼륨 유형에는 gp2, io1, st1, sc1 등이 있습니다. 자세한 내용은 Amazon EC2 사용 설명서의 EBS 볼륨 유형을 참조하십시오.

 참조 객체, 예: “VolumeSpecification”: {“ref”: “myVolumeSpecification”}
useOnDemandOnLastAttempt 리소스를 마지막으로 요청할 때 스팟 인스턴스가 아니라 온디맨드 인스턴스를 요청합니다. 이렇게 하면 이전의 시도가 모두 실패했어도 마지막 시도가 중단되지 않습니다. 불
workerGroup 이 객체에서 허용되지 않는 필드. String

실행 시간 필드 설명 슬롯 유형
@activeInstances 현재 예약되어 있는 활성 인스턴스 객체의 목록입니다. 참조 객체 (예: “액티브 인스턴스”: {"ref”:” Id "} myRunnableObject
@actualEndTime 이 객체의 실행이 완료된 시간입니다. DateTime
@actualStartTime 이 객체의 실행이 시작된 시간입니다. DateTime
cancellationReason 이 객체가 취소된 경우의 cancellationReason입니다. String
@cascadeFailedOn 객체 실패가 발생한 종속 체인에 대한 설명입니다. 참조 객체 (예: "cascadeFailedOn“: {" ref”:” Id "} myRunnableObject
emrStepLog Amazon EMR 활동을 시도할 때만 사용할 수 있는 단계 로그. String
errorId 이 객체가 실패한 경우의 오류 ID입니다. String
errorMessage 이 객체가 실패한 경우의 오류 메시지입니다. String
errorStackTrace 이 객체가 실패한 경우의 오류 스택 트레이스입니다. String
@failureReason 리소스 실패 이유입니다. String
@finishedTime 이 객체의 실행이 완료된 시간입니다. DateTime
hadoopJobLog Amazon EMR 활동을 시도할 때 사용할 수 있는 Hadoop 작업 로그. 문자열
@healthStatus 종료 상태에 도달한 마지막 객체 인스턴스의 성공 또는 실패를 나타내는 객체의 상태입니다. String
@healthStatusFromInstanceId 종료 상태에 도달한 마지막 인스턴스 객체의 ID입니다. String
@ 시간 healthStatusUpdated 상태가 마지막으로 업데이트된 시간입니다. DateTime
hostname 작업 시도를 선택한 클라이언트의 호스트 이름입니다. String
@lastDeactivatedTime 이 객체가 마지막으로 비활성화된 시간입니다. DateTime
@ latestCompletedRun 시간 실행이 완료된 최근 실행 시간입니다. DateTime
@latestRunTime 실행이 예약된 최근 실행 시간입니다. DateTime
@nextRunTime 다음으로 예약된 실행 시간입니다. DateTime
reportProgressTime 원격 활동에서 진행 상황을 보고한 가장 최근 시간입니다. DateTime
@scheduledEndTime 객체의 일정 종료 시간. DateTime
@scheduledStartTime 객체의 일정 시작 시간. DateTime
@상태 이 객체의 상태입니다. String
@version 객체를 생성할 당시의 파이프라인 버전입니다. String
@waitingOn 이 객체가 대기 중인 종속 요소 목록에 대한 설명입니다. 참조 객체 (예: “WaitingOn”: {"ref”:” Id "} myRunnableObject

시스템 필드 설명 슬롯 유형
@오류 잘못 형성된 객체를 설명하는 오류. String
@pipelineId 이 객체가 속하는 파이프라인의 ID. String
@sphere 수명 주기상 객체의 위치. 구성요소 객체가 인스턴스 객체를 트리거하고, 인스턴스 객체는 시도 객체를 실행합니다. String

참고