HadoopActivity

클러스터에서 MapReduce 작업을 실행합니다. 클러스터는 사용하는 경우 다른 리소스에서 관리하는 EMR 클러스터일 AWS Data Pipeline 수도 있고 다른 리소스가 될 수도 있습니다. TaskRunner 작업을 병렬로 실행하려는 HadoopActivity 경우에 사용합니다. 이를 통해 YARN 프레임워크의 스케줄링 리소스 또는 Hadoop 1의 MapReduce 리소스 협상자를 사용할 수 있습니다. Amazon EMR 단계 작업을 사용하여 순차적으로 작업을 진행하려는 경우에도 EmrActivity을(를) 여전히 사용할 수 있습니다.

예

HadoopActivity 에서 관리하는 EMR 클러스터 사용 AWS Data Pipeline

다음 HadoopActivity 객체는 EmrCluster 리소스를 사용하여 프로그램을 실행합니다.


 {
   "name": "MyHadoopActivity",
   "schedule": {"ref": "ResourcePeriod"},
   "runsOn": {"ref": “MyEmrCluster”},
   "type": "HadoopActivity",
   "preActivityTaskConfig":{"ref":"preTaskScriptConfig”},   
   "jarUri": "/home/hadoop/contrib/streaming/hadoop-streaming.jar",
   "argument": [
     "-files",
     “s3://elasticmapreduce/samples/wordcount/wordSplitter.py“,
     "-mapper",
     "wordSplitter.py",
     "-reducer",
     "aggregate",
     "-input",
     "s3://elasticmapreduce/samples/wordcount/input/",
     "-output",
     “s3://test-bucket/MyHadoopActivity/#{@pipelineId}/#{format(@scheduledStartTime,'YYYY-MM-dd')}"
   ],
   "maximumRetries": "0",
   "postActivityTaskConfig":{"ref":"postTaskScriptConfig”},
   "hadoopQueue" : “high”
 }

다음은 Hadoop MyEmrCluster2 기반 AMI용 YARN의 FairScheduler 및 대기열을 구성하는 해당 코드입니다.


{
  "id" : "MyEmrCluster",
  "type" : "EmrCluster",
   "hadoopSchedulerType" : "PARALLEL_FAIR_SCHEDULING",
  “amiVersion” : “3.7.0”,
  "bootstrapAction" : ["s3://Region.elasticmapreduce/bootstrap-actions/configure-hadoop,-z,yarn.scheduler.capacity.root.queues=low\,high\,default,-z,yarn.scheduler.capacity.root.high.capacity=50,-z,yarn.scheduler.capacity.root.low.capacity=10,-z,yarn.scheduler.capacity.root.default.capacity=30”]
}

다음은 하둡 EmrCluster 1에서 구성하는 데 사용하는 방법입니다. FairScheduler


{
      "id": "MyEmrCluster",
      "type": "EmrCluster",    
      "hadoopSchedulerType": "PARALLEL_FAIR_SCHEDULING",
      "amiVersion": "2.4.8",
      "bootstrapAction": "s3://Region.elasticmapreduce/bootstrap-actions/configure-hadoop,-m,mapred.queue.names=low\\\\,high\\\\,default,-m,mapred.fairscheduler.poolnameproperty=mapred.job.queue.name"
          }

다음은 하둡 EmrCluster 2 기반 AMI를 구성합니다 CapacityScheduler .


{
      "id": "MyEmrCluster",
      "type": "EmrCluster",
      "hadoopSchedulerType": "PARALLEL_CAPACITY_SCHEDULING",
      "amiVersion": "3.7.0",
      "bootstrapAction": "s3://Region.elasticmapreduce/bootstrap-actions/configure-hadoop,-z,yarn.scheduler.capacity.root.queues=low\\\\,high,-z,yarn.scheduler.capacity.root.high.capacity=40,-z,yarn.scheduler.capacity.root.low.capacity=60"
    }

HadoopActivity 기존 EMR 클러스터 사용

이 예제에서는 작업자 그룹과 TaskRunner a를 사용하여 기존 EMR 클러스터에서 프로그램을 실행합니다. 다음 파이프라인 정의는 다음과 같은 용도로 사용됩니다. HadoopActivity

myWorkerGroup리소스에서만 MapReduce 프로그램을 실행합니다. 작업자 그룹에 대한 정보는 Task Runner를 사용하여 기존 리소스에서 작업 실행를 참조하십시오.
구성 및 preActivityTask 구성 실행 postActivityTask


{
  "objects": [
    {
      "argument": [
        "-files",
        "s3://elasticmapreduce/samples/wordcount/wordSplitter.py",
        "-mapper",
        "wordSplitter.py",
        "-reducer",
        "aggregate",
        "-input",
        "s3://elasticmapreduce/samples/wordcount/input/",
        "-output",
        "s3://test-bucket/MyHadoopActivity/#{@pipelineId}/#{format(@scheduledStartTime,'YYYY-MM-dd')}"
      ],
      "id": "MyHadoopActivity",
      "jarUri": "/home/hadoop/contrib/streaming/hadoop-streaming.jar",
      "name": "MyHadoopActivity",
      "type": "HadoopActivity"
    },
    {
      "id": "SchedulePeriod",
      "startDateTime": "start_datetime",
      "name": "SchedulePeriod",
      "period": "1 day",
      "type": "Schedule",
      "endDateTime": "end_datetime"
    },
    {
      "id": "ShellScriptConfig",
      "scriptUri": "s3://test-bucket/scripts/preTaskScript.sh",
      "name": "preTaskScriptConfig",
      "scriptArgument": [
        "test",
        "argument"
      ],
      "type": "ShellScriptConfig"
    },
    {
      "id": "ShellScriptConfig",
      "scriptUri": "s3://test-bucket/scripts/postTaskScript.sh",
      "name": "postTaskScriptConfig",
      "scriptArgument": [
        "test",
        "argument"
      ],
      "type": "ShellScriptConfig"
    },
    {
      "id": "Default",
      "scheduleType": "cron",
      "schedule": {
        "ref": "SchedulePeriod"
      },
      "name": "Default",
      "pipelineLogUri": "s3://test-bucket/logs/2015-05-22T18:02:00.343Z642f3fe415",
      "maximumRetries": "0",    
      "workerGroup": "myWorkerGroup",
      "preActivityTaskConfig": {
        "ref": "preTaskScriptConfig"
      },
      "postActivityTaskConfig": {
        "ref": "postTaskScriptConfig"
      }    
    }
  ] 
}

구문

필수 필드	설명	슬롯 유형
jarUri	Amazon S3 또는 실행할 클러스터의 로컬 파일 시스템 내 JAR 위치 HadoopActivity	String

액체 호출 필드	설명	슬롯 유형
schedule	이 객체는 예약 간격을 실행할 때 호출됩니다. 이 객체의 종속 실행 순서를 설정하려면 사용자가 다른 객체로 일정 참조를 지정해야 합니다. 사용자는 객체에 대한 일정을 명시적으로 설정함으로써 이 요구 사항을 충족할 수 있습니다 (예: “schedule”: {"ref”: ""} 지정)DefaultSchedule. 대부분의 경우에서는 모든 객체가 상속할 수 있도록 일정 참조를 기본 파이프라인 객체에 두는 것이 좋습니다. 또는 파이프라인에 일정 트리가 있는 경우(마스터 일정 안의 일정) 사용자가 일정 참조가 있는 부모 객체를 생성할 수 있습니다. 선택형 일정 구성 예제에 대한 자세한 내용은 https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html 단원을 참조하십시오.	참조 개체, 예: “스케줄”: {"ref”:” “} myScheduleId

필수 그룹(다음 중 하나를 제공해야 함)	설명	슬롯 유형
runsOn	이 작업이 실행될 EMR 클러스터입니다.	참조 객체, 예: “RunSon”: {"ref”:” myEmrCluster Id "}
workerGroup	작업자 그룹입니다. 이것은 작업 라우팅에 사용됩니다. workerGroup이 있을 때 runsOn 값을 제공하면 workerGroup이 무시됩니다.	String

선택 필드	설명	슬롯 유형
인수	JAR에 전달할 인수입니다.	String
attemptStatus	원격 활동에서 가장 최근에 보고된 상태입니다.	String
attemptTimeout	원격 작업 완료의 제한 시간입니다. 이 필드를 설정하면 설정된 시작 시간 이내에 완료되지 않는 원격 활동을 재시도할 수 있습니다.	기간
dependsOn	실행 가능한 다른 객체의 종속성을 지정합니다.	참조 객체, 예: “DependSon”: {"ref”:” “} myActivityId
failureAndRerun모드	종속 요소에 장애가 있거나 재시도될 때의 소비자 노드 거동을 설명합니다.	열거
hadoopQueue	활동이 제출될 Hadoop 스케줄러 대기열 이름입니다.	String
입력	입력 데이터의 위치입니다.	참조 객체, 예: “입력”: {"ref”:” myDataNode Id "}
lateAfterTimeout	파이프라인 시작 후 객체가 완료되어야 하는 경과 시간입니다. 스케줄 유형이 `ondemand`(으)로 설정되지 않은 경우에만 트리거됩니다.	기간
mainClass	실행 중인 JAR의 기본 클래스입니다. HadoopActivity	String
maxActiveInstances	구성요소의 동시 활성 인스턴스 최대수입니다. 재실행은 활성 인스턴스의 수에 포함되지 않습니다.	Integer
maximumRetries	장애 시 재시도 최대 횟수	Integer
onFail	현재 객체 장애 시 실행할 작업입니다.	참조 객체, 예: “OnFail”: {"ref”:” “} myActionId
onLateAction	객체가 아직 예약되지 않았거나 아직 완료되지 않은 경우에 트리거되어야 하는 작업입니다.	참조 객체, 예: "onLateAction“: {" ref”:” “} myActionId
onSuccess	현재 객체 성공 시 실행할 작업입니다.	참조 객체, 예: “OnSuccess”: {"ref”:” “} myActionId
output	출력 데이터의 위치입니다.	참조 개체, 예: “출력”: {"ref”:” myDataNode Id "}
parent	슬롯을 상속할 현재 객체의 부모입니다.	참조 객체, 예: “부모”: {"ref”:” myBaseObject Id "}
pipelineLogUri	파이프라인의 로그를 업로드하기 위한 S3 URI (예: 's3://BucketName/Key/ ').	String
postActivityTaskConfig	실행할 사후 활동 구성 스크립트입니다. 이것은 Amazon S3의 셸 스크립트 URI와 인수 목록으로 구성됩니다.	참조 객체, 예: "postActivityTaskConfig”: {"ref”:” “} myShellScript ConfigId
preActivityTaskConfig	실행할 사전 활동 구성 스크립트입니다. 이것은 Amazon S3의 셸 스크립트 URI와 인수 목록으로 구성됩니다.	참조 객체, 예: "preActivityTaskConfig”: {"ref”:” “} myShellScript ConfigId
precondition	또는 사전 조건을 정의합니다. 모든 사전 조건이 충족되기 전까지 데이터 노드에 "READY"가 표시되지 않습니다.	참조 객체, 예: “전제 조건”: {"ref”:” “} myPreconditionId
reportProgressTimeout	원격 작업에서 reportProgress를 연속으로 호출하는 제한 시간입니다. 이 필드를 설정하면 지정된 기간 동안 진행 상황을 보고하지 않는 원격 활동은 중단된 것으로 간주하고 재시도할 수 있습니다.	기간
retryDelay	두 번의 재시도 사이의 제한 시간 간격입니다.	기간
scheduleType	일정 유형을 사용하여 파이프라인 정의에 있는 객체의 일정을 간격 시작 시점으로 또는 종료 시점으로 지정할 수 있습니다. 시계열 스타일 일정 조정은 각 간격이 종료될 때 인스턴스 일정이 지정되고 Cron 스타일 일정 조정은 각 간격이 시작될 때 인스턴스 일정이 지정됩니다. 온디맨드 일정을 사용하면 파이프라인을 활성화될 때 한 번씩 실행할 수 있습니다. 이 경우 다시 실행하기 위해 파이프라인을 복제하거나 다시 생성할 필요가 없습니다. 온디맨드 일정을 사용하려면 기본 객체에서 지정해야 하며, 이것이 파이프라인의 객체에 지정된 유일한 schuleType이어야 합니다. 온디맨드 파이프라인을 사용하려면 이후 실행할 때마다 ActivatePipeline 작업을 호출하기만 하면 됩니다. 값은 cron, ondemand 및 timeseries입니다.	열거

실행 시간 필드	설명	슬롯 유형
@activeInstances	현재 예약되어 있는 활성 인스턴스 객체의 목록입니다.	참조 객체 (예: “ActiveInstances”: {"ref”:” Id "} myRunnableObject
@actualEndTime	이 객체의 실행이 완료된 시간입니다.	DateTime
@actualStartTime	이 객체의 실행이 시작된 시간입니다.	DateTime
cancellationReason	이 객체가 취소된 경우의 cancellationReason입니다.	String
@cascadeFailedOn	객체 실패가 발생한 종속 체인에 대한 설명입니다.	참조 객체, 예: "cascadeFailedOn“: {" ref”:” Id "} myRunnableObject
emrStepLog	EMR 활동 시도 시에만 사용할 수 있는 EMR 단계 로그	String
errorId	이 객체가 실패한 경우의 errorId입니다.	String
errorMessage	이 객체가 실패한 경우의 errorMessage입니다.	String
errorStackTrace	이 객체가 실패한 경우의 오류 스택 트레이스입니다.	String
@finishedTime	이 객체의 실행이 완료된 시간입니다.	DateTime
hadoopJobLog	EMR 기반 활동 시도 시에만 사용할 수 있는 하둡 작업 로그.	문자열
@healthStatus	종료 상태에 도달한 마지막 객체 인스턴스의 성공 또는 실패를 반영하는 객체의 상태입니다.	String
@healthStatusFromInstanceId	종료 상태에 도달한 마지막 인스턴스 객체의 ID입니다.	String
@ 시간 healthStatusUpdated	상태가 마지막으로 업데이트된 시간입니다.	DateTime
hostname	작업 시도를 선택한 클라이언트의 호스트 이름입니다.	String
@lastDeactivatedTime	이 객체가 마지막으로 비활성화된 시간입니다.	DateTime
@ latestCompletedRun 시간	실행이 완료된 최근 실행 시간입니다.	DateTime
@latestRunTime	실행이 예약된 최근 실행 시간입니다.	DateTime
@nextRunTime	다음으로 예약된 실행 시간입니다.	DateTime
reportProgressTime	원격 활동에서 진행 상황을 보고한 가장 최근 시간입니다.	DateTime
@scheduledEndTime	객체의 일정 종료 시간	DateTime
@scheduledStartTime	객체의 일정 시작 시간	DateTime
@상태	이 객체의 상태입니다.	String
@version	객체와 함께 생성된 파이프라인 버전입니다.	String
@waitingOn	이 객체가 대기 중인 종속 요소 목록에 대한 설명입니다.	참조 객체, 예: “WaitingOn”: {"ref”:” Id "} myRunnableObject

시스템 필드	설명	슬롯 유형
@오류	잘못 형성된 객체를 설명하는 오류.	String
@pipelineId	이 객체가 속하는 파이프라인의 ID.	String
@sphere	객체의 타원 무늬는 수명 주기 내 위치를 나타냅니다. Component Objects는 Attempt Objects를 실행하는 Instance Objects를 야기합니다.	String

참고

javascript가 브라우저에서 비활성화되거나 사용이 불가합니다.

AWS 설명서를 사용하려면 Javascript가 활성화되어야 합니다. 지침을 보려면 브라우저의 도움말 페이지를 참조하십시오.

문서 규칙

EmrActivity

HiveActivity