여러 리전의 리소스와 파이프라인 사용 - AWS Data Pipeline

AWS Data Pipeline 신규 고객은 더 이상 이용할 수 없습니다. 의 기존 고객 AWS Data Pipeline 정상적으로 서비스를 계속 사용할 수 있습니다. 자세히 알아보기

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

여러 리전의 리소스와 파이프라인 사용

기본적으로 Ec2Resource 및 EmrCluster 리소스는 AWS Data Pipeline과 같은 리전에서 실행되지만 AWS Data Pipeline은 다른 리전의 입력 데이터가 통합된 한 리전에서 리소스를 실행하는 것과 같이 여러 리전에서 데이터 흐름을 조정하는 기능을 지원합니다. 리소스가 지정 리전에서 실행되게 하면 리소스를 그 종속 데이터 세트와 같은 위치에 배치할 수 있으며, 지연 시간을 줄이고 리전 간 데이터 전송 요금의 발생을 방지하여 성능을 극대화할 수 있습니다. Ec2Resource 및 EmrCluster에서 region 필드를 사용하여 AWS Data Pipeline과 다른 리전에서 실행되도록 리소스를 구성할 수 있습니다.

다음 예제 파이프라인 JSON 파일은 유럽(아일랜드) 리전에서 EmrCluster리소스를 실행하는 방법을 보여줍니다. 단, 작업할 클러스터의 대용량 데이터가 동일 리전에 있다는 것을 전제로 합니다. 이 예제에서 일반 파이프라인과 유일하게 다른 점은 EmrCluster의 region 필드 값이 eu-west-1로 설정되어 있다는 것입니다.

{
  "objects": [
    {
      "id": "Hourly",
      "type": "Schedule",
      "startDateTime": "2014-11-19T07:48:00",
      "endDateTime": "2014-11-21T07:48:00",
      "period": "1 hours"
    },
    {
      "id": "MyCluster",
      "type": "EmrCluster",
      "masterInstanceType": "m3.medium",
      "region": "eu-west-1",
      "schedule": {
        "ref": "Hourly"
      }
    },
    {
      "id": "MyEmrActivity",
      "type": "EmrActivity",
      "schedule": {
        "ref": "Hourly"
      },
      "runsOn": {
        "ref": "MyCluster"
      },
      "step": "/home/hadoop/contrib/streaming/hadoop-streaming.jar,-input,s3n://elasticmapreduce/samples/wordcount/input,-output,s3://eu-west-1-bucket/wordcount/output/#{@scheduledStartTime},-mapper,s3n://elasticmapreduce/samples/wordcount/wordSplitter.py,-reducer,aggregate"
    }
  ]
}

다음 표에는 선택할 수 있는 리전과 region 필드에서 사용하는 연결된 리전 코드가 나열되어 있습니다.

참고

다음 목록에는 AWS Data Pipeline이(가) 워크플로를 조율하고 Amazon EMR 또는 Amazon EC2 리소스를 실행할 수 있는 리전이 포함되어 있습니다. AWS Data Pipeline은(는) 이들 리전에서 지원되지 않을 수 있습니다. AWS Data Pipeline이 지원되는 리전에 대한 자세한 내용은 AWS 리전 및 엔드포인트를 참조하십시오.

리전 이름 리전 코드
미국 동부(버지니아 북부) us-east-1
미국 동부(오하이오) us-east-2
미국 서부(캘리포니아 북부) us-west-1
미국 서부(오레곤) us-west-2
Canada (Central) ca-central-1
유럽(아일랜드) eu-west-1
유럽(런던) eu-west-2
유럽(프랑크푸르트) eu-central-1
아시아 태평양(싱가포르) ap-southeast-1
아시아 태평양(시드니) ap-southeast-2
아시아 태평양(뭄바이) ap-south-1
아시아 태평양(도쿄) ap-northeast-1
아시아 태평양(서울) ap-northeast-2
남아메리카(상파울루) sa-east-1