AWS Data Pipeline 신규 고객은 더 이상 이용할 수 없습니다. 의 기존 고객 AWS Data Pipeline 정상적으로 서비스를 계속 사용할 수 있습니다. 자세히 알아보기
기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
여러 리전의 리소스와 파이프라인 사용
기본적으로 Ec2Resource 및 EmrCluster 리소스는 AWS Data Pipeline과 같은 리전에서 실행되지만 AWS Data Pipeline은 다른 리전의 입력 데이터가 통합된 한 리전에서 리소스를 실행하는 것과 같이 여러 리전에서 데이터 흐름을 조정하는 기능을 지원합니다. 리소스가 지정 리전에서 실행되게 하면 리소스를 그 종속 데이터 세트와 같은 위치에 배치할 수 있으며, 지연 시간을 줄이고 리전 간 데이터 전송 요금의 발생을 방지하여 성능을 극대화할 수 있습니다. Ec2Resource 및 EmrCluster에서 region 필드를 사용하여 AWS Data Pipeline과 다른 리전에서 실행되도록 리소스를 구성할 수 있습니다.
다음 예제 파이프라인 JSON 파일은 유럽(아일랜드) 리전에서 EmrCluster리소스를 실행하는 방법을 보여줍니다. 단, 작업할 클러스터의 대용량 데이터가 동일 리전에 있다는 것을 전제로 합니다. 이 예제에서 일반 파이프라인과 유일하게 다른 점은 EmrCluster의 region 필드 값이 eu-west-1로 설정되어 있다는 것입니다.
{
"objects": [
{
"id": "Hourly",
"type": "Schedule",
"startDateTime": "2014-11-19T07:48:00",
"endDateTime": "2014-11-21T07:48:00",
"period": "1 hours"
},
{
"id": "MyCluster",
"type": "EmrCluster",
"masterInstanceType": "m3.medium",
"region": "eu-west-1",
"schedule": {
"ref": "Hourly"
}
},
{
"id": "MyEmrActivity",
"type": "EmrActivity",
"schedule": {
"ref": "Hourly"
},
"runsOn": {
"ref": "MyCluster"
},
"step": "/home/hadoop/contrib/streaming/hadoop-streaming.jar,-input,s3n://elasticmapreduce/samples/wordcount/input,-output,s3://eu-west-1-bucket/wordcount/output/#{@scheduledStartTime},-mapper,s3n://elasticmapreduce/samples/wordcount/wordSplitter.py,-reducer,aggregate"
}
]
}다음 표에는 선택할 수 있는 리전과 region 필드에서 사용하는 연결된 리전 코드가 나열되어 있습니다.
참고
다음 목록에는 AWS Data Pipeline이(가) 워크플로를 조율하고 Amazon EMR 또는 Amazon EC2 리소스를 실행할 수 있는 리전이 포함되어 있습니다. AWS Data Pipeline은(는) 이들 리전에서 지원되지 않을 수 있습니다. AWS Data Pipeline이 지원되는 리전에 대한 자세한 내용은 AWS 리전 및 엔드포인트를 참조하십시오.
| 리전 이름 | 리전 코드 |
|---|---|
| 미국 동부(버지니아 북부) | us-east-1 |
| 미국 동부(오하이오) | us-east-2 |
| 미국 서부(캘리포니아 북부) | us-west-1 |
| 미국 서부(오레곤) | us-west-2 |
| Canada (Central) | ca-central-1 |
| 유럽(아일랜드) | eu-west-1 |
| 유럽(런던) | eu-west-2 |
| 유럽(프랑크푸르트) | eu-central-1 |
| 아시아 태평양(싱가포르) | ap-southeast-1 |
| 아시아 태평양(시드니) | ap-southeast-2 |
| 아시아 태평양(뭄바이) | ap-south-1 |
| 아시아 태평양(도쿄) | ap-northeast-1 |
| 아시아 태평양(서울) | ap-northeast-2 |
| 남아메리카(상파울루) | sa-east-1 |
