在多個區域中搭配資源使用管道 - AWS Data Pipeline

AWS Data Pipeline 不再提供給新客戶。現有客戶 AWS Data Pipeline 可繼續正常使用此服務。進一步了解

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

在多個區域中搭配資源使用管道

根據預設，Ec2Resource 和 EmrCluster 資源會在與 AWS Data Pipeline 相同的區域中執行，但是 AWS Data Pipeline 支援跨多個區域協調資料流程，例如在一個區域中執行資源來整合來自其他區域的輸入資料。透過允許資源執行指定區域，您也可以獲得彈性，共置您的資源及其依存的資料集，並藉由減少延遲和避免跨區域數據傳輸費來最大化效能。您可以在 Ec2Resource 和 EmrCluster 上使用 region 欄位來設定在與 AWS Data Pipeline 不同的區域中執行資源。

下列範例管線 JSON 檔案示範如何在歐洲 (愛爾蘭) 區域中執行EmrCluster資源，假設叢集有大量要處理的資料位於相同的區域中。在此範例中，與典型管道的差異在於 EmrCluster 的 region 欄位已設為 eu-west-1。

{
  "objects": [
    {
      "id": "Hourly",
      "type": "Schedule",
      "startDateTime": "2014-11-19T07:48:00",
      "endDateTime": "2014-11-21T07:48:00",
      "period": "1 hours"
    },
    {
      "id": "MyCluster",
      "type": "EmrCluster",
      "masterInstanceType": "m3.medium",
      "region": "eu-west-1",
      "schedule": {
        "ref": "Hourly"
      }
    },
    {
      "id": "MyEmrActivity",
      "type": "EmrActivity",
      "schedule": {
        "ref": "Hourly"
      },
      "runsOn": {
        "ref": "MyCluster"
      },
      "step": "/home/hadoop/contrib/streaming/hadoop-streaming.jar,-input,s3n://elasticmapreduce/samples/wordcount/input,-output,s3://eu-west-1-bucket/wordcount/output/#{@scheduledStartTime},-mapper,s3n://elasticmapreduce/samples/wordcount/wordSplitter.py,-reducer,aggregate"
    }
  ]
}

下表會列出您可以選擇的區域，以及用於 region 欄位的相關聯區域代碼。

注意

下列清單包含AWS Data Pipeline可協調工作流程和啟動 Amazon EMR 或 Amazon EC2 資源的區域。 AWS Data Pipeline這些地區可能不支援。如需支援 AWS Data Pipeline 的區域資訊，請參閱 AWS 區域與端點。

區域名稱 區域代碼
美國東部 (維吉尼亞北部) us-east-1
美國東部 (俄亥俄) us-east-2
美國西部 (加州北部) us-west-1
美國西部 (奧勒岡) us-west-2
加拿大 (中部) ca-central-1
歐洲 (愛爾蘭) eu-west-1
歐洲 (倫敦) eu-west-2
歐洲 (法蘭克福) eu-central-1
亞太區域 (新加坡) ap-southeast-1
亞太區域 (雪梨) ap-southeast-2
亞太區域 (孟買) ap-south-1
亞太區域 (東京) ap-northeast-1
亞太區域 (首爾) ap-northeast-2
南美洲 (聖保羅) sa-east-1