在多個區域中搭配資源使用管道 - AWS Data Pipeline

AWS Data Pipeline 不再提供給新客戶。的現有客戶 AWS Data Pipeline 可以繼續正常使用服務。進一步了解

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

在多個區域中搭配資源使用管道

在預設情況下， Ec2Resource和 EmrCluster 資源會在與 相同的區域中執行 AWS Data Pipeline，但 AWS Data Pipeline 支援跨多個區域協調資料流程的能力，例如在一個區域中執行資源，以合併來自另一個區域的輸入資料。透過允許資源執行指定區域，您也可以獲得彈性，共置您的資源及其依存的資料集，並藉由減少延遲和避免跨區域數據傳輸費來最大化效能。您可以在 Ec2Resource和 AWS Data Pipeline 上使用 region 欄位，將資源設定為在與 不同的區域中執行EmrCluster。

下列範例管道 JSON 檔案顯示如何在歐洲 （愛爾蘭） 區域執行 EmrCluster 資源，假設叢集要處理的大量資料存在於相同區域中。在此範例中，與典型管道的差異在於 EmrCluster 的 region 欄位已設為 eu-west-1。

{
  "objects": [
    {
      "id": "Hourly",
      "type": "Schedule",
      "startDateTime": "2014-11-19T07:48:00",
      "endDateTime": "2014-11-21T07:48:00",
      "period": "1 hours"
    },
    {
      "id": "MyCluster",
      "type": "EmrCluster",
      "masterInstanceType": "m3.medium",
      "region": "eu-west-1",
      "schedule": {
        "ref": "Hourly"
      }
    },
    {
      "id": "MyEmrActivity",
      "type": "EmrActivity",
      "schedule": {
        "ref": "Hourly"
      },
      "runsOn": {
        "ref": "MyCluster"
      },
      "step": "/home/hadoop/contrib/streaming/hadoop-streaming.jar,-input,s3n://elasticmapreduce/samples/wordcount/input,-output,s3://eu-west-1-bucket/wordcount/output/#{@scheduledStartTime},-mapper,s3n://elasticmapreduce/samples/wordcount/wordSplitter.py,-reducer,aggregate"
    }
  ]
}

下表會列出您可以選擇的區域，以及用於 region 欄位的相關聯區域代碼。

注意

下列清單包含 AWS Data Pipeline 可協調工作流程並啟動 Amazon EMR 或 Amazon EC2 資源的區域。這些區域 AWS Data Pipeline 可能不支援 。如需 AWS Data Pipeline 支援 之 區域的相關資訊，請參閱 AWS 區域和端點。

區域名稱 區域代碼
美國東部 (維吉尼亞北部) us-east-1
美國東部 (俄亥俄) us-east-2
美國西部 (加州北部) us-west-1
美國西部 (奧勒岡) us-west-2
加拿大 (中部) ca-central-1
歐洲 (愛爾蘭) eu-west-1
歐洲 (倫敦) eu-west-2
歐洲 (法蘭克福) eu-central-1
亞太區域 (新加坡) ap-southeast-1
亞太區域 (雪梨) ap-southeast-2
亞太區域 (孟買) ap-south-1
亞太區域 (東京) ap-northeast-1
亞太區域 (首爾) ap-northeast-2
南美洲 (聖保羅) sa-east-1