複数のリージョンにあるリソースとパイプラインの使用 - AWS Data Pipeline

AWS Data Pipeline は、新規顧客には利用できなくなりました。の既存のお客様 AWS Data Pipeline は、通常どおりサービスを引き続き使用できます。詳細はこちら

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

複数のリージョンにあるリソースとパイプラインの使用

デフォルトでは、Ec2Resource および EmrCluster のリソースは AWS Data Pipeline と同じリージョンで実行されますが、AWS Data Pipeline では、あるリージョンで実行するリソースで別のリージョンからの入力データを統合するなど、複数のリージョンにまたがるデータフローのオーケストレーションをサポートしています。指定したリージョンでリソースを実行できることで、依存するデータセットとリソースを同じ場所に配置する柔軟性がもたらされます。また、レイテンシーを減らすとともにクロスリージョンのデータ転送料金を回避することで、パフォーマンスを最大化することができます。region および Ec2Resource で EmrCluster フィールドを使用することで、AWS Data Pipeline とは別のリージョンで実行するようにリソースを設定できます。

次の例のパイプライン JSON ファイルは、ヨーロッパ (アイルランド) リージョンの EmrCluster リソースを実行する方法を示します。このとき、作業するクラスターの大量のデータが同じリージョンに存在することを前提としています。この例では、一般的なパイプラインとの唯一の違いは、EmrCluster の region フィールドの値が eu-west-1 に設定されていることです。

{
  "objects": [
    {
      "id": "Hourly",
      "type": "Schedule",
      "startDateTime": "2014-11-19T07:48:00",
      "endDateTime": "2014-11-21T07:48:00",
      "period": "1 hours"
    },
    {
      "id": "MyCluster",
      "type": "EmrCluster",
      "masterInstanceType": "m3.medium",
      "region": "eu-west-1",
      "schedule": {
        "ref": "Hourly"
      }
    },
    {
      "id": "MyEmrActivity",
      "type": "EmrActivity",
      "schedule": {
        "ref": "Hourly"
      },
      "runsOn": {
        "ref": "MyCluster"
      },
      "step": "/home/hadoop/contrib/streaming/hadoop-streaming.jar,-input,s3n://elasticmapreduce/samples/wordcount/input,-output,s3://eu-west-1-bucket/wordcount/output/#{@scheduledStartTime},-mapper,s3n://elasticmapreduce/samples/wordcount/wordSplitter.py,-reducer,aggregate"
    }
  ]
}

次の表は、選択できるリージョンと region フィールドで使用する関連リージョンコードの一覧です。

注記

以下のリストに示すリージョンでは、AWS Data Pipeline でワークフローを調整し、Amazon EMR や Amazon EC2 のリソースを起動できます。リージョンによっては AWS Data Pipeline がサポートされていない場合もあります。AWS Data Pipeline がサポートされているリージョンの詳細については、「AWS のリージョンとエンドポイント」を参照してください。

リージョン名 リージョンコード
米国東部 (バージニア北部) us-east-1
米国東部 (オハイオ) us-east-2
米国西部 (北カリフォルニア) us-west-1
米国西部 (オレゴン) us-west-2
カナダ (中部) ca-central-1
欧州 (アイルランド) eu-west-1
欧州 (ロンドン) eu-west-2
欧州 (フランクフルト) eu-central-1
アジアパシフィック (シンガポール) ap-southeast-1
アジアパシフィック (シドニー) ap-southeast-2
アジアパシフィック (ムンバイ) ap-south-1
アジアパシフィック (東京) ap-northeast-1
アジアパシフィック (ソウル) ap-northeast-2
南米 (サンパウロ) sa-east-1