Verwenden einer Pipeline mit Ressourcen in mehreren Regionen

Standardmäßig werden die Ressourcen Ec2Resource und EmrCluster in derselben Region wie AWS Data Pipeline ausgeführt. AWS Data Pipeline unterstützt jedoch die Möglichkeit, Datenflüsse über mehrere Regionen hinweg zu orchestrieren, wie beispielsweise das Ausführen von Ressourcen in einer Region, die Eingabedaten aus einer anderen Region konsolidieren. Da Sie Ressourcen die Ausführung in einer bestimmten Region erlauben können, haben Sie auch die Flexibilität, Ressourcen zusammen mit ihren abhängigen Datensätzen in derselben Region anzusiedeln und die Leistung zu maximieren, indem Latenzen verringert und Kosten für regionsübergreifende Datenübertragungen vermieden werden. Sie können mit dem Feld region in Ec2Resource und EmrCluster Ressourcen so konfigurieren, dass sie in einer anderen Region als AWS Data Pipeline ausgeführt werden.

Die folgende Beispiel-Pipeline-JSON-Datei zeigt, wie eine EmrCluster Ressource in der Region Europa (Irland) ausgeführt wird, wobei davon ausgegangen wird, dass in derselben Region eine große Datenmenge vorhanden ist, an der der Cluster arbeiten soll. In diesem Beispiel ist der einzige Unterschied zu einer typischen Pipeline, dass der Wert des Feldes region für EmrCluster auf eu-west-1 eingestellt ist.

{
  "objects": [
    {
      "id": "Hourly",
      "type": "Schedule",
      "startDateTime": "2014-11-19T07:48:00",
      "endDateTime": "2014-11-21T07:48:00",
      "period": "1 hours"
    },
    {
      "id": "MyCluster",
      "type": "EmrCluster",
      "masterInstanceType": "m3.medium",
      "region": "eu-west-1",
      "schedule": {
        "ref": "Hourly"
      }
    },
    {
      "id": "MyEmrActivity",
      "type": "EmrActivity",
      "schedule": {
        "ref": "Hourly"
      },
      "runsOn": {
        "ref": "MyCluster"
      },
      "step": "/home/hadoop/contrib/streaming/hadoop-streaming.jar,-input,s3n://elasticmapreduce/samples/wordcount/input,-output,s3://eu-west-1-bucket/wordcount/output/#{@scheduledStartTime},-mapper,s3n://elasticmapreduce/samples/wordcount/wordSplitter.py,-reducer,aggregate"
    }
  ]
}

In der folgenden Tabelle werden die Regionen aufgelistet, die Sie auswählen können, sowie die im Feld region zu verwendenden zugehörigen Regionscodes.

Anmerkung

Die folgende Liste enthält Regionen, in denen Workflows orchestriert und Amazon EMR- oder Amazon EC2-Ressourcen gestartet werden AWS Data Pipeline können. AWS Data Pipelinewird in diesen Regionen möglicherweise nicht unterstützt. Weitere Informationen zu den Regionen, in denen AWS Data Pipeline unterstützt wird, finden Sie unter Regionen und Endpunkte in AWS.

Name der Region	Regionscode
USA Ost (Nord-Virginia)	us-east-1
USA Ost (Ohio)	us-east-2
USA West (Nordkalifornien)	us-west-1
US West (Oregon)	us-west-2
Kanada (Zentral)	ca-central-1
Europa (Irland)	eu-west-1
Europe (London)	eu-west-2
Europa (Frankfurt)	eu-central-1
Asien-Pazifik (Singapur)	ap-southeast-1
Asia Pacific (Sydney)	ap-southeast-2
Asien-Pazifik (Mumbai)	ap-south-1
Asien-Pazifik (Tokio)	ap-northeast-1
Asien-Pazifik (Seoul)	ap-northeast-2
South America (São Paulo)	sa-east-1