Utilizzo di una pipeline con risorse in più regioni

Per impostazione predefinita, le risorse Ec2Resource e EmrCluster vengono eseguite nella stessa regione di AWS Data Pipeline; tuttavia, AWS Data Pipeline supporta la possibilità di gestire i flussi di dati in più regioni, ad esempio le risorse in esecuzione in una regione che consolidano i dati di input da un'altra regione. Consentendo alle risorse di essere eseguite in una determinata regione, si ha anche la flessibilità necessaria per individuare le risorse con i propri dataset dipendenti e per massimizzare le prestazioni riducendo latenze ed evitando costi di trasferimento dei dati in più regioni. È possibile configurare le risorse per l'esecuzione in una regione differente rispetto a AWS Data Pipeline utilizzando il campo region in Ec2Resource e EmrCluster.

Il seguente file JSON della pipeline di esempio mostra come eseguire una EmrCluster risorsa nella regione Europa (Irlanda), supponendo che nella stessa regione esista una grande quantità di dati su cui lavorare il cluster. In questo esempio, l'unica differenza rispetto a una tipica pipeline è che EmrCluster ha un valore campo region impostato su eu-west-1.

{
  "objects": [
    {
      "id": "Hourly",
      "type": "Schedule",
      "startDateTime": "2014-11-19T07:48:00",
      "endDateTime": "2014-11-21T07:48:00",
      "period": "1 hours"
    },
    {
      "id": "MyCluster",
      "type": "EmrCluster",
      "masterInstanceType": "m3.medium",
      "region": "eu-west-1",
      "schedule": {
        "ref": "Hourly"
      }
    },
    {
      "id": "MyEmrActivity",
      "type": "EmrActivity",
      "schedule": {
        "ref": "Hourly"
      },
      "runsOn": {
        "ref": "MyCluster"
      },
      "step": "/home/hadoop/contrib/streaming/hadoop-streaming.jar,-input,s3n://elasticmapreduce/samples/wordcount/input,-output,s3://eu-west-1-bucket/wordcount/output/#{@scheduledStartTime},-mapper,s3n://elasticmapreduce/samples/wordcount/wordSplitter.py,-reducer,aggregate"
    }
  ]
}

La tabella seguente elenca le regioni che è possibile scegliere e i codici di regione associati da utilizzare nel campo region.

Nota

L'elenco seguente include le regioni in cui è AWS Data Pipeline possibile orchestrare i flussi di lavoro e lanciare risorse Amazon EMR o Amazon EC2. AWS Data Pipelinepotrebbe non essere supportato in queste regioni. Per informazioni sulle regioni in cui è supportato AWS Data Pipeline, consulta Regioni ed endpoint AWS.

Nome della regione	Codice regione
Stati Uniti orientali (Virginia settentrionale)	us-east-1
Stati Uniti orientali (Ohio)	us-east-2
Stati Uniti occidentali (California settentrionale)	us-west-1
US West (Oregon)	us-west-2
Canada (Centrale)	ca-central-1
Europa (Irlanda)	eu-west-1
Europe (London)	eu-west-2
Europe (Frankfurt)	eu-central-1
Asia Pacifico (Singapore)	ap-southeast-1
Asia Pacific (Sydney)	ap-southeast-2
Asia Pacifico (Mumbai)	ap-south-1
Asia Pacifico (Tokyo)	ap-northeast-1
Asia Pacifico (Seoul)	ap-northeast-2
Sud America (São Paulo)	sa-east-1