Usar um pipeline com recursos em várias regiões

Por padrão, os recursos Ec2Resource e EmrCluster são executados na mesma região do AWS Data Pipeline. No entanto, o AWS Data Pipeline oferece suporte à possibilidade de orquestrar fluxos de dados em várias regiões, como executar recursos em uma região que consolida dados de entrada de outra região. Ao permitir que os recursos sejam executados uma região específica, você também tem a flexibilidade de colocar os recursos com conjuntos de dados dependentes e maximizar o desempenho reduzindo a latência e evitando cobranças de transferência de dados entre regiões. Você pode configurar recursos para serem executados em uma região diferente do AWS Data Pipeline usando o campo region em Ec2Resource e EmrCluster.

O arquivo JSON do pipeline de exemplo a seguir mostra como executar um recurso EmrCluster na região Europa (Irlanda), presumindo que haja uma grande quantidade de dados para o cluster trabalhar na mesma região. Neste exemplo, a única diferença em relação a um pipeline típico é que o EmrCluster tem um valor de campo region definido como eu-west-1.

{
  "objects": [
    {
      "id": "Hourly",
      "type": "Schedule",
      "startDateTime": "2014-11-19T07:48:00",
      "endDateTime": "2014-11-21T07:48:00",
      "period": "1 hours"
    },
    {
      "id": "MyCluster",
      "type": "EmrCluster",
      "masterInstanceType": "m3.medium",
      "region": "eu-west-1",
      "schedule": {
        "ref": "Hourly"
      }
    },
    {
      "id": "MyEmrActivity",
      "type": "EmrActivity",
      "schedule": {
        "ref": "Hourly"
      },
      "runsOn": {
        "ref": "MyCluster"
      },
      "step": "/home/hadoop/contrib/streaming/hadoop-streaming.jar,-input,s3n://elasticmapreduce/samples/wordcount/input,-output,s3://eu-west-1-bucket/wordcount/output/#{@scheduledStartTime},-mapper,s3n://elasticmapreduce/samples/wordcount/wordSplitter.py,-reducer,aggregate"
    }
  ]
}

A tabela a seguir lista as regiões que você pode escolher e os códigos de região associados a serem usados no campo region.

nota

A lista a seguir inclui regiões em que o AWS Data Pipeline pode orquestrar fluxos de trabalho e executar os recursos do Amazon EMR ou Amazon EC2. O Pode ser que essas regiões não ofereçam suporte ao AWS Data Pipeline. Para obter informações sobre as regiões com suporte para o AWS Data Pipeline, consulte Regiões e endpoints da AWS.

Nome da região	Código da região
Leste dos EUA (N. da Virgínia)	us-east-1
Leste dos EUA (Ohio)	us-east-2
Oeste dos EUA (N. da Califórnia)	us-west-1
Oeste dos EUA (Oregon)	us-west-2
Canadá (Central)	ca-central-1
Europa (Irlanda)	eu-west-1
Europa (Londres)	eu-west-2
Europa (Frankfurt)	eu-central-1
Ásia-Pacífico (Singapura)	ap-southeast-1
Ásia-Pacífico (Sydney)	ap-southeast-2
Ásia-Pacífico (Mumbai)	ap-south-1
Ásia-Pacífico (Tóquio)	ap-northeast-1
Ásia-Pacífico (Seul)	ap-northeast-2
América do Sul (São Paulo)	sa-east-1