Uso de una canalización con recursos en varias regiones - AWS Data Pipeline

AWS Data Pipeline ya no está disponible para nuevos clientes. Clientes actuales de AWS Data Pipeline pueden seguir utilizando el servicio con normalidad. Más información

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Uso de una canalización con recursos en varias regiones

De forma predeterminada, los recursos Ec2Resource y EmrCluster se ejecutan en la misma región que AWS Data Pipeline, pero AWS Data Pipeline dispone de la capacidad de organizar flujos de datos entre varias regiones, tales como la ejecución de recursos de una región que consolide datos de entrada de otra región. Al permitir que los recursos se ejecuten una región determinada, también dispone de flexibilidad para coubicar los recursos con sus conjuntos de datos dependientes y maximizar el rendimiento, reduciendo las latencias y evitando cargos por transferencia de datos entre regiones. Puede configurar recursos para ejecutarlos en una región diferente de AWS Data Pipeline mediante el campo region de Ec2Resource y EmrCluster.

El siguiente archivo JSON de canalización de ejemplo muestra cómo ejecutar un recurso EmrCluster en la región Europa (Irlanda), suponiendo que exista en la misma región una gran cantidad de datos para el clúster en el que se va a trabajar. En este ejemplo, la única diferencia con una canalización típica es que el valor del campo region de EmrCluster está establecido en eu-west-1.

{
  "objects": [
    {
      "id": "Hourly",
      "type": "Schedule",
      "startDateTime": "2014-11-19T07:48:00",
      "endDateTime": "2014-11-21T07:48:00",
      "period": "1 hours"
    },
    {
      "id": "MyCluster",
      "type": "EmrCluster",
      "masterInstanceType": "m3.medium",
      "region": "eu-west-1",
      "schedule": {
        "ref": "Hourly"
      }
    },
    {
      "id": "MyEmrActivity",
      "type": "EmrActivity",
      "schedule": {
        "ref": "Hourly"
      },
      "runsOn": {
        "ref": "MyCluster"
      },
      "step": "/home/hadoop/contrib/streaming/hadoop-streaming.jar,-input,s3n://elasticmapreduce/samples/wordcount/input,-output,s3://eu-west-1-bucket/wordcount/output/#{@scheduledStartTime},-mapper,s3n://elasticmapreduce/samples/wordcount/wordSplitter.py,-reducer,aggregate"
    }
  ]
}

En la tabla siguiente se muestran las regiones que puede elegir y los códigos de región asociados que debe utilizar en el campo region.

nota

La siguiente lista incluye regiones en las que AWS Data Pipeline puede organizar flujos de trabajo y lanzar recursos de Amazon EMR o Amazon EC2. Es posible que AWS Data Pipeline no sea compatible en estas regiones. Para obtener más información sobre las regiones en las que se admite AWS Data Pipeline, consulte Regiones y puntos de enlace de AWS.

Nombre de la región Código de región
US East (N. Virginia) us-east-1
US East (Ohio) us-east-2
EE. UU. Oeste (Norte de California) us-west-1
Oeste de EE. UU. (Oregón) us-west-2
Canada (Central) ca-central-1
Europe (Ireland) eu-west-1
Europe (London) eu-west-2
Europe (Frankfurt) eu-central-1
Asia Pacífico (Singapur) ap-southeast-1
Asia Pacífico (Sídney) ap-southeast-2
Asia Pacífico (Mumbai) ap-south-1
Asia Pacífico (Tokio) ap-northeast-1
Asia Pacífico (Seúl) ap-northeast-2
South America (São Paulo) sa-east-1