Utilisation d'un pipeline avec des ressources dans plusieurs régions - AWS Data Pipeline

AWS Data Pipeline n'est plus disponible pour les nouveaux clients. Les clients existants de AWS Data Pipeline peut continuer à utiliser le service normalement. En savoir plus

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation d'un pipeline avec des ressources dans plusieurs régions

Par défaut, les ressources Ec2Resource et EmrCluster s'exécutent dans la même région qu'AWS Data Pipeline. Toutefois, AWS Data Pipeline prend en charge la possibilité d'orchestrer les flux de données dans plusieurs régions, comme l'exécution des ressources d'une région consolidant les données d'entrée d'une autre région. En permettant aux ressources de s'exécuter dans une région spécifiée, vous avez également la possibilité de colocaliser vos ressources avec leurs jeux de données dépendants et d'optimiser les performances en réduisant les latences et en évitant les frais de transfert de données entre régions. Vous pouvez configurer des ressources pour qu'elles s'exécutent dans une autre région que celle d'AWS Data Pipeline en utilisant le champ region sur Ec2Resource et EmrCluster.

L'exemple de fichier JSON de pipeline suivant montre comment exécuter une EmrCluster ressource dans la région Europe (Irlande), en supposant qu'une grande quantité de données sur lesquelles le cluster doit travailler existe dans la même région. Dans cet exemple, la seule différence avec un pipeline typique est que l'EmrCluster comporte une valeur de champ region définie sur eu-west-1.

{
  "objects": [
    {
      "id": "Hourly",
      "type": "Schedule",
      "startDateTime": "2014-11-19T07:48:00",
      "endDateTime": "2014-11-21T07:48:00",
      "period": "1 hours"
    },
    {
      "id": "MyCluster",
      "type": "EmrCluster",
      "masterInstanceType": "m3.medium",
      "region": "eu-west-1",
      "schedule": {
        "ref": "Hourly"
      }
    },
    {
      "id": "MyEmrActivity",
      "type": "EmrActivity",
      "schedule": {
        "ref": "Hourly"
      },
      "runsOn": {
        "ref": "MyCluster"
      },
      "step": "/home/hadoop/contrib/streaming/hadoop-streaming.jar,-input,s3n://elasticmapreduce/samples/wordcount/input,-output,s3://eu-west-1-bucket/wordcount/output/#{@scheduledStartTime},-mapper,s3n://elasticmapreduce/samples/wordcount/wordSplitter.py,-reducer,aggregate"
    }
  ]
}

Le tableau suivant répertorie les régions que vous pouvez choisir et les codes de région associés à utiliser dans le champ region.

Note

La liste suivante inclut les régions dans lesquelles AWS Data Pipeline vous pouvez orchestrer des flux de travail et lancer des ressources Amazon EMR ou Amazon EC2. AWS Data Pipelinepeut ne pas être pris en charge dans ces régions. Pour plus d'informations sur les régions dans lesquelles AWS Data Pipeline est pris en charge, consultez Régions et points de terminaison AWS.

Nom de la région Code région
US East (Virginie du Nord) us-east-1
USA Est (Ohio) us-east-2
USA Ouest (Californie du Nord) us-west-1
US West (Oregon) us-west-2
Canada (Centre) ca-central-1
Europe (Irlande) eu-west-1
Europe (Londres) eu-west-2
Europe (Francfort) eu-central-1
Asie-Pacifique (Singapore) ap-southeast-1
Asie-Pacifique (Sydney) ap-southeast-2
Asie-Pacifique (Mumbai) ap-south-1
Asie Pacifique (Tokyo) ap-northeast-1
Asie-Pacifique (Séoul) ap-northeast-2
Amérique du Sud (São Paulo) sa-east-1