EMRclusters sur AWS Outposts - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

EMRclusters sur AWS Outposts

À partir d'Amazon EMR 5.28.0, vous pouvez créer et exécuter EMR des clusters sur AWS Outposts. AWS Outposts active le mode natif AWS services, infrastructures et modèles d'exploitation dans les installations sur site. Entrée AWS Outposts environnements, vous pouvez utiliser les mêmes AWS APIs, les outils et l'infrastructure que vous utilisez dans AWS Nuage. Amazon EMR sur AWS Outposts est idéal pour les charges de travail à faible latence qui doivent être exécutées à proximité des données et des applications sur site. Pour plus d'informations sur AWS Outposts, voir AWS Outposts Guide de l'utilisateur

Prérequis

Les conditions requises pour utiliser Amazon sur EMR AWS Outposts:

  • Vous devez avoir installé et configuré AWS Outposts dans votre centre de données sur site.

  • Vous devez disposer d'une connexion réseau fiable entre votre environnement Outpost et un AWS Région.

  • Vous devez disposer d'une capacité suffisante pour les types d'instances EMR pris en charge par Amazon disponibles dans votre Outpost.

Limites

Voici les limites de l'utilisation d'Amazon EMR sur AWS Outposts:

  • Les instances à la demande sont la seule option prise en charge pour les EC2 instances Amazon. Les instances Spot ne sont pas disponibles pour Amazon EMR sur AWS Outposts.

  • Si vous avez besoin de volumes EBS de stockage Amazon supplémentaires, seul General Purpose SSD (GP2) est pris en charge.

  • Lorsque vous utilisez AWS Outposts avec les EMR versions 5.28 à 6.x d'Amazon, vous ne pouvez utiliser que des compartiments S3 qui stockent des objets dans un Région AWS que vous spécifiez. Avec Amazon EMR 7.0.0 et versions ultérieures, Amazon sur EMR AWS Outposts est également pris en charge par le S3A client de système de fichiers, préfixes3a://.

  • Seuls les types d'instances suivants sont pris en charge par Amazon EMR sur AWS Outposts:

    Classe d'instance Types d’instances
    Usage général

    m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge

    Optimisé pour le calcul

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge

    Optimisé pour la mémoire

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge

    Optimisé pour le stockage

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

Considérations relatives à la connectivité réseau

  • Si la connectivité réseau entre votre Outpost et son AWS La région est perdue, vos clusters continueront de fonctionner. Toutefois, vous ne pouvez pas créer de nouveaux clusters ni effectuer de nouvelles actions sur les clusters existants tant que la connectivité n'a pas été rétablie. En cas de défaillance d'instance, l'instance ne sera pas automatiquement remplacée. En outre, les actions telles que l'ajout d'étapes à un cluster en cours d'exécution, la vérification de l'état d'exécution des étapes et l'envoi de CloudWatch métriques et d'événements seront retardées.

  • Nous vous recommandons de fournir une connectivité réseau fiable et hautement disponible entre votre Outpost et le AWS Région. Si la connectivité réseau entre votre Outpost et son AWS La région est perdue pendant plus de quelques heures, les clusters qui ont activé la protection contre les interruptions continueront de fonctionner et les clusters qui ont désactivé la protection contre les mises hors service peuvent être interrompus.

  • Si la connectivité réseau sera affectée par une maintenance de routine, nous recommandons d'activer la protection contre la résiliation de manière proactive. Plus généralement, une interruption de connectivité signifie que toutes les dépendances externes qui ne sont pas locales au réseau Outpost ou client ne seront pas accessibles. Cela inclut Amazon S3, DynamoDB utilisé EMRFS avec la vue de cohérence et RDS Amazon si une instance régionale est utilisée pour un cluster EMR Amazon avec plusieurs nœuds principaux.

Création d'un EMR cluster Amazon sur AWS Outposts

Création d'un EMR cluster Amazon sur AWS Outposts est similaire à la création d'un EMR cluster Amazon dans AWS Nuage. Lorsque vous créez un EMR cluster Amazon sur AWS Outposts, vous devez spécifier un EC2 sous-réseau Amazon associé à votre Outpost.

Un Amazon VPC peut couvrir toutes les zones de disponibilité d'un AWS Région. AWS Outposts sont des extensions de zones de disponibilité, et vous pouvez étendre un compte Amazon VPC pour couvrir plusieurs zones de disponibilité et les emplacements d'avant-poste associés. Lorsque vous configurez votre Outpost, vous lui associez un sous-réseau pour étendre votre VPC environnement régional à vos installations sur site. Les instances Outpost et les services associés apparaissent dans le cadre de votre régionVPC, comme dans le cas d'une zone de disponibilité associée à des sous-réseaux. Pour plus d'informations, veuillez consulter AWS Outposts Guide de l'utilisateur

Console

Pour créer un nouveau EMR cluster Amazon sur AWS Outposts avec le AWS Management Console, spécifiez un EC2 sous-réseau Amazon associé à votre Outpost.

Console
Pour créer un cluster sur AWS Outposts avec la console
  1. Connectez-vous au AWS Management Console, et ouvrez la EMR console Amazon à l'adresse https://console.aws.amazon.com/emr.

  2. Sous EMREC2Activé dans le volet de navigation de gauche, choisissez Clusters, puis Create cluster.

  3. Sous Configuration du cluster, sélectionnez Groupes d'instances ou Parcs d'instances. Choisissez ensuite un type d'instance dans le menu déroulant Choisir le type d'EC2instance ou sélectionnez Actions et choisissez Ajouter des EBS volumes. Amazon EMR sur AWS Outposts prend en charge un EBS volume et des types d'instances Amazon limités.

  4. Sous Mise en réseau, sélectionnez un EC2 sous-réseau avec un ID d'avant-poste au format suivant : op-123456789.

  5. Choisissez toutes les autres options qui s'appliquent à votre cluster.

  6. Pour lancer cluster, choisissez Créer un cluster.

CLI
Pour créer un cluster sur AWS Outposts avec le AWS CLI
  • Pour créer un nouveau EMR cluster Amazon sur AWS Outposts avec le AWS CLI, spécifiez un EC2 sous-réseau associé à votre Outpost, comme dans l'exemple suivant. Remplacez subnet-22XXXX01 avec votre propre identifiant de EC2 sous-réseau Amazon.

    aws emr create-cluster \ --name "Outpost cluster" \ --release-label emr-7.2.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles