Cluster EMR attivi AWS Outposts - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Cluster EMR attivi AWS Outposts

A partire da Amazon EMR 5.28.0, puoi creare ed eseguire cluster EMR su. AWS Outposts AWS Outposts abilita AWS servizi, infrastrutture e modelli operativi nativi in strutture locali. Negli AWS Outposts ambienti, puoi utilizzare le stesse AWS API, gli stessi strumenti e la stessa infrastruttura che usi nel AWS cloud. Amazon EMR on AWS Outposts è ideale per carichi di lavoro a bassa latenza che devono essere eseguiti in prossimità di dati e applicazioni locali. Per ulteriori informazioni su AWS Outposts, consulta la Guida per l'utente.AWS Outposts

Prerequisiti

Di seguito sono indicati i prerequisiti per l'utilizzo di Amazon EMR in AWS Outposts:

  • È necessario averlo installato e configurato AWS Outposts nel data center locale.

  • È necessario disporre di una connessione di rete affidabile tra l'ambiente Outpost e una AWS regione.

  • È necessario disporre di una capacità sufficiente per i tipi di istanze supportati da Amazon EMR disponibili nel tuo Outpost.

Limitazioni

Di seguito sono riportate le limitazioni dell'utilizzo di Amazon EMR su AWS Outposts:

  • Le istanze on demand sono l'unica opzione supportata per le istanze Amazon EC2. Le istanze Spot non sono disponibili per Amazon EMR in AWS Outposts.

  • Se sono necessari volumi di archiviazione Amazon EBS aggiuntivi, è supportato solo General Purpose SSD (GP2).

  • Se lo utilizzi AWS Outposts con le versioni di Amazon EMR dalla 5.28 alla 6.x, puoi usare solo bucket S3 che archiviano oggetti in un ambiente da te specificato. Regione AWS Con Amazon EMR 7.0.0 e versioni successive, Amazon EMR on AWS Outposts è supportato anche con il client di file system, prefix. S3A s3a://

  • Solo i seguenti tipi di istanza sono supportati da Amazon EMR in AWS Outposts:

    Classe di istanza Tipi di istanza
    Uso generale

    m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge

    Ottimizzato per il calcolo

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge

    Ottimizzato per la memoria

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge

    Ottimizzato per lo storage

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

Considerazioni sulla connettività di rete

  • Se la connettività di rete tra Outpost e la relativa AWS regione viene interrotta, i cluster continueranno a funzionare. Tuttavia, non potrai creare nuovi cluster o intraprendere nuove azioni nei cluster esistenti fino a quando la connettività non viene ripristinata. In caso di errori di istanza, l'istanza non verrà sostituita automaticamente. Inoltre, azioni come l'aggiunta di passaggi a un cluster in esecuzione, la verifica dello stato di esecuzione delle fasi e l'invio di CloudWatch metriche ed eventi verranno ritardate.

  • Ti consigliamo di fornire una connettività di rete affidabile e ad alta disponibilità tra Outpost e la regione. AWS Se la connettività di rete tra Outpost e la relativa AWS regione viene interrotta per più di qualche ora, i cluster che hanno abilitato la protezione da terminazione continueranno a funzionare e i cluster che hanno disabilitato la protezione da terminazione potrebbero essere terminati.

  • Se la connettività di rete subirà danni a causa della manutenzione di routine, suggeriamo di abilitare proattivamente una protezione dalle interruzioni. Più in generale, l'interruzione della connettività significa che eventuali dipendenze esterne che non sono locali per Outpost o la rete clienti non saranno accessibili. Sono inclusi Amazon S3, DynamoDB utilizzato con la visualizzazione coerente EMRFS e Amazon RDS se un'istanza interna alla Regione è utilizzata per un cluster Amazon EMR con più nodi primari.

Creazione di un cluster Amazon EMR su AWS Outposts

La creazione di un cluster Amazon EMR su AWS Outposts è simile alla creazione di un cluster Amazon EMR nel cloud. AWS Quando crei un cluster Amazon EMR su AWS Outposts, devi specificare una sottorete Amazon EC2 associata al tuo Outpost.

Un Amazon VPC può estendersi su tutte le zone di disponibilità di una regione. AWS AWS Outposts sono estensioni delle zone di disponibilità e puoi estendere un Amazon VPC in un account per estenderlo a più zone di disponibilità e sedi Outpost associate. Quando si configura l'Outpost, si associa a esso un gruppo di sottoreti per estendere l'ambiente regionale del VPC alla struttura locale. Le istanze Outpost e i servizi correlati fanno parte del VPC regionale, in modo simile a una zona di disponibilità con le sottoreti associate. Per ulteriori informazioni, consulta la Guida per l'utente di AWS Outposts.

Console

Per creare un nuovo cluster Amazon EMR AWS Outposts con AWS Management Console, specifica una sottorete Amazon EC2 associata al tuo Outpost.

Nota

Abbiamo riprogettato la console Amazon EMR per facilitarne l'utilizzo. Per scoprire le differenze tra la vecchia e la nuova esperienza nella console, consulta la sezione Console Amazon EMR.

New console
Per creare un cluster con la nuova console AWS Outposts
  1. Accedi a e apri AWS Management Console la console Amazon EMR all'indirizzo https://console.aws.amazon.com/emr.

  2. In EMR on EC2 (EMR su EC2), nel riquadro di navigazione a sinistra, scegli Clusters (Cluster) e seleziona Create cluster (Crea cluster).

  3. In Cluster configuration (Configurazione del cluster), seleziona Instance groups (Gruppi di istanze) oppure Instance fleets (Parchi istanze). Quindi, scegli un tipo di istanza dal menu a discesa Choose EC2 instance type (Scegli il tipo di istanza EC2) o seleziona Actions (Operazioni) e scegli Add EBS volumes (Aggiungi volumi EBS). Amazon EMR on AWS Outposts supporta volumi e tipi di istanze Amazon EBS limitati.

  4. In Networking (Reti), seleziona una sottorete EC2 con un ID dell'Outpost in questo formato: op-123456789.

  5. Scegli qualsiasi altra opzione applicabile al cluster.

  6. Per avviare il cluster, scegli Create cluster (Crea cluster).

Old console
Per creare un cluster AWS Outposts con la vecchia console
  1. Passa alla nuova console Amazon EMR e seleziona Passa alla vecchia console dalla barra di navigazione laterale. Per ulteriori informazioni su cosa aspettarti quando passi alla vecchia console, consulta Utilizzo della vecchia console.

  2. Scegli Create cluster (Crea cluster).

  3. Scegli Go to advanced options (Vai alle opzioni avanzate).

  4. In Software Configuration (Configurazione software), per Release (Versione), scegliere 5.28.0 o versioni successive.

  5. In Configurazione hardware, per la sottorete EC2, seleziona una sottorete Amazon EC2 con un ID Outpost in questo formato: op-123456789.

  6. Scegli un tipo di istanza o aggiungi volumi di archiviazione Amazon EBS per i gruppi di istanze uniformi o i parchi istanze. I tipi di istanze e volumi limitati di Amazon EBS sono supportati per Amazon EMR su AWS Outposts.

CLI
Per AWS Outposts creare un cluster con AWS CLI
  • Per creare un nuovo cluster Amazon EMR AWS Outposts con AWS CLI, specifica una sottorete EC2 associata al tuo Outpost, come nell'esempio seguente. Sostituisci Subnet-22xxxx01 con il tuo ID di sottorete Amazon EC2.

    aws emr create-cluster \ --name "Outpost cluster" \ --release-label emr-7.1.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles