Creazione di un cluster con Hudi installato - Amazon EMR

Creazione di un cluster con Hudi installato

Con la versione 5.28.0 e successive di Amazon EMR, Amazon EMR installa i componenti Hudi per impostazione predefinita quando sono installati Spark, Hive o Presto. Per utilizzare Hudi su Amazon EMR, crea un cluster con una o più delle seguenti applicazioni installate:

  • Hadoop

  • Hive

  • Spark

  • Presto

  • Flink

Puoi creare un cluster utilizzando la AWS Management Console, la AWS CLI o l'API di Amazon EMR.

  1. Passa alla nuova console Amazon EMR e seleziona Passa alla vecchia console dalla barra di navigazione laterale. Per ulteriori informazioni su cosa aspettarti quando passi alla vecchia console, consulta Utilizzo della vecchia console.

  2. Seleziona Create cluster (Crea cluster), Go to advanced options (Vai alle opzioni avanzate).

  3. In Configurazione software, scegli emr-5.28.0 o versioni successive per Release (Rilascio) e seleziona Hadoop, Hive, Spark, Presto e Tez insieme ad altre applicazioni richieste dal cluster.

  4. Configurare altre opzioni come richiesto per l'applicazione, quindi scegliere Avanti.

  5. Configurare le opzioni per Hardware e Impostazioni generali del cluster come desiderato.

  6. Per Opzioni di protezione, si consiglia di selezionare una coppia di chiavi EC2 che è possibile utilizzare per connettersi alla riga di comando del nodo master utilizzando SSH. In questo modo è possibile eseguire i comandi della shell Spark, i comandi della CLI Hive e i comandi della CLI Hudi descritti in questa guida.

  7. Configurare altre opzioni di sicurezza come desiderato, quindi scegliere Crea cluster.