Creazione di un cluster con Hudi installato
Con la versione 5.28.0 e successive di Amazon EMR, Amazon EMR installa i componenti Hudi per impostazione predefinita quando sono installati Spark, Hive o Presto. Per utilizzare Hudi su Amazon EMR, crea un cluster con una o più delle seguenti applicazioni installate:
-
Hadoop
-
Hive
-
Spark
-
Presto
-
Flink
Puoi creare un cluster utilizzando la AWS Management Console, la AWS CLI o l'API di Amazon EMR.
Passa alla nuova console Amazon EMR e seleziona Passa alla vecchia console dalla barra di navigazione laterale. Per ulteriori informazioni su cosa aspettarti quando passi alla vecchia console, consulta Utilizzo della vecchia console.
-
Seleziona Create cluster (Crea cluster), Go to advanced options (Vai alle opzioni avanzate).
-
In Configurazione software, scegli emr-5.28.0 o versioni successive per Release (Rilascio) e seleziona Hadoop, Hive, Spark, Presto e Tez insieme ad altre applicazioni richieste dal cluster.
-
Configurare altre opzioni come richiesto per l'applicazione, quindi scegliere Avanti.
-
Configurare le opzioni per Hardware e Impostazioni generali del cluster come desiderato.
-
Per Opzioni di protezione, si consiglia di selezionare una coppia di chiavi EC2 che è possibile utilizzare per connettersi alla riga di comando del nodo master utilizzando SSH. In questo modo è possibile eseguire i comandi della shell Spark, i comandi della CLI Hive e i comandi della CLI Hudi descritti in questa guida.
-
Configurare altre opzioni di sicurezza come desiderato, quindi scegliere Crea cluster.