Créez un cluster avec Hudi installé - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Créez un cluster avec Hudi installé

Avec les EMR versions 5.28.0 et ultérieures d'Amazon, Amazon EMR installe les composants Hudi par défaut lorsque Spark, Hive ou Presto sont installés. Pour utiliser Hudi sur AmazonEMR, créez un cluster avec une ou plusieurs des applications suivantes installées :

  • Hadoop

  • Hive

  • Spark

  • Presto

  • Flink

Vous pouvez créer un cluster en utilisant le AWS Management Console AWS CLI, le ou Amazon EMRAPI.

  1. Accédez à la nouvelle EMR console Amazon et sélectionnez Basculer vers l'ancienne console dans la navigation latérale. Pour plus d'informations sur ce qu'implique le passage à l'ancienne console, consultez la rubrique Utilisation de l'ancienne console.

  2. Choisissez Créer un cluster et Go to advanced options (Aller aux options avancées).

  3. Sous Software Configuration (Configuration logicielle), choisissez emr-5.28.0 ou version ultérieure pour Release (Version) et sélectionnez Hadoop, Hive, Spark, Presto et Tez avec les autres applications dont votre cluster a besoin.

  4. Configurez d'autres options si nécessaire pour votre application, puis choisissez Next (Suivant).

  5. Configurez les options pour Hardware (Matériel) and General cluster settings (Paramètres de cluster généraux) à votre guise.

  6. Pour les options de sécurité, nous vous recommandons de sélectionner une paire de EC2 clés que vous pouvez utiliser pour vous connecter à la ligne de commande du nœud principal à l'aide deSSH. Cela vous permet d'exécuter les commandes Spark shell, les commandes Hive et CLI les CLI commandes Hudi décrites dans ce guide.

  7. Configurez les autres options de sécurité comme vous le souhaitez et choisissez Create cluster (Créer un cluster).