本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
建立已安裝 Hudi 的叢集
使用 Amazon EMR 版本 5.28.0 及更高版本,Amazon 在EMR安裝 Spark,蜂巢或普雷斯托時默認安裝 Hudi 組件。若要在 Amazon 上使用 HudiEMR,請建立已安裝下列一或多個應用程式的叢集:
-
Hadoop
-
Hive
-
Spark
-
Presto
-
Flink
您可以使用 AWS Management Console AWS CLI、或 Amazon 建立叢集EMRAPI。
導覽至新的 Amazon EMR 主控台,然後從側邊導覽選取「切換至舊主控台」。如需有關切換至舊主控台時預期情況的詳細資訊,請參閱使用舊主控台。
-
選擇 Create cluster (建立叢集),然後選擇 Go to advanced options (前往進階選項)。
-
在「軟體組態」下,對於發行版本,選擇 emr-5.28.0 或更新版本,然後選擇 Hadoop、Hive、Spark、Presto 和 Tez 以及叢集需要的其他應用程式。
-
視您的應用程式需要設定其他選項,然後選擇 Next (下一步)。
-
視需要設定 Hardware (硬體) 和 General cluster settings (一般叢集設定) 選項。
-
對於安全性選項,我們建議您選取可用來連接至主節點命令列的 EC2key pair SSH。這使您可以運行本指南中描述的 Spark shell CLI 命令,Hive CLI 命令和 Hudi 命令。
-
視需要設定其他安全選項,然後選擇 Create cluster (建立叢集)。