Spark ウェブ UI にアクセスする

Spark ウェブ UI は、「Amazon EMR 管理ガイド」の「クラスターに接続する」セクションにある SSH トンネルの作成手順とプロキシの作成手順に従い、クラスターの YARN ResourceManager に移動することで表示できます。アプリケーションの UI 追跡の下のリンクを選択します。アプリケーションが実行中の場合、ApplicationMaster が表示されます。ドライバーがどこにあるかにかかわらず、ここからアプリケーションマスターのウェブ UI のポート 20888 に移動できます。YARN クライアントモードで実行する場合、ドライバーはクラスターのプライマリノードにあるかもしれません。YARN クラスターモードでアプリケーションを実行している場合、ドライバーは、クラスター上のアプリケーションの ApplicationMaster にあります。アプリケーションが終了すると、履歴が表示され、EMR クラスターのプライマリノードの、Spark HistoryServer の UI ポート番号 18080 に移動できます。これは、すでに完了したアプリケーション用です。http://master-public-dns-name:18080/ でも、Spark HistoryServer の UI ディレクトリに移動できます。

Amazon EMR リリース 5.25.0 以降では、SSH 接続を介してウェブプロキシを設定しなくても、コンソールから Spark 履歴サーバー UI にアクセスできます。詳細については、「永続アプリケーションユーザーインターフェイスの表示」を参照してください。