Spark ウェブにアクセスする UIs

Spark ウェブを表示するには、「Amazon EMR管理ガイド」の「クラスターに接続する」セクションの UIs SSHトンネルを作成するか、プロキシを作成します。その後、クラスターYARN ResourceManager の に移動します。アプリケーションの UI 追跡の下のリンクを選択します。アプリケーションが実行されている場合は、 が表示されますApplicationMaster。ドライバーがどこにあるかにかかわらず、ここからアプリケーションマスターのウェブ UI のポート 20888 に移動できます。YARN クライアントモードで実行する場合、ドライバーはクラスターのプライマリノードにある可能性があります。YARN クラスターモードでアプリケーションを実行している場合、ドライバーはクラスター上の ApplicationMaster アプリケーションの にあります。アプリケーションが終了すると、履歴が表示され、EMRクラスターのプライマリノードの 18080 にある Spark HistoryServer UI ポート番号が表示されます。これは、すでに完了したアプリケーション用です。http://master-public-dns-name:18080/ で Spark HistoryServer UI に直接移動することもできます。

Amazon EMRリリース 5.25.0 以降では、 SSH接続を介してウェブプロキシをセットアップしなくても、コンソールから Spark 履歴サーバー UI にアクセスできます。詳細については、「永続アプリケーションユーザーインターフェイスの表示」を参照してください。