アプリケーションの履歴を表示する - Amazon EMR

アプリケーションの履歴を表示する

コンソールのクラスターの詳細ページで、Spark 履歴サーバーや YARN タイムラインサーバーアプリケーションの詳細を表示できます。Amazon EMR のアプリケーション履歴を使用すると、アクティブなジョブとジョブ履歴のトラブルシューティングや分析を簡単に行うことができます。

New console

[アプリケーション] タブの [アプリケーションユーザーインターフェイス] セクションには、クラスターの状態とクラスターにインストール済みのアプリケーションに応じて、いくつかの表示オプションが用意されています。

  • 永続アプリケーションユーザーインターフェイスへのクラスター外アクセス - Amazon EMR バージョン 5.25.0 以降、Spark UI と Spark 履歴サービスで永続アプリケーションユーザーインターフェイスリンクを使用できます。Amazon EMR バージョン 5.30.1 以降では、Tez UI と YARN タイムラインサーバーにも永続アプリケーションユーザーインターフェイスがあります。YARN タイムラインサーバーと Tez UI は、アクティブなクラスターと終了したクラスターについてのメトリクスを提供するオープンソースアプリケーションです。Spark ユーザーインターフェイスには、スケジューラのステージとタスク、RDD サイズとメモリ使用量、環境に関する情報、動作中の実行プログラムに関する情報が表示されます。永続アプリケーション UI はクラスター外で実行されるため、クラスター情報とログは、アプリケーションの終了後 30 日間使用できます。クラスター上のアプリケーションユーザーインターフェイスとは異なり、永続アプリケーション UI では、SSH 接続を介してウェブプロキシをセットアップする必要はありません。

  • クラスター上のアプリケーションユーザーインターフェイス - クラスターで実行できる、さまざまなアプリケーション履歴ユーザーインターフェイスがあります。クラスター上のユーザーインターフェイスはマスターノードでホストされるため、ウェブサーバーへの SSH 接続をセットアップする必要があります。クラスター上のアプリケーションのユーザーインターフェイスは、アプリケーションの終了後、アプリケーションの履歴を 1 週間保持します。SSH トンネルの設定の詳細と手順については、「Amazon EMR クラスターでホストされているウェブインターフェイスを表示する」を参照してください。

    Spark History Server、YARN Timeline Server、Hive アプリケーションを除き、クラスター上のアプリケーション履歴はクラスターの実行中のみ表示できます。

Old console

[Application user interfaces (アプリケーションユーザーインターフェイス)] タブには、いくつかの表示オプションがあります。

  • 永続アプリケーションユーザーインターフェイスへのクラスター外アクセス - Amazon EMR バージョン 5.25.0 以降、Spark で永続アプリケーションユーザーインターフェイスリンクを使用できます。Amazon EMR バージョン 5.30.1 以降では、Tez UI と YARN タイムラインサーバーにも永続アプリケーションユーザーインターフェイスがあります。YARN タイムラインサーバーと Tez UI は、アクティブなクラスターと終了したクラスターについてのメトリクスを提供するオープンソースアプリケーションです。Spark ユーザーインターフェイスには、スケジューラのステージとタスク、RDD サイズとメモリ使用量、環境に関する情報、動作中の実行プログラムに関する情報が表示されます。永続アプリケーション UI はクラスター外で実行されるため、クラスター情報とログは、アプリケーションの終了後 30 日間使用できます。クラスター上のアプリケーションユーザーインターフェイスとは異なり、永続アプリケーション UI では、SSH 接続を介してウェブプロキシをセットアップする必要はありません。

  • クラスター上のアプリケーションユーザーインターフェイス - クラスターで実行できる、さまざまなアプリケーション履歴ユーザーインターフェイスがあります。クラスター上のユーザーインターフェイスはマスターノードでホストされるため、ウェブサーバーへの SSH 接続をセットアップする必要があります。クラスター上のアプリケーションのユーザーインターフェイスは、アプリケーションの終了後、アプリケーションの履歴を 1 週間保持します。SSH トンネルの設定の詳細と手順については、「Amazon EMR クラスターでホストされているウェブインターフェイスを表示する」を参照してください。

    Spark History Server、YARN Timeline Server、Hive アプリケーションを除き、クラスター上のアプリケーション履歴はクラスターの実行中のみ表示できます。

  • アプリケーション履歴の概要 - Amazon EMR バージョン 5.8.0 から 5.36.0、および 6.8.0 までの 6.x リリースでは、古い Amazon EMR コンソールでアプリケーション履歴の概要 (ステージタスクと実行プログラムの主要なメトリクスなど) を表示できます。2023 年 1 月 23 日をもって、Amazon EMR はすべてのバージョンでアプリケーション履歴の概要機能を廃止します。Amazon EMR バージョン 5.25.0 以降を使用している場合は、代わりに永続アプリケーションユーザーインターフェイスを使用することをお勧めします。