Apache Livy - Amazon EMR

Apache Livy

Livy は、Spark を実行する EMR クラスターを、REST インターフェイスによって操作できます。REST インターフェイスまたは RPC クライアントライブラリを使って、Spark ジョブや Spark コードのスニペットを送信したり、同期的または非同期的に結果を取得したり、Spark コンテキストを管理したりすることができます。詳細については、Apache Livy のウェブサイトを参照してください。Livy は、Amazon EMR リリースバージョン 5.9.0 以降に含まれています。

Livy ウェブインターフェイスにアクセスするには、マスターノードへの SSH トンネルとプロキシ接続を設定します。詳細については、「EMR クラスターでホストされているウェブサイトの表示」を参照してください。

次の表は、Amazon EMR 6.x シリーズの最新リリースに含まれている Livy のバージョンと、Amazon EMR で Livy と共にインストールされるコンポーネントを示しています。

このリリースで Livy と共にインストールされるコンポーネントのバージョンについては、リリース 6.0.0 のコンポーネントバージョンを参照してください。

emr-6.0.0 の Livy バージョン情報
Amazon EMR リリースラベル Livy バージョン Livy でインストールされるコンポーネント

emr-6.0.0

Livy 0.6.0

aws-sagemaker-spark-sdk、emrfs、emr-goodies、emr-ddb、hadoop-client、hadoop-hdfs-datanode、hadoop-hdfs-library、hadoop-hdfs-namenode、hadoop-kms-server、hadoop-yarn-nodemanager、hadoop-yarn-resourcemanager、hadoop-yarn-timeline-server、r、spark-client、spark-history-server、spark-on-yarn、spark-yarn-slave、livy-server、nginx

次の表は、Amazon EMR 5.x シリーズの最新リリースに含まれている Livy のバージョンと、Amazon EMR で Livy と共にインストールされるコンポーネントを示しています。

このリリースで Livy と共にインストールされるコンポーネントのバージョンについては、リリース 5.30.0 のコンポーネントバージョンを参照してください。

emr-5.30.0 の Livy バージョン情報
Amazon EMR リリースラベル Livy バージョン Livy でインストールされるコンポーネント

emr-5.30.0

Livy 0.7.0

aws-sagemaker-spark-sdk、emrfs、emr-goodies、emr-ddb、emr-notebook-env、hadoop-client、hadoop-hdfs-datanode、hadoop-hdfs-library、hadoop-hdfs-namenode、hadoop-kms-server、hadoop-yarn-nodemanager、hadoop-yarn-resourcemanager、hadoop-yarn-timeline-server、r、spark-client、spark-history-server、spark-on-yarn、spark-yarn-slave、livy-server、nginx