Apache Livy
Livy ermöglicht die Interaktion über eine REST-Schnittstelle mit einem EMR-Cluster, auf dem Spark ausgeführt wird. Sie können die REST-Schnittstelle oder eine RPC-Client-Bibliothek verwenden, um Spark-Jobs oder Bausteine von Spark-Code zu senden, Ergebnisse synchron oder asynchron abzurufen und Spark-Kontext zu verwalten. Weitere Informationen finden Sie auf der Apache Livy-Website
Richten Sie für den Zugriff auf die Livy-Webschnittstelle einen SSH-Tunnel zum Master-Knoten und eine Proxy-Verbindung ein. Weitere Informationen finden Sie unter Auf Amazon-EMR-Clustern gehostete Webschnittstellen anzeigen.
Die folgende Tabelle listet die Version von Livy auf, die in der neuesten Version der Amazon-EMR-6.x-Serie enthalten ist, zusammen mit den Komponenten, die Amazon EMR mit Livy installiert.
Die Version der Komponenten, die mit Livy in dieser Version installiert wurden, finden Sie unter Komponentenversionen der Version 6.14.0.
Livy-Versionsinformationen für emr-6.14.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Amazon-EMR-Versionsbezeichnung | Livy-Version | Mit Livy installierte Komponenten | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-6.14.0 |
Livy 0.7.1 |
aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, nginx |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Die folgende Tabelle listet die Version von Livy auf, die in der neuesten Version der Amazon-EMR-5.x-Serie enthalten ist, zusammen mit den Komponenten, die Amazon EMR mit Livy installiert.
Die Version der Komponenten, die mit Livy in dieser Version installiert wurden, finden Sie unter Komponentenversionen der Version 6.14.0.
Livy-Versionsinformationen für emr-5.36.1 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Amazon-EMR-Versionsbezeichnung | Livy-Version | Mit Livy installierte Komponenten | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-5.36.1 |
Livy 0.7.1 |
aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, nginx |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
