JupyterHub - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

JupyterHub

Jupyter Notebook ist eine Open-Source-Webanwendung, mit der Sie Dokumente erstellen und freigeben können, die Live-Code, Gleichungen, Visualisierungen und narrativen Text enthalten. JupyterHubermöglicht es Ihnen, mehrere Instanzen eines Jupyter-Notebookservers für einen einzelnen Benutzer zu hosten. Wenn Sie einen Cluster mit erstellen JupyterHub, EMR erstellt Amazon einen Docker-Container auf dem Master-Knoten des Clusters. JupyterHub, alle für Jupyter und Sparkmagic erforderlichen Komponenten werden innerhalb des Containers ausgeführt.

Sparkmagic ist eine Kernelbibliothek, die es Jupyter-Notebooks ermöglicht, mit Apache Spark zu interagieren, der auf Amazon EMR läuftApache Livy, einem Server für Spark. REST Spark und Apache Livy werden automatisch installiert, wenn Sie einen Cluster mit erstellen. JupyterHub Der Standard-Python-3-Kernel für Jupiter ist zusammen mit den Kerneln PySpark 3,, und Spark verfügbar PySpark, die mit Sparkmagic verfügbar sind. Sie können diese Kernel verwenden, um Ad-hoc-Spark-Code und interaktive SQL Abfragen mit Python und Scala auszuführen. Sie können zusätzliche Kernel innerhalb des Docker-Containers manuell installieren. Weitere Informationen finden Sie unter Installieren von zusätzlicher Kerneln und Bibliotheken.

Das folgende Diagramm zeigt die Komponenten von JupyterHub on Amazon EMR mit den entsprechenden Authentifizierungsmethoden für Notebook-Benutzer und den Administrator. Weitere Informationen finden Sie unter Hinzufügen von Jupyter-Notebook-Benutzern und Administratoren.

JupyterHub architecture on EMR showing user authentication and component interactions.

In der folgenden Tabelle sind die Version von JupyterHub aufgeführt, die in der neuesten Version der Amazon EMR 7.x-Serie enthalten ist, sowie die Komponenten, mit denen Amazon EMR installiert. JupyterHub

Informationen zur Version der Komponenten, mit denen JupyterHub in dieser Version installiert wurde, finden Sie unter Komponentenversionen von Version 7.2.0.

JupyterHub Versionsinformationen für emr-7.2.0
EMRAmazon-Freigabeetikett JupyterHub Ausführung Komponenten, die mit installiert wurden JupyterHub

emr-7.2.0

JupyterHub 1.5.0

emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

In der folgenden Tabelle sind die Version von JupyterHub aufgeführt, die in der neuesten Version der Amazon EMR 6.x-Serie enthalten ist, sowie die Komponenten, mit denen Amazon EMR installiert. JupyterHub

Informationen zur Version der Komponenten, mit denen JupyterHub in dieser Version installiert wurde, finden Sie unter Komponentenversionen von Version 6.15.0.

JupyterHub Versionsinformationen für emr-6.15.0
EMRAmazon-Freigabeetikett JupyterHub Ausführung Komponenten, die mit installiert wurden JupyterHub

emr-6.15.0

JupyterHub 1.5.0

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

In der folgenden Tabelle sind die Version von JupyterHub aufgeführt, die in der neuesten Version der Amazon EMR 5.x-Serie enthalten ist, sowie die Komponenten, mit denen Amazon EMR installiert. JupyterHub

Informationen zur Version der Komponenten, mit denen JupyterHub in dieser Version installiert wurde, finden Sie unter Komponentenversionen von Version 5.36.2.

JupyterHub Versionsinformationen für emr-5.36.2
EMRAmazon-Freigabeetikett JupyterHub Ausführung Komponenten, die mit installiert wurden JupyterHub

emr-5.36.2

JupyterHub 1.4.1

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

Der Python-3-Kernel, JupyterHub der bei Amazon enthalten ist, EMR ist 3.6.4.

Die im jupyterhub Container installierten Bibliotheken können zwischen EMR Amazon-Release-Versionen und EC2 AMI Amazon-Versionen variieren.

Installierte Bibliotheken mit conda auflisten

  • Führen Sie den folgenden Befehl in der Befehlszeile des Master-Knotens aus:

    sudo docker exec jupyterhub bash -c "conda list"
Installierte Bibliotheken mit pip auflisten

  • Führen Sie den folgenden Befehl in der Befehlszeile des Master-Knotens aus:

    sudo docker exec jupyterhub bash -c "pip freeze"
Themen