JupyterHub - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

JupyterHub

Jupyter Notebook ist eine Open-Source-Webanwendung, mit der Sie Dokumente erstellen und teilen können, die Live-Code, Gleichungen, Visualisierungen und erläuternden Text enthalten. JupyterHubermöglicht es Ihnen, mehrere Instanzen eines Jupyter-Notebookservers für einen einzelnen Benutzer zu hosten. Wenn Sie einen Cluster mit erstellen JupyterHub, erstellt Amazon EMR einen Docker-Container auf dem Master-Knoten des Clusters. JupyterHub, alle für Jupyter und Sparkmagic erforderlichen Komponenten werden innerhalb des Containers ausgeführt.

Sparkmagic ist eine Kernel-Bibliothek, mit der Jupyter-Notebooks mit Apache Spark in Amazon EMR über Apache Livy interagieren. Dabei handelt es sich um einen REST-Server für Spark. Spark und Apache Livy werden automatisch installiert, wenn Sie mit JupyterHub einen Cluster erstellen. Der Standard-Python-3-Kernel für Jupiter ist zusammen mit den Kerneln PySpark 3,, und Spark verfügbar PySpark, die mit Sparkmagic verfügbar sind. Sie können diese Kernel verwenden, um ad-hoc-Spark-Code und interaktive SQL-Abfragen mit Python und Scala auszuführen. Sie können zusätzliche Kernel innerhalb des Docker-Containers manuell installieren. Weitere Informationen finden Sie unter Installieren von zusätzlicher Kerneln und Bibliotheken.

Das folgende Diagramm zeigt die Komponenten von JupyterHub on Amazon EMR mit den entsprechenden Authentifizierungsmethoden für Notebook-Benutzer und den Administrator. Weitere Informationen finden Sie unter Hinzufügen von Jupyter-Notebook-Benutzern und Administratoren.

JupyterHub architecture on EMR showing user authentication and component interactions.

In der folgenden Tabelle sind die Version von JupyterHub aufgeführt, die in der neuesten Version der Amazon EMR 7.x-Serie enthalten ist, zusammen mit den Komponenten, mit denen Amazon EMR installiert wird. JupyterHub

Informationen zur Version der Komponenten, mit denen JupyterHub in dieser Version installiert wurde, finden Sie unter Komponentenversionen von Version 7.10.0.

JupyterHub Versionsinformationen für emr-7.10.0
Amazon-EMR-Versionsbezeichnung JupyterHub Version Mit installierte Komponenten JupyterHub

emr-7.10.0

JupyterHub 1.5.0

emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

In der folgenden Tabelle sind die Version von JupyterHub aufgeführt, die in der neuesten Version der Amazon EMR 6.x-Serie enthalten ist, zusammen mit den Komponenten, mit denen Amazon EMR installiert wird. JupyterHub

Informationen zur Version der Komponenten, mit denen JupyterHub in dieser Version installiert wurde, finden Sie unter Komponentenversionen von Version 6.15.0.

JupyterHub Versionsinformationen für emr-6.15.0
Amazon-EMR-Versionsbezeichnung JupyterHub Version Mit installierte Komponenten JupyterHub

emr-6.15.0

JupyterHub 1.5.0

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

In der folgenden Tabelle sind die Version von JupyterHub aufgeführt, die in der neuesten Version der Amazon EMR 5.x-Serie enthalten ist, zusammen mit den Komponenten, mit denen Amazon EMR installiert wird. JupyterHub

Informationen zur Version der Komponenten, mit denen JupyterHub in dieser Version installiert wurde, finden Sie unter Komponentenversionen von Version 5.36.2.

JupyterHub Versionsinformationen für emr-5.36.2
Amazon-EMR-Versionsbezeichnung JupyterHub Version Mit installierte Komponenten JupyterHub

emr-5.36.2

JupyterHub 1.4.1

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

Der in Amazon EMR enthaltene JupyterHub Python-3-Kernel ist 3.6.4.

Die im jupyterhub Container installierten Bibliotheken können zwischen den Amazon EMR-Release-Versionen und den Amazon EC2 AMI-Versionen variieren.

Installierte Bibliotheken mit conda auflisten

  • Führen Sie den folgenden Befehl in der Befehlszeile des Master-Knotens aus:

    sudo docker exec jupyterhub bash -c "conda list"
Installierte Bibliotheken mit pip auflisten

  • Führen Sie den folgenden Befehl in der Befehlszeile des Master-Knotens aus:

    sudo docker exec jupyterhub bash -c "pip freeze"
Themen