JupyterHub - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

JupyterHub

Jupyter ノートブックはオープンソースのウェブアプリケーションで、ライブコード、方程式、視覚化、音声テキストを含むドキュメントの作成や共有に使用することができます。JupyterHub を使うと、シングルユーザーモードの Jupyter ノートブックサーバーの複数のインスタンスをホストできます。を使用してクラスターを作成すると JupyterHub、Amazon EMR がクラスターのマスターノードで Docker コンテナを作成します。 JupyterHub、Jupyter、および Sparkmagic に必要なすべてのコンポーネントはコンテナ内で実行されます。

Sparkmagic は Jupyter ノートブックが Amazon EMR で実行されている Apache Spark (Spark の REST サーバーである Apache Livy を使用) と連携できるようにするカーネルのライブラリです。Spark と Apache Livy は JupyterHub. を使用してクラスターを作成する時に自動的にインストールされます。Jupyter のデフォルト Python 3 カーネルが、Sparkmagic で使用可能な PySpark 3、、 PySpark、、、、Spark、Spark (Sparkmagic 用) と共に使用することができます。こうしたカーネルを使用して臨時の Spark コードや、Python、Scala を使ったインタラクティブな SQL クエリを実行できます。Docker コンテナ内で追加のカーネルを手動で追加することもできます。詳細については、「追加のカーネルとライブラリをインストールする」を参照してください。

次の図は、Amazon EMR JupyterHub のコンポーネントと対応するノートブックユーザーと管理者の認証方法を示しています。詳細については、「Jupyter ノートブックのユーザーと管理者を追加する」を参照してください。

次の表は、Amazon EMR 6.x JupyterHub シリーズの最新リリースに含まれているバージョンと、Amazon EMR と共にインストールされるコンポーネントを示しています JupyterHub。

JupyterHub このリリースでインストールされるコンポーネントのバージョンについては、「リリース 6.8.0 のコンポーネントバージョン」を参照してください。

JupyterHub emr-6.8.0 のバージョン情報
Amazon EMR リリースラベル JupyterHub [バージョン] でインストールされるコンポーネント JupyterHub

emr-6.8.0

JupyterHub 1.4.1

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

次の表は、Amazon EMR 5.x JupyterHub シリーズの最新リリースに含まれているバージョンと、Amazon EMR と共にインストールされるコンポーネントを示しています JupyterHub。

JupyterHub このリリースでインストールされるコンポーネントのバージョンについては、「リリース 5.36.0 のコンポーネントバージョン」を参照してください。

JupyterHub emr-5.36.0 のバージョン情報
Amazon EMR リリースラベル JupyterHub [バージョン] でインストールされるコンポーネント JupyterHub

emr-5.36.0

JupyterHub 1.4.1

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

Amazon EMR に含まれている Python 3 カーネルは 3.6.4 です。 JupyterHub

jupyterhub コンテナ内にインストールされているライブラリは Amazon EMR リリースバージョンと Amazon EC2 AMI バージョンで異なる場合があります。

conda を使用してインストール済みのライブラリをリストにする

  • マスターノードのコマンドラインで次のコマンドを実行します。

    sudo docker exec jupyterhub bash -c "conda list"
pip を使用してインストール済みのライブラリをリストにする

  • マスターノードのコマンドラインで次のコマンドを実行します。

    sudo docker exec jupyterhub bash -c "pip freeze"

トピック