正在配置 JupyterHub - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

正在配置 JupyterHub

您可以通过连接到集群主节点EMR并编辑配置文件来自定义 Amaz JupyterHub on 和个人用户笔记本的配置。在更改值之后,重启 jupyterhub 容器。

修改以下文件中的属性以配置 JupyterHub 和各个 Jupyter 笔记本:

  • jupyterhub_config.py – 默认情况下,此文件保存在主节点上的 /etc/jupyter/conf/ 目录中。有关更多信息,请参阅 JupyterHub 文档中的配置基础知识

  • jupyter_notebook_config.py – 默认情况下,该文件保存在 /etc/jupyter/ 目录中,并作为默认值复制到 jupyterhub 容器中。有关更多信息,请参阅 Jupyter notebook 文档中的配置文件和命令行选项

您也可以使用 jupyter-sparkmagic-conf 配置分类自定义 Sparkmagic,这会更新 Sparkmagic 的 config.json 文件中的值。有关可用设置的更多信息,请参阅上的 e xample_c onfig.json。 GitHub有关在 Amazon 中对应用程序使用配置分类的更多信息EMR,请参阅配置应用程序

以下示例使用启动集群 AWS CLI,引用 Sparkmagic 配置分类设置MyJupyterConfig.json的文件。

注意

为了便于读取,包含 Linux 行继续符 (\)。它们可以通过 Linux 命令删除或使用。对于 Windows,请将它们删除或替换为脱字号(^)。

aws emr create-cluster --use-default-roles --release-label emr-5.14.0 \ --applications Name=Jupyter --instance-type m4.xlarge --instance-count 3 \ --ec2-attributes KeyName=MyKey,SubnetId=subnet-1234a5b6 --configurations file://MyJupyterConfig.json

MyJupyterConfig.json 的示例内容如下所示:

[ { "Classification":"jupyter-sparkmagic-conf", "Properties": { "kernel_python_credentials" : "{\"username\":\"diego\",\"base64_password\":\"mypass\",\"url\":\"http:\/\/localhost:8998\",\"auth\":\"None\"}" } } ]
注意

在 Amazon 5.21.0 及更高EMR版本中,您可以覆盖集群配置,并为正在运行的集群中的每个实例组指定其他配置分类。为此,您可以使用 Amazon EMR 控制台、 AWS Command Line Interface (AWS CLI) 或 AWS SDK。有关更多信息,请参阅为运行的集群中的实例组提供配置