Configurando JupyterHub

Você pode personalizar a configuração de notebooks JupyterHub na Amazon EMR e de usuários individuais conectando-se ao nó principal do cluster e editando os arquivos de configuração. Depois de alterar os valores, reinicie o contêiner jupyterhub.

Modifique as propriedades nos arquivos a seguir para configurar JupyterHub notebooks Jupyter individuais:

• jupyterhub_config.py: por padrão, esse arquivo é salvo no diretório /etc/jupyter/conf/ no nó principal. Para obter mais informações, consulte Princípios básicos de configuração na JupyterHub documentação.

• jupyter_notebook_config.py: esse arquivo é salvo no diretório /etc/jupyter/ por padrão e copiado para o contêiner jupyterhub como padrão. Para obter mais informações, consulte Arquivo de configuração e opções de linha de comando na documentação do Notebook Jupyter.

Você também pode usar a classificação de configuração jupyter-sparkmagic-conf para personalizar o Sparkmagic, que atualiza valores no arquivo config.json para o Sparkmagic. Para obter mais informações sobre as configurações disponíveis, consulte example_config.json em. GitHub Para obter mais informações sobre o uso de classificações de configuração com aplicativos na AmazonEMR, consulteConfigurar aplicações.

O exemplo a seguir inicia um cluster usando o AWS CLI, referenciando o arquivo MyJupyterConfig.json para as configurações de classificação do Sparkmagic.

nota

Os caracteres de continuação de linha do Linux (\) são incluídos para facilitar a leitura. Eles podem ser removidos ou usados ​​em comandos do Linux. No Windows, remova-os ou substitua-os por um sinal de interpolação (^).

aws emr create-cluster --use-default-roles --release-label emr-5.14.0 \
--applications Name=Jupyter --instance-type m4.xlarge --instance-count 3 \
--ec2-attributes KeyName=MyKey,SubnetId=subnet-1234a5b6 --configurations file://MyJupyterConfig.json

Os conteúdos de exemplo de MyJupyterConfig.json são os seguintes:

[
    {
    "Classification":"jupyter-sparkmagic-conf",
    "Properties": {
      "kernel_python_credentials" : "{\"username\":\"diego\",\"base64_password\":\"mypass\",\"url\":\"http:\/\/localhost:8998\",\"auth\":\"None\"}"
      }
    }
]

nota

Com a Amazon EMR versão 5.21.0 e posterior, você pode substituir as configurações do cluster e especificar classificações de configuração adicionais para cada grupo de instâncias em um cluster em execução. Você faz isso usando o EMR console da Amazon, o AWS Command Line Interface (AWS CLI) ou AWS SDK o. Para obter mais informações, consulte Supplying a Configuration for an Instance Group in a Running Cluster.