Crie um cluster com JupyterHub

Você pode criar um EMR cluster da Amazon JupyterHub usando o AWS Management Console AWS Command Line Interface, ou o Amazon EMRAPI. Certifique-se de que o cluster não seja criado com a opção para encerrar automaticamente após concluir etapas (opção --auto-terminate na AWS CLI). Além disso, certifique-se de que os administradores de notebook e os usuários possam acessar o par de chaves que você usa ao criar o cluster. Para obter mais informações, consulte Use a key pair for SSH credenciais no Amazon EMR Management Guide.

Crie um cluster JupyterHub usando o console

Use o procedimento a seguir para criar um cluster JupyterHub instalado usando Opções avançadas no EMR console da Amazon.

Para criar um EMR cluster da Amazon com JupyterHub instalado usando o EMR console da Amazon

1. Navegue até o novo EMR console da Amazon e selecione Alternar para o console antigo na navegação lateral. Para obter mais informações sobre o que esperar ao alternar para o console antigo, consulte Usar o console antigo.

2. Escolha Create cluster (Criar cluster), Go to advanced options (Ir para opções avançadas).

3. Em Software Configuration (Configuração de software):

   • Em Release, selecione emr-5.36.2 e escolha. JupyterHub

   • Se você usa o Spark, para usar o AWS Glue Data Catalog como metastore do SparkSQL, selecione Usar para metadados da tabela do Spark. Para obter mais informações, consulte Use o AWS Glue Data Catalog como metastore para o Spark SQL.

   • Em Editar configurações de software, escolha Inserir configuração e especificar valores ou escolha Carregar JSON do S3 e especifique um arquivo JSON de configuração. Para obter mais informações, consulte Configurando JupyterHub.

4. Em (Add steps (optional)) Adicionar etapas (opcional) configure as etapas para serem executadas quando o cluster for criado, certifique-se de que Auto-terminate cluster after the last step is completed (Encerrar o cluster automaticamente após a última etapa for concluída) não esteja selecionada e escolha Next (Próximo).

5. Escolha a opção Hardware Configuration (Configuração de hardware), Next (Próximo). Para obter mais informações, consulte Configurar o hardware e a rede do cluster no Amazon EMR Management Guide.

6. Escolha opções para General Cluster Settings (Configurações gerais do cluster), Next (Próximo).

7. Escolha Security Options (Opões de segurança), especificando um par de chaves e escolha Create Cluster (Criar cluster).

Crie um cluster JupyterHub usando o AWS CLI

Para iniciar um cluster com JupyterHub, use o aws emr create-cluster comando e, para a --applications opção, especifiqueName=JupyterHub. O exemplo a seguir inicia um JupyterHub cluster na Amazon EMR com duas EC2 instâncias (uma instância principal e uma instância principal). Além disso, a depuração é habilitada, com os logs armazenados no local do Amazon S3 conforme especificado pelo --log-uri. O par de chaves especificado fornece acesso às EC2 instâncias da Amazon no cluster.

nota

Os caracteres de continuação de linha do Linux (\) são incluídos para facilitar a leitura. Eles podem ser removidos ou usados ​​em comandos do Linux. No Windows, remova-os ou substitua-os por um sinal de interpolação (^).

aws emr create-cluster --name="MyJupyterHubCluster" --release-label emr-5.36.2 \
--applications Name=JupyterHub --log-uri s3://amzn-s3-demo-bucket/MyJupyterClusterLogs \
--use-default-roles --instance-type m5.xlarge --instance-count 2 --ec2-attributes KeyName=MyKeyPair