Crie um cluster com JupyterHub

Você pode criar um cluster do Amazon EMR JupyterHub usando o AWS Management Console AWS Command Line Interface, ou a API do Amazon EMR. Certifique-se de que o cluster não seja criado com a opção para encerrar automaticamente após concluir etapas (opção --auto-terminate na AWS CLI). Além disso, certifique-se de que os administradores de notebook e os usuários possam acessar o par de chaves que você usa ao criar o cluster. Para obter mais informações, consulte Usar um par de chaves para credenciais SSH no Guia de gerenciamento do Amazon EMR.

Crie um cluster JupyterHub usando o console

Use o procedimento a seguir para criar um cluster JupyterHub instalado usando Opções avançadas no console do Amazon EMR.

Para criar um cluster do Amazon EMR com JupyterHub instalado usando o console do Amazon EMR

1. Navegue até o novo console do Amazon EMR e selecione Alternar para o console antigo na navegação lateral. Para obter mais informações sobre o que esperar ao alternar para o console antigo, consulte Usar o console antigo.

2. Escolha Create cluster (Criar cluster), Go to advanced options (Ir para opções avançadas).

3. Em Software Configuration (Configuração de software):

   • Em Release, selecione emr-5.36.2 e escolha. JupyterHub

   • Se você usa o Spark, para usar o AWS Glue Data Catalog como metastore do Spark SQL, selecione Usar para metadados da tabela do Spark. Para obter mais informações, consulte Use o catálogo do AWS Glue Data Catalog com o Spark no Amazon EMR.

   • Para Edit software settings (Editar configurações de software), escolha Enter configuration (Inserir configuração) e especifique valores ou escolha Load JSON from S3 (Carregar JSON de S3) e especifique um arquivo de configuração JSON. Para obter mais informações, consulte Configurando JupyterHub.

4. Em (Add steps (optional)) Adicionar etapas (opcional) configure as etapas para serem executadas quando o cluster for criado, certifique-se de que Auto-terminate cluster after the last step is completed (Encerrar o cluster automaticamente após a última etapa for concluída) não esteja selecionada e escolha Next (Próximo).

5. Escolha a opção Hardware Configuration (Configuração de hardware), Next (Próximo). Para obter mais informações, consulte Configurar o hardware e a rede do cluster no Guia de gerenciamento do Amazon EMR.

6. Escolha opções para General Cluster Settings (Configurações gerais do cluster), Next (Próximo).

7. Escolha Security Options (Opões de segurança), especificando um par de chaves e escolha Create Cluster (Criar cluster).

Crie um cluster JupyterHub usando o AWS CLI

Para iniciar um cluster com JupyterHub, use o aws emr create-cluster comando e, para a --applications opção, especifiqueName=JupyterHub. O exemplo a seguir inicia um JupyterHub cluster no Amazon EMR com duas EC2 instâncias (uma instância principal e uma instância principal). Além disso, a depuração é habilitada, com os logs armazenados no local do Amazon S3 conforme especificado pelo --log-uri. O par de chaves especificado fornece acesso às EC2 instâncias da Amazon no cluster.

nota

Os caracteres de continuação de linha do Linux (\) são incluídos para facilitar a leitura. Eles podem ser removidos ou usados ​​em comandos do Linux. No Windows, remova-os ou substitua-os por um sinal de interpolação (^).

aws emr create-cluster --name="MyJupyterHubCluster" --release-label emr-5.36.2 \
--applications Name=JupyterHub --log-uri s3://amzn-s3-demo-bucket/MyJupyterClusterLogs \
--use-default-roles --instance-type m5.xlarge --instance-count 2 --ec2-attributes KeyName=MyKeyPair