JupyterLab guia do usuário

Este guia mostra JupyterLab aos usuários como executar fluxos de trabalho de análise e aprendizado de máquina no SageMaker Studio. Você pode obter armazenamento rápido e escalar sua computação para cima ou para baixo, dependendo de suas necessidades.

JupyterLab suporta espaços privados e compartilhados. Os espaços privados têm como escopo um único usuário em um domínio. Os espaços compartilhados permitem que outros usuários em seu domínio colaborem com você em tempo real. Para obter informações sobre os espaços do Studio, consulteEspaços do Amazon SageMaker Studio.

Para começar a usar JupyterLab, crie um espaço e inicie seu JupyterLab aplicativo. O espaço que executa seu JupyterLab aplicativo é um JupyterLab espaço. O JupyterLab espaço usa uma única instância do Amazon EC2 para sua computação e um único volume do Amazon EBS para seu armazenamento. Tudo em seu espaço, como seu código, perfil git e variáveis de ambiente, é armazenado no mesmo volume do Amazon EBS. O volume tem 3.000 IOPS e uma taxa de transferência de 125 megabytes por segundo (MBps). Você pode usar o armazenamento rápido para abrir e executar vários notebooks Jupyter na mesma instância. Você também pode trocar os kernels em um notebook muito rapidamente.

Seu administrador definiu as configurações padrão de armazenamento do Amazon EBS para seu espaço. O tamanho de armazenamento padrão é de 5 GB, mas você pode aumentar a quantidade de espaço disponível. Você pode falar com seu administrador para fornecer diretrizes.

Você pode alternar o tipo de instância do Amazon EC2 que você está usando para executar JupyterLab, aumentando ou diminuindo sua computação de acordo com suas necessidades. As instâncias Fast Launch iniciam muito mais rápido do que as outras instâncias.

Seu administrador pode fornecer uma configuração de ciclo de vida que personalize seu ambiente. Você pode especificar a configuração do ciclo de vida ao criar o espaço.

Se seu administrador lhe der acesso a um Amazon EFS, você poderá configurar seu JupyterLab espaço para acessá-lo.

Por padrão, o JupyterLab aplicativo usa a imagem SageMaker de distribuição. Isso inclui suporte para vários pacotes de aprendizado de máquina, análise e aprendizado profundo. No entanto, se você precisar de uma imagem personalizada, seu administrador poderá ajudar a fornecer acesso às imagens personalizadas.

O volume do Amazon EBS persiste independentemente da vida útil de uma instância. Você não perderá seus dados ao alterar as instâncias. Use as bibliotecas de gerenciamento de pacotes conda e pip para criar ambientes personalizados reproduzíveis que persistem mesmo quando você alterna os tipos de instância.

Para começar a usar JupyterLab, crie um espaço ou escolha o espaço que seu administrador criou para você e abra JupyterLab.

Use o procedimento a seguir para criar um espaço e abri-lo JupyterLab.

Para criar um espaço e abrir JupyterLab

1. Abra o Studio. Para obter informações sobre como abrir o Studio, consulteInicie o Amazon SageMaker Studio.

2. Escolha JupyterLab.

3. Escolha Criar JupyterLab espaço.

4. Em Nome, especifique o nome do espaço.

5. (Opcional) Selecione Compartilhar com meu domínio para criar um espaço compartilhado.

6. Escolha Criar espaço.

7. (Opcional) Por exemplo, especifique a instância do Amazon EC2 que executa o espaço.

8. (Opcional) Para Imagem, especifique uma imagem fornecida pelo administrador para personalizar seu ambiente.

9. (Opcional) Para Configurações de espaço, especifique o seguinte:

   • Armazenamento (GB) — Até 100 GB ou a quantidade especificada pelo administrador.

   • Configuração do ciclo de vida — Uma configuração de ciclo de vida que seu administrador especifica.

   • Anexe um sistema de arquivos EFS personalizado — Um Amazon EFS ao qual seu administrador fornece acesso.

10. Escolha Run space.

11. Escolha Abrir JupyterLab.

Configurar espaço

Depois de criar um JupyterLab espaço, você pode configurá-lo para fazer o seguinte:

• Altere o tipo de instância.

• Altere o volume de armazenamento.

• (É necessária a configuração do administrador) Use uma imagem personalizada.

• (É necessária a configuração do administrador) Use uma configuração de ciclo de vida.

• (É necessária a configuração do administrador) Anexe um Amazon EFS personalizado.

Importante

Você deve parar o JupyterLab espaço toda vez que configurá-lo. Use o procedimento a seguir para configurar o espaço.

Para configurar um espaço

1. No Studio, navegue até a página do JupyterLab aplicativo.

2. Escolha o nome do espaço.

3. (Opcional) Para Imagem, especifique uma imagem fornecida pelo administrador para personalizar seu ambiente.

4. (Opcional) Para Configurações de espaço, especifique o seguinte:

   • Armazenamento (GB) — Até 100 GB ou a quantidade que seu administrador configurou para o espaço.

   • Configuração do ciclo de vida — Uma configuração de ciclo de vida fornecida pelo administrador.

   • Anexe um sistema de arquivos EFS personalizado — Um Amazon EFS ao qual seu administrador fornece acesso.

5. Escolha Run space.

Quando você abre o JupyterLab aplicativo, seu espaço tem a configuração atualizada.

Depois de abrir JupyterLab, você pode configurar seu ambiente usando o terminal. Para abrir o terminal, navegue até o Launcher e escolha Terminal.

Veja a seguir exemplos de diferentes maneiras pelas quais você pode configurar um ambiente JupyterLab.

nota

No Studio, você pode usar configurações de ciclo de vida para personalizar seu ambiente, mas recomendamos usar um gerenciador de pacotes. Usar configurações de ciclo de vida é um método mais propenso a erros. É mais fácil adicionar ou remover dependências do que depurar um script de configuração do ciclo de vida. Também pode aumentar o tempo de JupyterLab inicialização.

Para obter informações sobre configurações de ciclo de vida, consulte. Usando configurações de ciclo de vida com JupyterLab

Personalize seu ambiente usando um gerenciador de pacotes

Use pip ou conda para personalizar seu ambiente. Recomendamos usar gerenciadores de pacotes em vez de scripts de configuração do ciclo de vida.

Crie e ative seu ambiente personalizado

Esta seção fornece exemplos de maneiras diferentes de configurar um ambiente em JupyterLab.

Um ambiente conda básico tem o número mínimo de pacotes necessários para seus fluxos de trabalho em. SageMaker Use o modelo a seguir para criar um ambiente conda básico:

# initialize conda for shell interaction
conda init

# create a new fresh environment
conda create --name test-env

# check if your new environment is created successfully
conda info --envs

# activate the new environment
conda activate test-env

# install packages in your new conda environment
conda install pip boto3 pandas ipykernel

# list all packages install in your new environment 
conda list

# parse env name information from your new environment
export CURRENT_ENV_NAME=$(conda info | grep "active environment" | cut -d : -f 2 | tr -d ' ')

# register your new environment as Jupyter Kernel for execution 
python3 -m ipykernel install --user --name $CURRENT_ENV_NAME --display-name "user-env:($CURRENT_ENV_NAME)"

# to exit your new environment
conda deactivate
            

A imagem a seguir mostra a localização do ambiente que você criou.

Para alterar seu ambiente, escolha-o e selecione uma opção no menu suspenso.

Escolha Selecionar para selecionar um kernel para o ambiente.

Limpe o ambiente de um conda

Limpar ambientes conda que você não está usando pode ajudar a liberar espaço em disco e melhorar o desempenho. Use o modelo a seguir para limpar um ambiente conda:

# list your environments to select an environment to clean
conda info --envs # or conda info -e

# once you've selected your environment to purge
conda remove --name test-env --all

# run conda environment list to ensure the target environment is purged
conda info --envs # or conda info -e
            

Crie um ambiente conda com uma versão específica do Python

Limpar ambientes conda que você não está usando pode ajudar a liberar espaço em disco e melhorar o desempenho. Use o modelo a seguir para limpar um ambiente conda:

# create a conda environment with a specific python version
conda create --name py38-test-env python=3.8.10

# activate and test your new python version
conda activate py38-test-env & python3 --version

# Install ipykernel to facilicate env registration
conda install ipykernel

# parse env name information from your new environment
export CURRENT_ENV_NAME=$(conda info | grep "active environment" | cut -d : -f 2 | tr -d ' ')

# register your new environment as Jupyter Kernel for execution 
python3 -m ipykernel install --user --name $CURRENT_ENV_NAME --display-name "user-env:($CURRENT_ENV_NAME)"

# deactivate your py38 test environment
conda deactivate
            

Crie um ambiente conda com um conjunto específico de pacotes

Use o modelo a seguir para criar um ambiente conda com uma versão específica do Python e um conjunto de pacotes:

# prefill your conda environment with a set of packages,
conda create --name py38-test-env python=3.8.10 pandas matplotlib=3.7 scipy ipykernel

# activate your conda environment and ensure these packages exist
conda activate py38-test-env

# check if these packages exist
conda list | grep -E 'pandas|matplotlib|scipy'

# parse env name information from your new environment
export CURRENT_ENV_NAME=$(conda info | grep "active environment" | cut -d : -f 2 | tr -d ' ')

# register your new environment as Jupyter Kernel for execution 
python3 -m ipykernel install --user --name $CURRENT_ENV_NAME --display-name "user-env:($CURRENT_ENV_NAME)"

# deactivate your conda environment
conda deactivate
            

Clone conda de um ambiente existente

Clone seu ambiente conda para preservar seu estado de funcionamento. Você experimenta no ambiente clonado sem precisar se preocupar em introduzir alterações significativas em seu ambiente de teste.

Use o comando a seguir para clonar um ambiente.

# create a fresh env from a base environment 
conda create --name py310-base-ext --clone base # replace 'base' with another env

# activate your conda environment and ensure these packages exist
conda activate py310-base-ext

# install ipykernel to register your env
conda install ipykernel

# parse env name information from your new environment
export CURRENT_ENV_NAME=$(conda info | grep "active environment" | cut -d : -f 2 | tr -d ' ')

# register your new environment as Jupyter Kernel for execution 
python3 -m ipykernel install --user --name $CURRENT_ENV_NAME --display-name "user-env:($CURRENT_ENV_NAME)"

# deactivate your conda environment
conda deactivate
            

Clone conda de um arquivo YAML de referência

Crie um ambiente conda a partir de um arquivo YAML de referência. Veja a seguir um exemplo de um arquivo YAML que você pode usar.

# anatomy of a reference environment.yml
name: py311-new-env
channels:
  - conda-forge
dependencies:
  - python=3.11
  - numpy
  - pandas
  - scipy
  - matplotlib
  - pip
  - ipykernel
  - pip:
      - git+https://github.com/huggingface/transformers
            

Empip, recomendamos especificar apenas as dependências que não estão disponíveis com o conda.

Use os comandos a seguir para criar um ambiente conda a partir de um arquivo YAML.

# create your conda environment 
conda create -f environment.yml

# activate your env
conda activate py311-new-env
            

Compartilhe ambientes entre tipos de instância

Você pode compartilhar ambientes conda salvando-os em um diretório do Amazon EFS fora do seu volume do Amazon EBS. Outro usuário pode acessar o ambiente no diretório em que você o salvou.

Importante

Há limitações no compartilhamento de seus ambientes. Por exemplo, não recomendamos um ambiente destinado a ser executado em uma instância de GPU do Amazon EC2 em vez de um ambiente executado em uma instância de CPU.

Use os comandos a seguir como modelo para especificar o diretório de destino em que você está criando um ambiente personalizado. Você está criando um conda dentro de um caminho específico. Você o cria dentro do diretório do Amazon EFS. Você pode criar uma nova instância e fazer o caminho de ativação do conda e fazê-lo dentro do Amazon EFS.

# if you know your environment path for your conda environment
conda create --prefix /home/sagemaker-user/my-project/py39-test python=3.9

# activate the env with full path from prefix
conda activate home/sagemaker-user/my-project/py39-test

# parse env name information from your new environment
export CURRENT_ENV_NAME=$(conda info | grep "active environment" | awk -F' : ' '{print $2}' | awk -F'/' '{print $NF}')

# register your new environment as Jupyter Kernel for execution 
python3 -m ipykernel install --user --name $CURRENT_ENV_NAME --display-name "user-env-prefix:($CURRENT_ENV_NAME)"

# deactivate your conda environment
conda deactivate                
            

Use o Amazon Q para agilizar seus fluxos de trabalho de Machine Learning

O Amazon Q Developer é seu companheiro baseado em IA para o desenvolvimento de aprendizado de máquina. Com o Amazon Q Developer, você pode:

• Receba step-by-step orientações sobre como usar os SageMaker recursos de forma independente ou em combinação com outros AWS serviços.

• Obtenha um código de amostra para começar suas tarefas de ML, como preparação de dados, treinamento, inferência e MLOps.

• Receba assistência na solução de problemas para depurar e resolver erros encontrados durante a execução do código. JupyterLab

O Amazon Q Developer se integra perfeitamente ao seu JupyterLab ambiente. Para usar o Amazon Q Developer, escolha o Q na navegação à esquerda do seu JupyterLab ambiente.

Se você não vê o ícone Q, seu administrador precisa configurá-lo para você. Para obter mais informações sobre como configurar o Amazon Q Developer, consulteConfigure o Amazon Q Developer para seus usuários.

O Amazon Q fornece sugestões automaticamente para ajudar você a escrever seu código. Você também pode pedir sugestões por meio da interface de bate-papo.

Depois de receber uma sugestão, você pode substituir o código na célula ou adicioná-lo a uma nova célula.