Início rápido: crie um domínio de sandbox de SageMaker IA para lançar clusters do Amazon EMR no Studio

Esta seção mostra a configuração rápida de um ambiente de teste completo no Amazon SageMaker Studio. Você criará um novo domínio do Studio que permite que os usuários iniciem novos clusters do Amazon EMR diretamente do Studio. As etapas fornecem um exemplo de notebook que você pode conectar a um cluster do Amazon EMR para começar a executar. Spark cargas de trabalho. Usando esse notebook, você criará um Sistema de Geração Aumentada de Recuperação (RAG) usando o processamento distribuído e o banco de dados vetoriais do Amazon EMR Spark. OpenSearch

nota

Para começar, faça login no AWS Management Console usando uma conta de usuário AWS Identity and Access Management (IAM) com permissões de administrador. Para obter informações sobre como se inscrever em uma conta da AWS e criar um usuário com acesso administrativo, consulte Pré-requisitos completos do Amazon SageMaker AI.

Etapa 1: criar um domínio de SageMaker IA para lançar clusters do Amazon EMR no Studio

Nas etapas a seguir, você aplica uma AWS CloudFormation pilha para criar automaticamente um novo domínio de SageMaker IA. A pilha também cria um perfil de usuário e configura o ambiente e as permissões necessários. O domínio SageMaker AI está configurado para permitir que você inicie diretamente clusters do Amazon EMR a partir do Studio. Neste exemplo, os clusters do Amazon EMR são criados na mesma AWS conta da SageMaker IA sem autenticação. Você pode encontrar AWS CloudFormation pilhas adicionais que suportam vários métodos de autenticação, como Kerberos, no repositório getting_started. GitHub

nota

SageMaker A IA permite 5 domínios do Studio por AWS conta e Região da AWS por padrão. Certifique-se de que sua conta não tenha mais do que 4 domínios em sua região antes de criar sua pilha.

Siga estas etapas para configurar um domínio de SageMaker IA para lançar clusters do Amazon EMR a partir do Studio.

1. Baixe o arquivo bruto desse AWS CloudFormation modelo do sagemaker-studio-emr GitHub repositório.

2. Vá para o AWS CloudFormation console: https://console.aws.amazon.com/cloudformation

3. Escolha Criar pilha e selecione Com novos recursos (padrão) no menu suspenso.

4. Na Etapa 1:

   1. Na seção Preparar modelo, selecione Escolher um modelo existente.

   2. Na seção Especificar modelo escolha Fazer carregar um arquivo de modelo.

   3. Faça o upload do AWS CloudFormation modelo baixado e escolha Avançar.

5. Na Etapa 2, insira o nome da pilha e escolha SageMakerDomainNameAvançar.

6. Na Etapa 3, mantenha todos os valores padrão e escolha Avançar.

7. Na Etapa 4, marque a caixa para confirmar a criação do recurso e escolha Criar pilha. Isso cria um domínio do Studio em sua conta e região.

Etapa 2: inicialize um novo cluster do Amazon EMR pela interface do Studio

Nas etapas a seguir, você cria um novo cluster do Amazon EMR a partir da interface de usuário do Studio.

1. Acesse o console de SageMaker IA em https://console.aws.amazon.com/sagemaker/e escolha Domínios no menu à esquerda.

2. Clique no seu nome de domínio Generative AIDomain para abrir a página de detalhes do domínio.

3. Execute o Studio a partir do perfil de usuário genai-user.

4. No painel de navegação à esquerda, acesse Dados e, depois, Clusters do Amazon EMR.

5. Na página de clusters do Amazon EMR, escolha Criar. Selecione o modelo SageMaker Studio Domain No Auth EMR criado pela AWS CloudFormation pilha e escolha Avançar.

6. Insira um nome para o novo cluster do Amazon EMR. Opcionalmente, atualize outros parâmetros, como o tipo de instância dos nós centrais e nós principais, o tempo limite de inatividade ou o número de nós centrais.

7. Escolha Criar recurso para iniciar o novo cluster do Amazon EMR.

   Depois de criar o cluster do Amazon EMR, acompanhe o status na página Clusters do EMR. Quando o status muda para Running/Waiting, seu cluster do Amazon EMR está pronto para uso no Studio.

Etapa 3: Conectar um JupyterLab notebook ao cluster do Amazon EMR

Nas etapas a seguir, você conecta um notebook JupyterLab ao seu cluster do Amazon EMR em execução. Neste exemplo, você importa um notebook que permite criar um sistema Retrieval Augmented Generation (RAG) usando o processamento distribuído e o banco de dados vetoriais do Amazon EMR Spark. OpenSearch

1. Lançamento JupyterLab

   No Studio, inicie o JupyterLab aplicativo.

2. Crie um espaço privado.

   Se você não criou um espaço para seu JupyterLab aplicativo, escolha Criar um JupyterLab espaço. Insira um nome para o espaço e mantenha-o como Privado. Deixe todas as outras configurações no modo padrão e escolha Criar espaço.

   Caso contrário, execute seu JupyterLab espaço para iniciar um JupyterLab aplicativo.

3. Implemente seu LLM e modelos de incorporação para inferência

   • No menu superior, escolha Arquivo, Novo e, depois, Terminal.

   • Na janela do terminal, execute o seguinte comando:

     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-00-setup/Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb
     mkdir AWSGuides
     cd AWSGuides
     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/AmazonSageMakerDeveloperGuide.pdf
     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/EC2DeveloperGuide.pdf
     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/S3DeveloperGuide.pdf

     Isso recupera o caderno Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb em seu diretório local e baixa três arquivos PDF em uma pasta AWSGuides local.

   • Abra lab-00-setup/Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb, mantenha o kernel Python 3 (ipykernel) e execute cada célula.

     Atenção

     Na seção Contrato de licença do Llama 2, não se esqueça de aceitar o EULA do Llama2 antes de continuar.

     O caderno implanta dois modelos, Llama 2 e all-MiniLM-L6-v2 Models, no ml.g5.2xlarge para inferência.

     A implantação dos modelos e a criação dos endpoints podem levar algum tempo.

4. Abra seu caderno principal

   Em JupyterLab, abra seu terminal e execute o seguinte comando.

   cd ..
   wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb
   

   Você deve ver o Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb caderno adicional no painel esquerdo do JupyterLab.

5. Escolha um kernel PySpark

   Abra seu caderno Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb e verifique se você está usando o kernel SparkMagic PySpark. Você pode alternar o kernel no canto superior direito do caderno. Escolha o nome do kernel atual para abrir um modal de seleção do kernel e, em seguida, escolha SparkMagic PySpark.

6. Conecte seu caderno com o cluster

   1. Escolha Cluster na parte superior direita do caderno. Essa ação abre uma janela modal que lista todos os clusters em execução que você tem permissão para acessar.

   2. Agora selecione seu cluster e escolha Conectar. Uma nova janela modal de seleção de tipo de credencial é aberta.

   3. Escolha Sem credenciais e, em seguida, selecione Conectar.

      

   4. Uma célula do caderno é preenchida e executada automaticamente. A célula do caderno carrega a extensão sagemaker_studio_analytics_extension.magics, que fornece funcionalidade para se conectar ao cluster do Amazon EMR. Em seguida, ela usa o comando mágico %sm_analytics para iniciar a conexão com seu cluster do Amazon EMR e com a aplicação Spark.

      nota

      Certifique-se de que a cadeia de conexão do seu cluster do Amazon EMR tenha um tipo de autenticação definido como None. Isso é ilustrado pelo valor --auth-type None no exemplo a seguir. Se necessário, você pode modificar o campo.

      %load_ext sagemaker_studio_analytics_extension.magics
      %sm_analytics emr connect --verify-certificate False --cluster-id your-cluster-id --auth-type None --language python 

   5. Depois de estabelecer a conexão com sucesso, a mensagem de saída da célula de conexão deve exibir seus SparkSession detalhes, incluindo o ID do cluster, o ID do YARN aplicativo e um link para o Spark UI para monitorar seu Spark empregos.

Você está pronto para usar o caderno Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb. Este exemplo de notebook executa PySpark cargas de trabalho distribuídas para criar um sistema RAG usando e. LangChain OpenSearch

Etapa 4: limpe sua AWS CloudFormation pilha

Depois de terminar, certifique-se de encerrar seus dois endpoints e excluir sua pilha AWS CloudFormation para evitar cobranças contínuas. A exclusão da pilha limpa todos os recursos que foram provisionados pela pilha.

Para excluir sua AWS CloudFormation pilha quando você terminar de usá-la

1. Vá para o AWS CloudFormation console: https://console.aws.amazon.com/cloudformation

2. Selecione a pilha que deseja excluir. Você pode procurá-la pelo nome ou encontrá-la na lista de pilhas.

3. Clique no botão Excluir para finalizar a exclusão da pilha e, depois, em Excluir novamente para reconhecer que isso excluirá todos os recursos criados pela pilha.

   Aguarde a conclusão da exclusão da pilha. Isso pode levar alguns minutos. AWS CloudFormation limpa automaticamente todos os recursos definidos no modelo de pilha.

4. Verifique se todos os recursos criados pela pilha foram excluídos. Por exemplo, verifique se há algum cluster restante do Amazon EMR.

Para remover os endpoints da API de um modelo

1. Vá para o console de SageMaker IA: https://console.aws.amazon.com/sagemaker/.

2. No painel de navegação à esquerda, selecione Inferência e, em seguida, Endpoints.

3. Selecione o endpoint hf-allminil6v2-embedding-ep e escolha Excluir na lista suspensa Ações. Repita a etapa para o endpoint meta-llama2-7b-chat-tg-ep.