Use o Jupyter AI em nosso Studio JupyterLab Classic

Use modelos de linguagem da interface do usuário do chat

Escreva sua mensagem na caixa de texto da interface do usuário do chat para começar a interagir com seu modelo. Para limpar o histórico de mensagens, use o /clear comando.

nota

Limpar o histórico de mensagens não apaga o contexto do bate-papo com o provedor do modelo.

Use modelos de linguagem de células de notebook

Antes de usar os %ai comandos %%ai e para invocar um modelo de linguagem, carregue a IPython extensão executando o seguinte comando em uma célula do notebook Studio Classic JupyterLab ou Studio Classic.

%load_ext jupyter_ai_magics

• Para modelos hospedados por AWS:

  • Para invocar um modelo implantado em SageMaker, passe a string sagemaker-endpoint:endpoint-name para o comando %%ai mágico com os parâmetros necessários abaixo e adicione seu prompt nas linhas a seguir.

    A tabela a seguir lista os parâmetros obrigatórios e opcionais ao invocar modelos hospedados pelo Amazon Bedrock SageMaker ou pelo Amazon Bedrock.

    Nome do parâmetro	Parâmetro	Versão curta	Descrição
    Esquema de solicitação	--request-schema	-q	Obrigatório: o JSON objeto que o endpoint espera, com o prompt sendo substituído por qualquer valor que corresponda à string literal. <prompt>
    Nome da região	--region-name	-n	Obrigatório: o Região da AWS local onde o modelo é implantado.
    Caminho de resposta	--response-path	-p	Obrigatório: uma JSONPath string usada para extrair a saída do modelo de linguagem da JSON resposta do endpoint.
    Parâmetros extras do modelo	--model-parameters	-m	Opcional: um JSON valor que especifica parâmetros adicionais a serem passados para o modelo. O valor aceito é analisado em um dicionário, descompactado e passado diretamente para a classe do provedor. Isso é útil quando o endpoint ou o modelo exige parâmetros personalizados. Por exemplo, nos modelos Llama 2, quando é necessário aceitar o Contrato de Licença de Usuário Final (EULA), você pode passar a EULA aceitação para o endpoint usando. -m {"endpoint_kwargs":{"CustomAttributes":"accept_eula=true"}} Como alternativa, você pode usar o -m parâmetro para passar parâmetros extras do modelo, como definir o número máximo de tokens para a resposta gerada por um modelo. Por exemplo, ao trabalhar com um modelo Jurassic do AI21 Labs:. -m {"model_kwargs":{"maxTokens":256}}
    Formato de saída	--format	-f	Opcional: a IPython tela usada para renderizar a saída. Pode ser qualquer um dos valores a seguir[code|html|image|json|markdown|math|md|text], desde que o modelo invocado suporte o formato especificado.

    O comando a seguir invoca um modelo LLama2-7b hospedado por. SageMaker

    %%ai sagemaker-endpoint:jumpstart-dft-meta-textgeneration-llama-2-7b -q {"inputs":"<prompt>","parameters":{"max_new_tokens":64,"top_p":0.9,"temperature":0.6,"return_full_text":false}} -n us-east-2 -p [0].generation -m {"endpoint_kwargs":{"CustomAttributes":"accept_eula=true"}} -f text
    Translate English to French:
    sea otter => loutre de mer
    peppermint => menthe poivrée
    plush girafe => girafe peluche
    cheese =>

    O exemplo a seguir invoca um modelo FLAN-T5-small hospedado por. SageMaker

    %%ai sagemaker-endpoint:hf-text2text-flan-t5-small --request-schema={"inputs":"<prompt>","parameters":{"num_return_sequences":4}} --region-name=us-west-2 --response-path=[0]["generated_text"] -f text
    What is the atomic number of Hydrogen?

  • Para invocar um modelo implantado no Amazon Bedrock, passe a string bedrock:model-name para o comando %%ai mágico com qualquer parâmetro opcional definido na lista de parâmetros para invocar modelos hospedados pelo ou JumpStart Amazon Bedrock e adicione seu prompt nas linhas a seguir.

    O exemplo a seguir invoca um modelo AI21 Labs Jurassic-2 hospedado pelo Amazon Bedrock.

    %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":256}} -f code
    Write a function in python implementing a bubbble sort.

• Para modelos hospedados por fornecedores terceirizados

  Para invocar um modelo hospedado por provedores terceirizados, passe a string provider-id:model-name para o comando %%ai mágico com um opcional Output formate adicione seu prompt nas linhas a seguir. Você pode encontrar os detalhes de cada provedor, incluindo seu ID, na lista de fornecedores de modelos do Jupyter AI.

  O comando a seguir solicita que um modelo Anthropic Claude produza um HTML arquivo contendo a imagem de um quadrado branco com bordas pretas.

  %%ai anthropic:claude-v1.2 -f html
  Create a square using SVG with a black border and white fill.