Utiliser Jupyter AI dans JupyterLab ou Studio Classic

Utiliser des modèles linguistiques depuis l'interface utilisateur du chat

Rédigez votre message dans la zone de texte de l'interface de discussion pour commencer à interagir avec votre modèle. Pour effacer l'historique des messages, utilisez la /clear commande.

Note

L'effacement de l'historique des messages n'efface pas le contexte du chat avec le fournisseur de modèles.

Utiliser des modèles linguistiques à partir de cellules de bloc-notes

Avant d'utiliser les %ai commandes %%ai et pour invoquer un modèle de langage, chargez l'IPythonextension en exécutant la commande suivante dans une JupyterLab cellule de bloc-notes Studio Classic.

%load_ext jupyter_ai_magics

• Pour les modèles hébergés par AWS :

  • Pour appeler un modèle déployé dans SageMaker, transmettez la chaîne sagemaker-endpoint:endpoint-name à la commande %%ai magique avec les paramètres requis ci-dessous, puis ajoutez votre invite dans les lignes suivantes.

    Le tableau suivant répertorie les paramètres obligatoires et facultatifs lors de l'appel de modèles hébergés par SageMaker ou Amazon Bedrock.

    Nom du paramètre	Paramètre	Version courte	Description
    Schéma de demande	--request-schema	-q	Obligatoire : l'JSONobjet attendu par le point de terminaison, l'invite étant remplacée par toute valeur correspondant à la chaîne littérale<prompt>.
    Nom de la région	--region-name	-n	Obligatoire : l' Région AWS endroit où le modèle est déployé.
    Chemin de réponse	--response-path	-p	Obligatoire : JSONPath chaîne utilisée pour extraire la sortie du modèle de langage à partir de la JSON réponse du point de terminaison.
    Paramètres de modèle supplémentaires	--model-parameters	-m	Facultatif : JSON valeur spécifiant les paramètres supplémentaires à transmettre au modèle. La valeur acceptée est analysée dans un dictionnaire, décompressée et directement transmise à la classe du fournisseur. Cela est utile lorsque le point de terminaison ou le modèle nécessite des paramètres personnalisés. Par exemple, dans les modèles Llama 2, lorsque l'acceptation du contrat de licence utilisateur final (EULA) est nécessaire, vous pouvez transmettre l'EULAacceptation au point de terminaison à l'aide -m {"endpoint_kwargs":{"CustomAttributes":"accept_eula=true"}} de. Vous pouvez également utiliser le -m paramètre pour transmettre des paramètres de modèle supplémentaires, tels que la définition du nombre maximum de jetons pour la réponse générée par un modèle. Par exemple, lorsque vous travaillez avec un modèle AI21 Labs Jurassic :. -m {"model_kwargs":{"maxTokens":256}}
    Format de sortie	--format	-f	Facultatif : IPython affichage utilisé pour le rendu de la sortie. Il peut s'agir de l'une des valeurs suivantes[code|html|image|json|markdown|math|md|text], à condition que le modèle invoqué supporte le format spécifié.

    La commande suivante invoque un modèle Llama2-7b hébergé par. SageMaker

    %%ai sagemaker-endpoint:jumpstart-dft-meta-textgeneration-llama-2-7b -q {"inputs":"<prompt>","parameters":{"max_new_tokens":64,"top_p":0.9,"temperature":0.6,"return_full_text":false}} -n us-east-2 -p [0].generation -m {"endpoint_kwargs":{"CustomAttributes":"accept_eula=true"}} -f text
    Translate English to French:
    sea otter => loutre de mer
    peppermint => menthe poivrée
    plush girafe => girafe peluche
    cheese =>

    L'exemple suivant invoque un modèle Flan-T5-small hébergé par. SageMaker

    %%ai sagemaker-endpoint:hf-text2text-flan-t5-small --request-schema={"inputs":"<prompt>","parameters":{"num_return_sequences":4}} --region-name=us-west-2 --response-path=[0]["generated_text"] -f text
    What is the atomic number of Hydrogen?

  • Pour appeler un modèle déployé dans Amazon Bedrock, transmettez la chaîne bedrock:model-name à la commande %%ai magique avec tout paramètre facultatif défini dans la liste des paramètres d'appel des modèles hébergés par JumpStart Amazon Bedrock ou Amazon Bedrock, puis ajoutez votre invite dans les lignes suivantes.

    L'exemple suivant invoque un modèle AI21Labs Jurassic-2 hébergé par Amazon Bedrock.

    %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":256}} -f code
    Write a function in python implementing a bubbble sort.

• Pour les modèles hébergés par des fournisseurs tiers

  Pour invoquer un modèle hébergé par des fournisseurs tiers, transmettez la chaîne provider-id:model-name à la commande %%ai magique avec une option Output format, puis ajoutez votre invite dans les lignes suivantes. Vous pouvez trouver les détails de chaque fournisseur, y compris son identifiant, dans la liste des fournisseurs de modèles Jupyter AI.

  La commande suivante demande à un modèle Anthropic Claude de générer un HTML fichier contenant l'image d'un carré blanc avec des bordures noires.

  %%ai anthropic:claude-v1.2 -f html
  Create a square using SVG with a black border and white fill.