Usa Jupyter AI nel nostro Studio Classic JupyterLab

Puoi usare Jupyter AI in JupyterLab o Studio Classic richiamando modelli linguistici dall'interfaccia utente della chat o dalle celle del notebook. Le seguenti sezioni forniscono informazioni sui passaggi necessari per completare questa operazione.

Usa i modelli linguistici dell'interfaccia utente della chat

Scrivi il tuo messaggio nella casella di testo dell'interfaccia utente della chat per iniziare a interagire con la tua modella. Per cancellare la cronologia dei messaggi, usa il /clear comando.

Nota

La cancellazione della cronologia dei messaggi non cancella il contesto della chat con il fornitore del modello.

Usa modelli linguistici ricavati dalle celle dei notebook

Prima di utilizzare i %ai comandi %%ai and per richiamare un modello di linguaggio, caricate l' IPython estensione eseguendo il comando seguente in una JupyterLab cella del notebook di Studio Classic.

%load_ext jupyter_ai_magics

• Per i modelli ospitati da: AWS

  • Per richiamare un modello distribuito nell' SageMaker intelligenza artificiale, passa la stringa sagemaker-endpoint:endpoint-name al comando %%ai magic con i parametri richiesti di seguito, quindi aggiungi il prompt nelle righe seguenti.

    La tabella seguente elenca i parametri obbligatori e facoltativi quando si richiamano modelli ospitati da SageMaker AI o Amazon Bedrock.

    Nome parametro	Parameter	Versione breve	Descrizione
    Schema della richiesta	--request-schema	-q	Obbligatorio: l'oggetto JSON previsto dall'endpoint, con il prompt sostituito con qualsiasi valore che corrisponda alla stringa letterale. <prompt>
    Nome della regione	--region-name	-n	Obbligatorio: il Regione AWS luogo in cui viene distribuito il modello.
    Percorso di risposta	--response-path	-p	Obbligatorio: una JSONPath stringa utilizzata per estrarre l'output del modello linguistico dalla risposta JSON dell'endpoint.
    Parametri aggiuntivi del modello	--model-parameters	-m	Facoltativo: un valore JSON che specifica parametri aggiuntivi da passare al modello. Il valore accettato viene analizzato in un dizionario, decompresso e passato direttamente alla classe del provider. Ciò è utile quando l'endpoint o il modello richiedono parametri personalizzati. Ad esempio, nei modelli Llama 2, quando è necessario accettare l'End User License Agreement (EULA), è possibile passare l'accettazione dell'EULA all'endpoint utilizzando. -m {"endpoint_kwargs":{"CustomAttributes":"accept_eula=true"}} In alternativa, è possibile utilizzare il -m parametro per passare parametri aggiuntivi del modello, ad esempio impostare il numero massimo di token per la risposta generata da un modello. Per esempio, quando si lavora con un modello AI21 Labs Jurassic:. -m {"model_kwargs":{"maxTokens":256}}
    Formato di output	--format	-f	Facoltativo: il IPython display utilizzato per renderizzare l'output. Può essere uno dei seguenti valori[code|html|image|json|markdown|math|md|text], a condizione che il modello richiamato supporti il formato specificato.

    Il comando seguente richiama un modello Llama2-7b ospitato da AI. SageMaker

    %%ai sagemaker-endpoint:jumpstart-dft-meta-textgeneration-llama-2-7b -q {"inputs":"<prompt>","parameters":{"max_new_tokens":64,"top_p":0.9,"temperature":0.6,"return_full_text":false}} -n us-east-2 -p [0].generation -m {"endpoint_kwargs":{"CustomAttributes":"accept_eula=true"}} -f text
    Translate English to French:
    sea otter => loutre de mer
    peppermint => menthe poivrée
    plush girafe => girafe peluche
    cheese =>

    L'esempio seguente richiama un modello FLAN-T5-Small ospitato da AI. SageMaker

    %%ai sagemaker-endpoint:hf-text2text-flan-t5-small --request-schema={"inputs":"<prompt>","parameters":{"num_return_sequences":4}} --region-name=us-west-2 --response-path=[0]["generated_text"] -f text
    What is the atomic number of Hydrogen?

  • Per richiamare un modello distribuito in Amazon Bedrock, passa la stringa bedrock:model-name al comando %%ai magic con qualsiasi parametro opzionale definito nell'elenco dei parametri per richiamare i modelli ospitati da o JumpStart Amazon Bedrock, quindi aggiungi il prompt nelle righe seguenti.

    L'esempio seguente richiama un modello AI21 Labs Jurassic-2 ospitato da Amazon Bedrock.

    %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":256}} -f code
    Write a function in python implementing a bubbble sort.

• Per i modelli ospitati da fornitori di terze parti

  Per richiamare un modello ospitato da provider di terze parti, passa la stringa provider-id:model-name al comando %%ai magic con un comando opzionale Output format, quindi aggiungi il prompt nelle righe seguenti. Puoi trovare i dettagli di ciascun provider, incluso il relativo ID, nell'elenco dei fornitori di modelli di Jupyter AI.

  Il comando seguente chiede a un modello Anthropic Claude di generare un file HTML contenente l'immagine di un quadrato bianco con bordi neri.

  %%ai anthropic:claude-v1.2 -f html
  Create a square using SVG with a black border and white fill.