Progettazione di prompt per i modelli di fondazione

La progettazione di prompt è il processo di progettazione e perfezionamento dei prompt o degli stimoli di input per un modello linguistico per generare tipi specifici di output. La progettazione di prompt implica la selezione di parole chiave appropriate, la fornitura del contesto e la definizione dell'input in modo da incoraggiare il modello a produrre la risposta desiderata ed è una tecnica fondamentale per modellare attivamente il comportamento e l'output dei modelli di fondazione.

Un'efficace progettazione di prompt è fondamentale per indirizzare il comportamento del modello e per ottenere le risposte desiderate. Grazie alla progettazione di prompt è possibile controllare il tono, lo stile e l'esperienza di dominio di un modello senza ulteriori misure di personalizzazione complesse come l’ottimizzazione. Ti consigliamo di dedicare del tempo alla progettazione di prompt prima di prendere in considerazione l'ottimizzazione di un modello sulla base di dati aggiuntivi. L'obiettivo è fornire un contesto e una guida sufficienti al modello in modo che possa generalizzare e funzionare bene in scenari di dati invisibili o con dati limitati.

Apprendimento zero-shot

L'apprendimento zero-shot implica l’addestramento di un modello per generalizzare e fare previsioni su classi o attività non visibili. Per eseguire una progettazione di prompt in ambienti di apprendimento zero-shot, consigliamo di creare prompt che forniscano in modo esplicito informazioni sull'attività da svolgere e sul formato di output desiderato. Ad esempio, se desideri utilizzare un modello di fondazione per la classificazione zero-shot del testo su una serie di classi che il modello non ha visto durante l'addestramento, un prompt ben progettato potrebbe essere: "Classify the following text as either sports, politics, or entertainment: [input text]." specificando esplicitamente le classi target e il formato di output previsto, puoi guidare il modello a fare previsioni accurate anche su classi non visualizzate.

Apprendimento few-shot

L’apprendimento few-shot prevede l'addestramento di un modello con una quantità limitata di dati per nuove classi o attività. La progettazione di prompt in ambienti di apprendimento con pochi passaggi si concentra sulla progettazione di istruzioni che utilizzino efficacemente i limitati dati di addestramento disponibili. Ad esempio, se utilizzi un modello di fondazione per un'attività di classificazione delle immagini e disponi solo di pochi esempi di una nuova classe di immagini, puoi progettare un prompt che includa gli esempi etichettati disponibili con un segnaposto per la classe di destinazione. Ad esempio, il prompt potrebbe essere:. "[image 1], [image 2], and [image 3] are examples of [target class]. Classify the following image as [target class]" Incorporando gli esempi limitati etichettati e specificando esplicitamente la classe target, puoi guidare il modello a generalizzare e fare previsioni accurate anche con dati di addestramento minimi.

Parametri di inferenza supportati

La modifica dei parametri di inferenza potrebbe influire anche sulle risposte ai prompt. Sebbene tu possa provare ad aggiungere quanta più specificità e contesto possibile ai tuoi prompt, puoi anche sperimentare con i parametri di inferenza supportati. Di seguito sono riportati alcuni esempi di alcuni parametri di inferenza comunemente supportati:

Parametro di inferenza	Descrizione
max_new_tokens	La lunghezza massima di output di una risposta del modello di base. Valori validi: numero intero, intervallo: numero intero positivo.
temperature	Controlla la casualità nell'output. Una temperatura più alta produce una sequenza di output con parole a bassa probabilità e una temperatura più bassa produce una sequenza di output con parole ad alta probabilità. Setemperature=0, la risposta è composta solo dalle parole con la più alta probabilità (decodifica avida). Valori validi: float, intervallo: float positivi.
top_p	In ogni fase della generazione del testo, il modello campiona il più piccolo insieme di parole possibile con una probabilità cumulativa di. top_p Valori validi: float, intervallo: 0.0, 1.0.
return_full_text	SeTrue, allora il testo di input fa parte del testo di output generato. Valori validi: booleano, predefinito: False.

Per ulteriori informazioni sull'inferenza del modello di base, vedere. Implementa modelli di base disponibili pubblicamente con la classe JumpStartModel

Se la progettazione di prompt non è sufficiente per adattare il modello di fondazione a esigenze aziendali specifiche, al linguaggio specifico del dominio, alle attività di destinazione o ad altri requisiti, è possibile prendere in considerazione l'ottimizzazione del modello su dati aggiuntivi o l'utilizzo di Retrieval Augmented Generation (RAG) per ampliare l'architettura del modello con un contesto migliorato proveniente da fonti di conoscenza archiviate. Per ulteriori informazioni, consulta Ottimizzare un modello di fondazione o Generazione aumentata di recupero.