Set di dati dei prompt personalizzato

Puoi utilizzare un set di dati dei prompt personalizzato nei processi di valutazione del modello.

I set di dati dei prompt personalizzati devono essere archiviati in Amazon S3, utilizzare il formato di riga JSON e utilizzare l'estensione del file .jsonl. Quando carichi il set di dati su Amazon S3, assicurati di aggiornare la configurazione Cross Origin Resource Sharing (CORS) sul bucket S3. Per ulteriori informazioni sulle autorizzazioni CORS necessarie per questo ruolo, consulta Autorizzazione Cross Origin Resource Sharing (CORS) richiesta per i bucket S3.

Requisiti per i set di dati dei prompt personalizzati utilizzati nei processi di valutazione del modello automatica

Nei processi di valutazione del modello automatica è possibile utilizzare un set di dati dei prompt personalizzato per ogni metrica selezionata nel processo di valutazione del modello. I set di dati personalizzati utilizzano il formato di riga JSON (.jsonl) e ogni riga deve essere un oggetto JSON valido. Nel set di dati possono essere presenti fino a 1.000 prompt per processo di valutazione automatica.

È necessario utilizzare le seguenti chiavi in un set di dati personalizzato.

• prompt: necessario per indicare l'input per le seguenti attività:

  • Il prompt a cui il modello deve rispondere nella generazione di testo generale.

  • La domanda a cui il modello deve rispondere nel tipo di attività domande e risposte.

  • Il testo che il modello deve riepilogare nell'attività di riepilogo del testo.

  • Il testo che il modello deve classificare nelle attività di classificazione.

• referenceResponse: per indicare la risposta di verità fondamentale rispetto alla quale il modello viene valutato per i seguenti tipi di attività:

  • La risposta a tutti i prompt nelle attività di domande e risposte.

  • La risposta a tutte le valutazioni di accuratezza e robustezza.

• category: (opzionale) genera punteggi di valutazione riportati per ogni categoria.

Ad esempio, l'accuratezza richiede sia la domanda da porre sia la risposta da confrontare con la risposta del modello. In questo esempio si utilizza la chiave prompt con il valore contenuto nella domanda e la chiave referenceResponse con il valore contenuto nella risposta come segue.

{
	"prompt": "Bobigny is the capital of",
	"referenceResponse": "Seine-Saint-Denis",
	"category": "Capitals"
}

L'esempio precedente è una singola riga di un file di input JSON che verrà inviato al modello come richiesta di inferenza. Il modello verrà richiamato per ogni record di questo tipo nel set di dati JSON. Il seguente esempio di input di dati riguarda un'attività di risposta a domande che utilizza una chiave category opzionale per la valutazione.

{"prompt":"Aurillac is the capital of", "category":"Capitals", "referenceResponse":"Cantal"}
{"prompt":"Bamiyan city is the capital of", "category":"Capitals", "referenceResponse":"Bamiyan Province"}
{"prompt":"Sokhumi is the capital of", "category":"Capitals", "referenceResponse":"Abkhazia"}

Per ulteriori informazioni sui requisiti di formato per i processi di valutazione del modello che utilizzano lavoratori umani, consulta Requisiti per set di dati dei prompt personalizzati in processi di valutazione del modello che utilizzano lavoratori umani.

Requisiti per set di dati dei prompt personalizzati in processi di valutazione del modello che utilizzano lavoratori umani

Nel formato di riga JSON, ogni riga è un oggetto JSON valido. Un set di dati dei prompt può avere un massimo di 1.000 prompt per processo di valutazione del modello.

Una voce di richiesta valida deve contenere la prompt chiave. Entrambe category le opzioni referenceResponse sono opzionali. Utilizza la chiave category per etichettare il prompt con una categoria specifica da utilizzare per filtrare i risultati quando li esamini nella scheda di valutazione del modello. Utilizza la chiave referenceResponse per specificare la risposta di verità fondamentale a cui i lavoratori possono fare riferimento durante la valutazione.

Nell'interfaccia utente del lavoratore, ciò che specifichi per prompt e referenceResponse è visibile ai tuoi lavoratori umani.

Di seguito è riportato un esempio di set di dati personalizzati che contiene 6 input e utilizza il formato di riga JSON.

{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}

L'esempio seguente è una voce singola espansa per maggiore chiarezza

{
    "prompt": "What is high intensity interval training?",
    "category": "Fitness",
    "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods."
}