Benutzerdefinierter Prompt-Datensatz

Sie können bei Aufträgen zur Modellbewertung einen benutzerdefinierten Prompt-Datensatz verwenden.

Datensätze mit benutzerdefinierten Eingabeaufforderungen müssen in Amazon S3 gespeichert werden und das JSON-Zeilenformat und die .jsonl-Dateierweiterung verwenden. Wenn Sie den Datensatz auf Amazon S3 hochladen, stellen Sie sicher, dass Sie die CORS-Konfiguration (Cross Origin Resource Sharing) auf dem S3-Bucket aktualisieren. Verwenden Sie Erforderliche CORS-Berechtigung (Cross Origin Resource Sharing) für S3-Buckets, um mehr über die für diese Rolle erforderlichen CORS-Berechtigungen zu erfahren.

Anforderungen für benutzerdefinierte Prompt-Datensätze, die bei automatischen Aufträgen zur Modellbewertung verwendet werden

In automatischen Aufträgen zur Modellbewertung können Sie für jede Metrik, die Sie im Auftrag zur Modellbewertung auswählen, einen benutzerdefinierten Prompt-Datensatz verwenden. Benutzerdefinierte Datensätze verwenden das JSON-Zeilenformat (.jsonl) und jede Zeile muss ein gültiges JSON-Objekt sein. Ihr Datensatz kann bis zu 1000 Eingabeaufforderungen pro automatischem Auswertungsauftrag enthalten.

Sie müssen die folgenden Schlüssel in einem benutzerdefinierten Datensatz verwenden.

• prompt: Erforderlich, um die Eingabe für die folgenden Aufgaben anzugeben:

  • Die Eingabeaufforderung, auf die Ihr Modell bei der allgemeinen Textgenerierung reagieren sollte.

  • Die Frage, die Ihr Modell im Aufgabentyp „Frage und Antwort“ beantworten soll.

  • Der Text, den Ihr Modell in der Textzusammenfassungsaufgabe zusammenfassen soll.

  • Der Text, den Ihr Modell in Klassifizierungsaufgaben klassifizieren soll.

• referenceResponse: Erforderlich, um die Ground-Truth-Antwort anzugeben, anhand derer Ihr Modell für die folgenden Aufgabentypen bewertet wird:

  • Die Antwort auf alle Eingabeaufforderungen in Frage- und Antwort-Aufgaben.

  • Die Antwort für alle Genauigkeits- und Robustheitsbewertungen.

• category: (Optional) Generiert Bewertungsergebnisse für die einzelnen Kategorien.

Für eine hohe Genauigkeit sind sowohl die zu stellende Frage als auch die Antwort erforderlich, mit der die Antwort des Modells verglichen werden muss. Verwenden Sie in diesem Beispiel wie folgt den Schlüssel prompt mit dem in der Frage enthaltenen Wert und den Schlüssel referenceResponse mit dem in der Antwort enthaltenen Wert.

{
	"prompt": "Bobigny is the capital of",
	"referenceResponse": "Seine-Saint-Denis",
	"category": "Capitals"
}

Das vorherige Beispiel ist eine einzelne Zeile einer JSON-Zeilen-Eingabedatei, die als Inferenzanforderung an Ihr Modell gesendet wird. Das Modell wird für all diese Datensätze in Ihrem JSON-Zeilen-Datensatz aufgerufen. Das folgende Beispiel für eine Dateneingabe bezieht sich auf eine Frage-Antwort-Aufgabe, bei der ein optionaler category-Schlüssel zur Auswertung verwendet wird.

{"prompt":"Aurillac is the capital of", "category":"Capitals", "referenceResponse":"Cantal"}
{"prompt":"Bamiyan city is the capital of", "category":"Capitals", "referenceResponse":"Bamiyan Province"}
{"prompt":"Sokhumi is the capital of", "category":"Capitals", "referenceResponse":"Abkhazia"}

Weitere Informationen zu den Formatanforderungen für Aufträge zur Modellbewertung, bei denen Mitarbeiter eingesetzt werden, finden Sie unter Anforderungen für benutzerdefinierte Prompt-Datensätze bei Aufträgen zur Modellbewertung mit Mitarbeitern.

Anforderungen für benutzerdefinierte Prompt-Datensätze bei Aufträgen zur Modellbewertung mit Mitarbeitern

Im JSON-Zeilenformat ist jede Zeile ein gültiges JSON-Objekt. Ein Prompt-Datensatz kann maximal 1000 Eingabeaufforderungen pro Auftrag zur Modellbewertung enthalten.

Ein gültiger Eingabeaufforderungseintrag muss den prompt Schlüssel enthalten. Beides category und referenceResponse sind optional. Verwenden Sie die category-Taste, um Ihrer Eingabeaufforderung eine bestimmte Kategorie zuzuweisen, anhand derer Sie die Ergebnisse filtern können, wenn Sie sie im Bericht über die Modellbewertung überprüfen. Geben Sie mit der referenceResponse-Taste die Ground-Truth-Antwort an, auf die sich Ihre Mitarbeiter bei der Auswertung beziehen können.

Geben Sie in der Worker-Benutzeroberfläche an, sind Ihre Eingaben zu prompt und referenceResponse für Ihre Mitarbeiter sichtbar.

Im Folgenden finden Sie ein Beispiel für einen benutzerdefinierten Datensatz, der 6 Eingaben enthält und das JSON-Zeilenformat verwendet.

{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}

Das folgende Beispiel ist ein einzelner Eintrag, der der Übersichtlichkeit halber erweitert wurde.

{
    "prompt": "What is high intensity interval training?",
    "category": "Fitness",
    "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods."
}