Verwenden Sie den benutzerdefinierten Prompt-Datensatz für die Modellauswertung in Amazon Bedrock

Sie können bei Aufträgen zur Modellbewertung einen benutzerdefinierten Prompt-Datensatz verwenden.

Datensätze mit benutzerdefinierten Eingabeaufforderungen müssen in Amazon S3 gespeichert werden und das JSON Zeilenformat und die .jsonl Dateierweiterung verwenden. Wenn Sie den Datensatz auf Amazon S3 hochladen, stellen Sie sicher, dass Sie die Cross Origin Resource Sharing (CORS) -Konfiguration auf dem S3-Bucket aktualisieren. Weitere Informationen zu den erforderlichen CORS Berechtigungen finden Sie unterErforderliche Cross-Origin-Berechtigung zur gemeinsamen Nutzung von Ressourcen (CORS) für S3-Buckets.

Anforderungen für benutzerdefinierte Prompt-Datensätze, die bei automatischen Aufträgen zur Modellbewertung verwendet werden

In automatischen Aufträgen zur Modellbewertung können Sie für jede Metrik, die Sie im Auftrag zur Modellbewertung auswählen, einen benutzerdefinierten Prompt-Datensatz verwenden. Benutzerdefinierte Datenmengen verwenden das JSON Zeilenformat (.jsonl), und jede Zeile muss ein gültiges JSON Objekt sein. Ihr Datensatz kann bis zu 1000 Eingabeaufforderungen pro automatischem Auswertungsauftrag enthalten.

Sie müssen die folgenden Schlüssel in einem benutzerdefinierten Datensatz verwenden.

• prompt: Erforderlich, um die Eingabe für die folgenden Aufgaben anzugeben:

  • Die Eingabeaufforderung, auf die Ihr Modell bei der allgemeinen Textgenerierung reagieren sollte.

  • Die Frage, die Ihr Modell im Aufgabentyp „Frage und Antwort“ beantworten soll.

  • Der Text, den Ihr Modell in der Textzusammenfassungsaufgabe zusammenfassen soll.

  • Der Text, den Ihr Modell in Klassifizierungsaufgaben klassifizieren soll.

• referenceResponse: Erforderlich, um die Ground-Truth-Antwort anzugeben, anhand derer Ihr Modell für die folgenden Aufgabentypen bewertet wird:

  • Die Antwort auf alle Eingabeaufforderungen in Frage- und Antwort-Aufgaben.

  • Die Antwort für alle Genauigkeits- und Robustheitsbewertungen.

• category: (Optional) Generiert Bewertungsergebnisse für die einzelnen Kategorien.

Für eine hohe Genauigkeit sind sowohl die zu stellende Frage als auch die Antwort erforderlich, mit der die Antwort des Modells verglichen werden muss. Verwenden Sie in diesem Beispiel wie folgt den Schlüssel prompt mit dem in der Frage enthaltenen Wert und den Schlüssel referenceResponse mit dem in der Antwort enthaltenen Wert.

{
    "prompt": "Bobigny is the capital of",
    "referenceResponse": "Seine-Saint-Denis",
    "category": "Capitals"
}

Das vorherige Beispiel ist eine einzelne Zeile einer JSON Zeileneingabedatei, die als Inferenzanforderung an Ihr Modell gesendet wird. Das Modell wird für jeden solchen Datensatz in Ihrem JSON Liniendatensatz aufgerufen. Das folgende Beispiel für eine Dateneingabe bezieht sich auf eine Frage-Antwort-Aufgabe, bei der ein optionaler category-Schlüssel zur Auswertung verwendet wird.

{"prompt":"Aurillac is the capital of", "category":"Capitals", "referenceResponse":"Cantal"}
{"prompt":"Bamiyan city is the capital of", "category":"Capitals", "referenceResponse":"Bamiyan Province"}
{"prompt":"Sokhumi is the capital of", "category":"Capitals", "referenceResponse":"Abkhazia"}

Weitere Informationen zu den Formatanforderungen für Aufträge zur Modellbewertung, bei denen Mitarbeiter eingesetzt werden, finden Sie unter Anforderungen für benutzerdefinierte Prompt-Datensätze bei Aufträgen zur Modellbewertung mit Mitarbeitern.

Anforderungen für benutzerdefinierte Prompt-Datensätze bei Aufträgen zur Modellbewertung mit Mitarbeitern

Im JSON Linienformat ist jede Zeile ein gültiges JSON Objekt. Ein Prompt-Datensatz kann maximal 1000 Eingabeaufforderungen pro Auftrag zur Modellbewertung enthalten.

Ein gültiger Eingabeaufforderungseintrag muss den prompt Schlüssel enthalten. Beides category und referenceResponse sind optional. Verwenden Sie die category-Taste, um Ihrer Eingabeaufforderung eine bestimmte Kategorie zuzuweisen, anhand derer Sie die Ergebnisse filtern können, wenn Sie sie im Bericht über die Modellbewertung überprüfen. Geben Sie mit der referenceResponse-Taste die Ground-Truth-Antwort an, auf die sich Ihre Mitarbeiter bei der Auswertung beziehen können.

Geben Sie in der Worker-Benutzeroberfläche an, sind Ihre Eingaben zu prompt und referenceResponse für Ihre Mitarbeiter sichtbar.

Im Folgenden finden Sie ein Beispiel für einen benutzerdefinierten Datensatz, der 6 Eingaben enthält und das JSON Linienformat verwendet.

{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}

Das folgende Beispiel ist ein einzelner Eintrag, der der Übersichtlichkeit halber erweitert wurde.

{
    "prompt": "What is high intensity interval training?",
    "category": "Fitness",
    "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods."
}