Modellbewertung - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Modellbewertung

Amazon Bedrock unterstützt Aufträge zur Modellbewertung. Die Ergebnisse einer Modellevaluierung ermöglichen es Ihnen, die Modellergebnisse zu vergleichen und dann das Modell auszuwählen, das für Ihre nachgelagerten generativen KI-Anwendungen am besten geeignet ist.

Modellevaluierungsjobs unterstützen gängige Anwendungsfälle für große Sprachmodelle (LLMs) wie Textgenerierung, Textklassifizierung, Beantwortung von Fragen und Textzusammenfassung.

Um die Leistung eines Modells für automatische Modellevaluierungsaufträge zu bewerten, können Sie entweder integrierte Prompt-Datensätze oder Ihre eigenen Prompt-Datensätze verwenden. Für Modellevaluierungsjobs, bei denen Arbeiter verwendet werden, benötigen Sie Ihren eigenen Datensatz.

Sie können wählen, ob Sie entweder einen automatischen Auftrag zur Modellbewertung oder einen Auftrag zur Modellbewertung mit menschlichen Mitarbeitern erstellen möchten.

Überblick: Automatische Aufträge zur Modellbewertung

Mit automatischen Aufträgen zur Modellbewertung können Sie schnell bewerten, ob ein Modell in der Lage ist, eine Aufgabe auszuführen. Sie können entweder Ihren eigenen benutzerdefinierten Prompt-Datensatz bereitstellen, den Sie auf einen bestimmten Anwendungsfall zugeschnitten haben, oder Sie können einen verfügbaren integrierten Datensatz verwenden.

Überblick: Aufträge zur Modellbewertung unter Einsatz menschlicher Mitarbeiter

Aufträge zur Modellbewertung, bei denen menschliche Mitarbeiter eingesetzt werden, ermöglichen es Ihnen, menschliche Eingaben in den Modellbewertungsprozess einzubringen. Dabei kann es sich um Mitarbeiter Ihres Unternehmens oder eine Gruppe von Experten aus Ihrer Branche handeln.

In den folgenden Themen werden die verfügbaren Aufgaben zur Modellbewertung und die Arten von Metriken beschrieben, die Sie verwenden können. Sie beschreiben auch die verfügbaren integrierten Datensätze und wie Sie Ihren eigenen Datensatz festlegen können.

Themen