View a markdown version of this page

Ergebnisse ansehen und interpretieren - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Ergebnisse ansehen und interpretieren

Ausgabeort

Nach Abschluss eines Jobs werden die Ergebnisse in Ihren S3-Ausgabepfad geschrieben:

output-s3-uri/job-id/advanced_prompt_optimization_results.jsonl

Die Job-ID ist das letzte Segment des Job-ARN.

Ergebnisseite der Konsole

Warnung

Wenn Sie die Ergebnisdateien nach Abschluss des Jobs vom S3-Ausgabespeicherort entfernen, wird die Ergebnisseite der Konsole nicht gerendert.

Um die geschätzten Kosten pro Anfrage für die ursprünglichen und optimierten Eingabeaufforderungen zu sehen, wählen Sie „Preisgestaltung konfigurieren“ und geben Sie die Ein- und Ausgabepreise pro Token für jedes Modell ein. Die Kosten werden in der Konsole anhand der von Ihnen eingegebenen Preise berechnet und sind nicht in der Ausgabedatei enthalten.

Ausgabeformat

Die Ausgabedatei ist JSONL mit Ergebnissen pro Vorlage. Jede Zeile enthält:

  • promptTemplateId: entspricht Ihrer eingegebenen TemplateID

  • promptOptimizationResults: Array mit einem Eintrag pro Zielmodell, das jeweils Folgendes enthält:

    • modelId: das Zielmodell

    • status: Optimierungsstatus für dieses Modell. Der Wert ist entweder SUCCESS oder FAILED. Dies ist unabhängig von der Auftragsebene, die von jobStatus zurückgegeben wurde. GetAdvancedPromptOptimizationJob

    • optimizedPromptTemplate: die neu geschriebene Eingabeaufforderungsvorlage

    • Bewertungsergebnisse pro Stichprobe

    • Latenz: durchschnittliche und mediane Zeit bis zum ersten Token (averageTtftInSec,medianTtftInSec) und durchschnittliche und mediane End-to-End-Latenz (averageLatencyInSec,medianLatencyInSec), in Sekunden, in originalPromptMetrics und. optimizedPromptMetrics Per-sample Werte (ttftInSec,latencyInSec) stehen in jedem dataset[] Eintrag unter originalPromptDetails.originalPromptMetrics und. optimizedPromptDetails.optimizedPromptMetrics

    • compressionRatio, undoriginalTokenCount, sind nur vorhandenoptimizedTokenCount, wenn das Kürzen der Eingabeaufforderung für die Vorlage aktiviert ist

Anmerkung

Die durchschnittliche Zeit bis zum ersten Token, die durchschnittliche Latenz und die durchschnittliche Latenz sind für Jobs verfügbar, die am oder nach dem 4. August 2026 erstellt wurden. Sie werden nicht für frühere Jobs berechnet. Auf der Ergebnisseite der Konsole werden Durchschnitts- und Medianwerte auf der Registerkarte Übersichtstabellen, Durchschnittswerte auf der Registerkarte Grafiken und Werte pro Stichprobe auf der Registerkarte Detaillierte Ergebnisse angezeigt.

Programmgesteuertes Lesen der Ergebnisse

import boto3 import json s3 = boto3.client('s3', region_name='us-west-2') # Job ID is the last segment of the job ARN job_id = job_arn.split('/')[-1] output_key = f'output/{job_id}/advanced_prompt_optimization_results.jsonl' response = s3.get_object(Bucket='my-bucket', Key=output_key) content = response['Body'].read().decode('utf-8') for line in content.strip().split('\n'): result = json.loads(line) print(f"Template: {result['promptTemplateId']}") for opt in result.get('promptOptimizationResults', []): print(f" Model: {opt['modelId']}") print(f" Status: {opt['status']}") print(f" Optimized: {opt['optimizedPromptTemplate'][:100]}...")

Ergebnisse interpretieren

Die Ergebnisse sind normalisiert; höher ist besser. Der Service normalisiert alle Bewertungsergebnisse unabhängig von der ursprünglichen Bewertungsskala, die Sie in Ihrer Bewertungsmethode definiert haben.

Sie können die LLM-as-a-judge Rohausgabe jederzeit in Ihrem S3-Bucket und auf der Ergebnisseite der Konsole auf der Registerkarte mit den detaillierten Ergebnissen sehen. Aufgrund der Art der Zusammenführung von benutzerdefinierten LLMJ-Eingabeaufforderungen mit der vom Dienst bereitgestellten Standardansage entspricht die numerische Punktzahl möglicherweise nicht exakt den einzelnen Schritten in Ihrer benutzerdefinierten LLMJ-Rubrik. Wenn Sie binäre Auswertungsergebnisse oder exakte Übereinstimmungen wünschen, ist es möglicherweise besser, einen Lambda-Evaluator zu verwenden.

Interpretation des Kompressionsverhältnisses

Das Komprimierungsverhältnis wird nur dann in den Ergebnissen angezeigt, wenn für die Vorlage das Kürzen der Eingabeaufforderung aktiviert wurde. Die Bewertungsergebnisse werden normalisiert, sodass eine höhere Zahl besser ist. Das Komprimierungsverhältnis funktioniert andersherum: Eine niedrigere Zahl bedeutet eine kürzere Eingabeaufforderung.

  • Ein Verhältnis unter 1,0 bedeutet, dass die zurückgegebene Eingabeaufforderung kürzer ist als die ursprüngliche. Beispielsweise bedeutet 0,72, dass die optimierte Aufforderung 28% weniger Token verwendet.

  • Ein Verhältnis von 1,0 bedeutet, dass die ursprüngliche Aufforderung zurückgegeben wurde, da die optimierte Aufforderung nicht sowohl kürzer als die ursprüngliche war als auch bei Ihrer Bewertung mindestens genauso gut bewertet wurde.

  • Ein Verhältnis über 1,0 tritt nicht auf, wenn die Verkürzung der Eingabeaufforderung aktiviert ist.

Auf der Ergebnisseite der Konsole werden auf der Registerkarte Übersichtstabellen das Komprimierungsverhältnis und die Anzahl der ursprünglichen und optimierten Template-Token für jedes Modell angezeigt. Auf der Registerkarte „Grafiken“ werden die Token-Zahlen in der Längentabelle der Prompt-Vorlage angezeigt.