Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Ergebnisse ansehen und interpretieren
Ausgabeort
Nach Abschluss eines Jobs werden die Ergebnisse in Ihren S3-Ausgabepfad geschrieben:
output-s3-uri/job-id/advanced_prompt_optimization_results.jsonl
Die Job-ID ist das letzte Segment des Job-ARN.
Ergebnisseite der Konsole
Wenn Sie die Ergebnisdateien nach Abschluss des Jobs vom S3-Ausgabespeicherort entfernen, wird die Ergebnisseite der Konsole nicht gerendert.
Um die geschätzten Kosten pro Anfrage für die ursprünglichen und optimierten Eingabeaufforderungen zu sehen, wählen Sie „Preisgestaltung konfigurieren“ und geben Sie die Ein- und Ausgabepreise pro Token für jedes Modell ein. Die Kosten werden in der Konsole anhand der von Ihnen eingegebenen Preise berechnet und sind nicht in der Ausgabedatei enthalten.
Ausgabeformat
Die Ausgabedatei ist JSONL mit Ergebnissen pro Vorlage. Jede Zeile enthält:
promptTemplateId: entspricht Ihrer eingegebenen TemplateIDpromptOptimizationResults: Array mit einem Eintrag pro Zielmodell, das jeweils Folgendes enthält:modelId: das Zielmodellstatus: Optimierungsstatus für dieses Modell. Der Wert ist entwederSUCCESSoderFAILED. Dies ist unabhängig von der Auftragsebene, die vonjobStatuszurückgegeben wurde.GetAdvancedPromptOptimizationJoboptimizedPromptTemplate: die neu geschriebene EingabeaufforderungsvorlageBewertungsergebnisse pro Stichprobe
Latenz: durchschnittliche und mediane Zeit bis zum ersten Token (
averageTtftInSec,medianTtftInSec) und durchschnittliche und mediane End-to-End-Latenz (averageLatencyInSec,medianLatencyInSec), in Sekunden, inoriginalPromptMetricsund.optimizedPromptMetricsPer-sample Werte (ttftInSec,latencyInSec) stehen in jedemdataset[]Eintrag unteroriginalPromptDetails.originalPromptMetricsund.optimizedPromptDetails.optimizedPromptMetricscompressionRatio, undoriginalTokenCount, sind nur vorhandenoptimizedTokenCount, wenn das Kürzen der Eingabeaufforderung für die Vorlage aktiviert ist
Die durchschnittliche Zeit bis zum ersten Token, die durchschnittliche Latenz und die durchschnittliche Latenz sind für Jobs verfügbar, die am oder nach dem 4. August 2026 erstellt wurden. Sie werden nicht für frühere Jobs berechnet. Auf der Ergebnisseite der Konsole werden Durchschnitts- und Medianwerte auf der Registerkarte Übersichtstabellen, Durchschnittswerte auf der Registerkarte Grafiken und Werte pro Stichprobe auf der Registerkarte Detaillierte Ergebnisse angezeigt.
Programmgesteuertes Lesen der Ergebnisse
import boto3 import json s3 = boto3.client('s3', region_name='us-west-2') # Job ID is the last segment of the job ARN job_id = job_arn.split('/')[-1] output_key = f'output/{job_id}/advanced_prompt_optimization_results.jsonl' response = s3.get_object(Bucket='my-bucket', Key=output_key) content = response['Body'].read().decode('utf-8') for line in content.strip().split('\n'): result = json.loads(line) print(f"Template: {result['promptTemplateId']}") for opt in result.get('promptOptimizationResults', []): print(f" Model: {opt['modelId']}") print(f" Status: {opt['status']}") print(f" Optimized: {opt['optimizedPromptTemplate'][:100]}...")
Ergebnisse interpretieren
Die Ergebnisse sind normalisiert; höher ist besser. Der Service normalisiert alle Bewertungsergebnisse unabhängig von der ursprünglichen Bewertungsskala, die Sie in Ihrer Bewertungsmethode definiert haben.
Sie können die LLM-as-a-judge Rohausgabe jederzeit in Ihrem S3-Bucket und auf der Ergebnisseite der Konsole auf der Registerkarte mit den detaillierten Ergebnissen sehen. Aufgrund der Art der Zusammenführung von benutzerdefinierten LLMJ-Eingabeaufforderungen mit der vom Dienst bereitgestellten Standardansage entspricht die numerische Punktzahl möglicherweise nicht exakt den einzelnen Schritten in Ihrer benutzerdefinierten LLMJ-Rubrik. Wenn Sie binäre Auswertungsergebnisse oder exakte Übereinstimmungen wünschen, ist es möglicherweise besser, einen Lambda-Evaluator zu verwenden.
Interpretation des Kompressionsverhältnisses
Das Komprimierungsverhältnis wird nur dann in den Ergebnissen angezeigt, wenn für die Vorlage das Kürzen der Eingabeaufforderung aktiviert wurde. Die Bewertungsergebnisse werden normalisiert, sodass eine höhere Zahl besser ist. Das Komprimierungsverhältnis funktioniert andersherum: Eine niedrigere Zahl bedeutet eine kürzere Eingabeaufforderung.
Ein Verhältnis unter 1,0 bedeutet, dass die zurückgegebene Eingabeaufforderung kürzer ist als die ursprüngliche. Beispielsweise bedeutet 0,72, dass die optimierte Aufforderung 28% weniger Token verwendet.
Ein Verhältnis von 1,0 bedeutet, dass die ursprüngliche Aufforderung zurückgegeben wurde, da die optimierte Aufforderung nicht sowohl kürzer als die ursprüngliche war als auch bei Ihrer Bewertung mindestens genauso gut bewertet wurde.
Ein Verhältnis über 1,0 tritt nicht auf, wenn die Verkürzung der Eingabeaufforderung aktiviert ist.
Auf der Ergebnisseite der Konsole werden auf der Registerkarte Übersichtstabellen das Komprimierungsverhältnis und die Anzahl der ursprünglichen und optimierten Template-Token für jedes Modell angezeigt. Auf der Registerkarte „Grafiken“ werden die Token-Zahlen in der Längentabelle der Prompt-Vorlage angezeigt.