Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Konfigurieren Sie das Verhalten von Streaming-Antworten
Die InvokeModelWithResponseStreamAPI gibt Daten in einem Streaming-Format zurück. Auf diese Weise können Sie auf Antworten in Abschnitten zugreifen, ohne auf das gesamte Ergebnis warten zu müssen. Bei der Verwendung von Leitplanken mit einer Streaming-Antwort gibt es zwei Betriebsmodi: synchron und asynchron.
Synchroner Modus
Im synchronen Standardmodus puffern Guardrails die konfigurierten Richtlinien und wenden sie auf einen oder mehrere Antwortblöcke an, bevor die Antwort an den Benutzer zurückgesendet wird. Der synchrone Verarbeitungsmodus führt zu einer gewissen Latenz bei den Antwortblöcken, da die Antwort so lange verzögert wird, bis der Guardrails-Scan abgeschlossen ist. Er bietet jedoch eine höhere Genauigkeit, da jeder Antwortblock von Leitplanken gescannt wird, bevor er an den Benutzer gesendet wird.
Asynchroner Modus
Im asynchronen Modus sendet Guardrails die Antwort-Chunks an den Benutzer, sobald sie verfügbar sind, und wendet gleichzeitig die konfigurierten Richtlinien asynchron im Hintergrund an. Der Vorteil besteht darin, dass Antwort-Chunks sofort und ohne Auswirkungen auf die Latenz bereitgestellt werden. Antwort-Chunks können jedoch unangemessenen Inhalt enthalten, bis der Guardrails-Scan abgeschlossen ist. Sobald unangemessene Inhalte erkannt werden, werden nachfolgende Blöcke durch Leitplanken blockiert.
Warnung
Die Maskierung vertraulicher Informationen in Modellantworten kann im asynchronen Modus stark beeinträchtigt werden, da die ursprüngliche Antwort an den Benutzer zurückgegeben werden kann, bevor sensible Inhalte in der Modellantwort durch die Guardrail erkannt und maskiert werden. Daher wird für solche Anwendungsfälle der asynchrone Modus nicht empfohlen.
Aktivieren des asynchronen Modus
Um den asynchronen Modus zu aktivieren, müssen Sie den streamProcessingMode Parameter in das amazon-bedrock-guardrailConfig Objekt Ihrer InvokeModelWithResponseStream Anfrage aufnehmen:
{ "amazon-bedrock-guardrailConfig": { "streamProcessingMode": "ASYNCHRONOUS" } }
Wenn Sie die Kompromisse zwischen dem synchronen und dem asynchronen Modus verstehen, können Sie den geeigneten Modus auswählen, der den Anforderungen Ihrer Anwendung an Latenz und Genauigkeit der Inhaltsmoderation entspricht.
