스트리밍 응답 동작 구성

InvokeModelWithResponseStreamAPI는 스트리밍 형식으로 데이터를 반환합니다. 이렇게 하면 전체 결과를 기다릴 필요 없이 청크 단위로 응답에 액세스할 수 있습니다. 스트리밍 응답과 함께 가드레일을 사용하는 경우 동기식과 비동기식의 두 가지 작동 모드가 있습니다.

동기 모드

기본 동기 모드에서 가드레일은 응답이 사용자에게 다시 전송되기 전에 구성된 정책을 버퍼링하여 하나 이상의 응답 청크에 적용합니다. 동기 처리 모드에서는 가드레일 스캔이 완료될 때까지 응답이 지연되므로 응답 청크에 약간의 지연 시간이 발생합니다. 그러나 모든 응답 청크가 사용자에게 전송되기 전에 가드레일로 스캔되므로 정확도가 향상됩니다.

비동기 모드

비동기 모드에서 가드레일은 응답 청크를 사용할 수 있게 되는 즉시 사용자에게 전송하고 구성된 정책은 백그라운드에서 비동기적으로 적용합니다. 응답 청크는 지연 시간에 영향을 주지 않고 즉시 제공되지만 가드레일 스캔이 완료될 때까지 응답 청크에 부적절한 콘텐츠가 포함될 수 있다는 장점이 있습니다. 부적절한 콘텐츠가 식별되는 즉시 후속 청크는 가드레일에 의해 차단됩니다.

주의

비동기 모드에서는 가드레일이 모델 응답에서 민감한 내용을 감지하고 마스킹하기 전에 원래 응답이 사용자에게 반환될 수 있으므로 모델 응답의 민감한 정보 마스킹에 심각한 영향을 미칠 수 있습니다. 따라서 이러한 사용 사례에는 비동기 모드를 사용하지 않는 것이 좋습니다.

비동기 모드 활성화

비동기 모드를 활성화하려면 요청 객체에 streamProcessingMode 매개변수를 포함해야 합니다. amazon-bedrock-guardrailConfig InvokeModelWithResponseStream

{
   "amazon-bedrock-guardrailConfig": {
   "streamProcessingMode": "ASYNCHRONOUS"
   }
}

동기 모드와 비동기 모드 간의 장단점을 이해하면 지연 시간 및 콘텐츠 조정 정확도에 대한 애플리케이션의 요구 사항에 따라 적절한 모드를 선택할 수 있습니다.