예제: Application Signals를 사용하여 Amazon Bedrock 모델과 상호 작용하는 생성형 AI 애플리케이션 문제 해결
Amazon Bedrock 모델과 상호 작용하는 생성형 AI 애플리케이션 문제 해결에 Application Signals를 사용할 수 있습니다. Application Signals는 기본 제공 원격 측정 데이터를 제공하여 이 프로세스를 간소화하고 LLM 모델과 애플리케이션의 상호 작용에 대한 심층적인 인사이트를 제공합니다. 다음과 같은 주요 사용 사례 해결에 도움이 됩니다.
모델 구성 문제
모델 사용 비용
모델 지연 시간
모델 응답 생성 중단 사유
LLM/GenAI Observability로 Application Signals를 활성화하면 Amazon Bedrock 서비스와 애플리케이션의 상호 작용에 대한 실시간 가시성이 제공됩니다. Application Signals는 Amazon Bedrock API 직접 호출에 대한 성능 지표와 추적을 자동으로 생성하고 서로 연관시킵니다.
Application Signals는 현재 Amazon Bedrock의 다음과 같은 LLM 모델을 지원합니다.
AI21 Jamba
Amazon Titan
Anthropic Claude
Cohere Command
Meta Llama
Mistral AI
Nova
세분화된 지표 및 추적
Application Signals는 각 Amazon Bedrock API 직접 호출에 대해 다음을 포함하여 리소스 수준에서 자세한 성능 지표를 생성합니다.
모델 ID
가드레일 ID
지식 기반 ID
Bedrock Agent ID
또한 동일한 수준의 상관관계가 있는 추적 범위는 요청 실행 및 종속성에 대한 포괄적인 보기를 제공하는 데 도움이 됩니다.
OpenTelemetry GenAI 속성 지원
Application Signals는 OpenTelemetry 의미 체계 규칙으로 Amazon Bedrock API 직접 호출에 대한 다음과 같은 GenAI 속성을 생성합니다. 이러한 속성은 모델 사용률, 비용 및 응답 품질을 분석하는 데 도움이 되며 트랜잭션 검색을 통해 심층적인 인사이트에 활용할 수 있습니다.
gen_ai.system
gen_ai.request.model
gen_ai.request.max_tokens
gen_ai.request. temperature
gen_ai.request.top_p
gen_ai.usage.input_tokens
gen_ai.usage.output_tokens
gen_ai.response.finish_reasons
예를 들면 트랜잭션 검색의 분석 기능을 활용하여 동일한 프롬프트에 대해 다양한 LLM 모델의 토큰 사용률과 비용을 비교하여 비용 효율적인 모델을 선택할 수 있습니다.
자세한 내용은 CloudWatch Application Signals로 Amazon Bedrock 관찰성 개선
