Contoh: Gunakan Sinyal Aplikasi untuk memecahkan masalah aplikasi AI generatif yang berinteraksi dengan model Amazon Bedrock

Anda dapat menggunakan Sinyal Aplikasi untuk memecahkan masalah aplikasi AI generatif Anda yang berinteraksi dengan model. Amazon Bedrock Sinyal Aplikasi merampingkan proses ini dengan menyediakan data out-of-the-box telemetri, menawarkan wawasan yang lebih dalam tentang interaksi aplikasi Anda dengan model LLM. Ini membantu mengatasi kasus penggunaan utama seperti:

• Masalah konfigurasi model

• Biaya penggunaan model

• Latensi model

• Generasi respons model menghentikan alasan

Mengaktifkan Sinyal Aplikasi dengan LLM/GenAI Observabilitas memberikan visibilitas real-time ke dalam interaksi aplikasi Anda dengan layanan Amazon Bedrock. Sinyal Aplikasi secara otomatis menghasilkan dan mengkorelasikan metrik kinerja dan jejak untuk Amazon Bedrock panggilan API.

Sinyal Aplikasi saat ini mendukung Model LLM berikut dari Amazon Bedrock.

• AI21 Jamba

• Amazon Titan

• Antropik Claude

• Perintah Cohere

• Meta Llama

• Mistral AI

• Nova

Metrik dan jejak berbutir halus

Untuk setiap panggilan Amazon Bedrock API, Sinyal Aplikasi menghasilkan metrik kinerja terperinci di tingkat sumber daya, termasuk:

• ID Model

• ID pagar pembatas

• ID Basis Pengetahuan

• ID Agen Bedrock

Selain itu, rentang jejak yang berkorelasi pada tingkat yang sama membantu memberikan pandangan komprehensif tentang eksekusi permintaan dan dependensi.

OpenTelemetry Dukungan atribut GenAI

Sinyal Aplikasi menghasilkan atribut GenAI berikut untuk panggilan Amazon Bedrock API dengan OpenTelemetry konvensi semantik. Atribut ini membantu menganalisis penggunaan model, biaya, dan kualitas respons, dan dapat dimanfaatkan melalui Pencarian Transaksi untuk wawasan yang lebih dalam.

• gen_ai.sistem

• gen_ai.request.model

• gen_ai.request.max_tokens

• gen_ai.request.temperature

• gen_ai.request.top_p

• gen_ai.usage.input_tokens

• gen_ai.usage.output_tokens

• gen_ai.response.finish_reasons

Misalnya, Anda dapat memanfaatkan kemampuan analitik dari Penelusuran Transaksi untuk membandingkan penggunaan token dan biaya di berbagai model LLM untuk prompt yang sama, memungkinkan pemilihan model yang hemat biaya.

Untuk informasi selengkapnya, lihat Meningkatkan Amazon Bedrock Observabilitas dengan Sinyal CloudWatch Aplikasi.