Lacak peristiwa di Amazon Bedrock - Amazon Bedrock
Lihat jejaknyaStruktur jejak

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Lacak peristiwa di Amazon Bedrock

Setiap tanggapan dari agen Amazon Bedrock disertai dengan jejak yang merinci langkah-langkah yang diatur oleh agen. Jejak membantu Anda mengikuti proses penalaran agen yang mengarahkannya ke respons yang diberikannya pada saat itu dalam percakapan.

Gunakan jejak untuk melacak jalur agen dari input pengguna ke respons yang dikembalikan. Jejak memberikan informasi tentang input ke grup tindakan yang dipanggil agen dan basis pengetahuan yang ditanyakan untuk merespons pengguna. Selain itu, jejak memberikan informasi tentang output yang dikembalikan oleh kelompok aksi dan basis pengetahuan. Anda dapat melihat alasan yang digunakan agen untuk menentukan tindakan yang diperlukan atau kueri yang dibuatnya ke basis pengetahuan. Jika langkah dalam jejak gagal, jejak mengembalikan alasan kegagalan. Gunakan informasi terperinci dalam jejak untuk memecahkan masalah agen Anda. Anda dapat mengidentifikasi langkah-langkah di mana agen mengalami masalah atau di mana ia menghasilkan perilaku yang tidak terduga. Kemudian, Anda dapat menggunakan informasi ini untuk mempertimbangkan cara-cara di mana Anda dapat meningkatkan perilaku agen.

Lihat jejaknya

Berikut ini menjelaskan cara melihat jejak. Pilih tab yang sesuai dengan metode pilihan Anda dan ikuti langkah-langkahnya.

Console
Untuk melihat jejak selama percakapan dengan agen

Masuk ke AWS Management Console, dan buka konsol Amazon Bedrock di https://console.aws.amazon.com/bedrock/.

  1. Di bagian Agen, pilih tautan untuk agen yang ingin Anda uji dari daftar agen.

  2. Jendela Uji muncul di panel di sebelah kanan.

  3. Masukkan pesan dan pilih Jalankan. Saat respons dihasilkan atau setelah selesai menghasilkan, pilih Tampilkan jejak.

  4. Anda dapat melihat jejak untuk setiap Langkah secara real-time saat agen Anda melakukan orkestrasi.

API

Untuk melihat jejak, kirim InvokeAgentpermintaan dengan titik akhir waktu proses Agen untuk Amazon Bedrock dan setel bidang keenableTrace. TRUE Secara default, jejak dinonaktifkan.

Jika Anda mengaktifkan jejak, dalam InvokeAgentrespons, masing-masing chunk dalam aliran disertai dengan trace bidang yang memetakan ke TracePartobjek. Di dalamnya TracePartadalah trace bidang yang memetakan ke Traceobjek.

Struktur jejak

Jejak ditampilkan sebagai objek JSON di konsol dan API. Setiap Langkah di konsol atau Tracedi API dapat menjadi salah satu dari jejak berikut:

  • PreProcessingTrace— Melacak input dan output dari langkah pra-pemrosesan, di mana agen mengontekstualisasikan dan mengkategorikan input pengguna dan menentukan apakah itu valid.

  • Orkestrasi — Melacak input dan output dari langkah orkestrasi, di mana agen menafsirkan input, memanggil kelompok tindakan, dan menanyakan basis pengetahuan. Kemudian agen mengembalikan output untuk melanjutkan orkestrasi atau untuk menanggapi pengguna.

  • PostProcessingTrace— Melacak input dan output dari langkah pasca-pemrosesan, di mana agen menangani output akhir orkestrasi dan menentukan bagaimana mengembalikan respons kepada pengguna.

  • FailureTrace— Melacak alasan bahwa sebuah langkah gagal.

  • GuardrailTrace— Melacak tindakan Guardrail.

Setiap jejak (kecualiFailureTrace) berisi ModelInvocationInputobjek. ModelInvocationInputObjek berisi konfigurasi yang diatur dalam template prompt untuk langkah tersebut, di samping prompt yang diberikan kepada agen pada langkah ini. Untuk informasi selengkapnya tentang cara memodifikasi templat prompt, lihatPermintaan lanjutan di Amazon Bedrock. Struktur ModelInvocationInput objek adalah sebagai berikut:

{
    "traceId": "string",
    "text": "string",
    "type": "PRE_PROCESSING | ORCHESTRATION | KNOWLEDGE_BASE_RESPONSE_GENERATION | POST_PROCESSING",
    "inferenceConfiguration": {
        "maximumLength": number,
        "stopSequences": ["string"],
        "temperature": float,
        "topK": float,
        "topP": float
    },
    "promptCreationMode": "DEFAULT | OVERRIDDEN",
    "parserMode": "DEFAULT | OVERRIDDEN",
    "overrideLambda": "string"
}

Daftar berikut menjelaskan bidang ModelInvocationInputobjek:

  • traceId— Pengidentifikasi unik dari jejak.

  • text— Teks dari prompt yang diberikan kepada agen pada langkah ini.

  • type— Langkah saat ini dalam proses agen.

  • inferenceConfiguration— Parameter inferensi yang mempengaruhi generasi respons. Untuk informasi selengkapnya, lihat Parameter inferensi.

  • promptCreationMode— Apakah template prompt dasar default agen diganti untuk langkah ini. Untuk informasi selengkapnya, lihat Permintaan lanjutan di Amazon Bedrock.

  • parserMode— Apakah parser respons default agen diganti untuk langkah ini. Untuk informasi selengkapnya, lihat Permintaan lanjutan di Amazon Bedrock.

  • overrideLambda— Nama Sumber Daya Amazon (ARN) dari fungsi parser Lambda yang digunakan untuk mengurai respons, jika parser default diganti. Untuk informasi selengkapnya, lihat Permintaan lanjutan di Amazon Bedrock.

Untuk informasi selengkapnya tentang setiap jenis jejak, lihat bagian berikut:

{
    "modelInvocationInput": { // see above for details }
    "modelInvocationOutput": {
        "parsedResponse": {
            "isValid": boolean,
            "rationale": "string"
        },
        "traceId": "string"
    }
}

PreProcessingTraceTerdiri dari ModelInvocationInputobjek dan PreProcessingModelInvocationOutputobjek. PreProcessingModelInvocationOutputBerisi bidang-bidang berikut.

  • parsedResponse— Berisi rincian berikut tentang prompt pengguna yang diuraikan.

    • isValid- Menentukan apakah prompt pengguna valid.

    • rationale— Menentukan alasan agen untuk langkah selanjutnya yang harus diambil.

  • traceId— Pengidentifikasi unik dari jejak.

Orkestrasi terdiri dari ModelInvocationInputobjek dan kombinasi apa pun dari Rasional,, InvocationInputdan objek Observasi. Untuk informasi lebih lanjut tentang setiap objek, pilih dari tab berikut:

{
    "modelInvocationInput": { // see above for details },
    "rationale": { ... },
    "invocationInput": { ... },
    "observation": { ... }
}
Rationale

Objek Rationale berisi penalaran agen yang diberikan input pengguna. Berikut ini adalah strukturnya:

{
       "traceId": "string",
       "text": "string"
    }

Daftar berikut menjelaskan bidang objek Rationale:

  • traceId— Pengidentifikasi unik dari langkah jejak.

  • text— Proses penalaran agen, berdasarkan prompt input.

InvocationInput

InvocationInputObjek berisi informasi yang akan dimasukkan ke grup tindakan atau basis pengetahuan yang akan dipanggil atau ditanyakan. Berikut ini adalah strukturnya:

{
    "traceId": "string",
    "invocationType": "ACTION_GROUP | KNOWLEDGE_BASE | FINISH",
    "actionGroupInvocationInput": {
        // see below for details
    },
    "knowledgeBaseLookupInput": {
        "knowledgeBaseId": "string",
        "text": "string"
    }
}

Daftar berikut menjelaskan bidang InvocationInputobjek:

  • traceId— Pengidentifikasi unik dari jejak.

  • invocationType— Menentukan apakah agen memanggil kelompok tindakan atau basis pengetahuan, atau mengakhiri sesi.

  • actionGroupInvocationInput— Muncul jika type adaACTION_GROUP. Untuk informasi selengkapnya, lihat Membuat grup tindakan untuk agen Amazon Bedrock. Dapat menjadi salah satu struktur berikut:

    • Jika grup tindakan ditentukan oleh skema API, strukturnya adalah sebagai berikut:

      {
    "actionGroupName": "string",
    "apiPath": "string",
    "verb": "string",
    "parameters": [
        {
            "name": "string",
            "type": "string",
            "value": "string"
        },
        ...
    ],
    "request": {
        "content": {
            "<content-type>": [
                {
                    "name": "string",
                    "type": "string",
                    "value": "string"
                }   
            ]
        }
    }
}

      Berikut ini adalah deskripsi bidang:

      • actionGroupName— Nama kelompok aksi yang diprediksi agen harus dipanggil.

      • apiPath— Jalur ke operasi API untuk memanggil, sesuai dengan skema API.

      • verb— Metode API yang digunakan, sesuai dengan skema API.

      • parameters— Berisi daftar objek. Setiap objek berisi nama, jenis, dan nilai parameter dalam operasi API, seperti yang didefinisikan dalam skema API.

      • requestBody— Berisi isi isi permintaan dan propertinya, seperti yang didefinisikan dalam skema API.

    • Jika kelompok tindakan ditentukan oleh rincian fungsi, strukturnya adalah sebagai berikut:

      {
    "actionGroupName": "string",
    "function": "string",
    "parameters": [
        {
            "name": "string",
            "type": "string",
            "value": "string"
        },
        ...
    ]
}

      Berikut ini adalah deskripsi bidang:

      • actionGroupName— Nama kelompok aksi yang diprediksi agen harus dipanggil.

      • function— Nama fungsi yang diprediksi agen harus dipanggil.

      • parameters— Parameter fungsi.

  • knowledgeBaseLookupInput— Muncul jika type adaKNOWLEDGE_BASE. Untuk informasi selengkapnya, lihat Basis pengetahuan untuk Amazon Bedrock. Berisi informasi berikut tentang basis pengetahuan dan kueri pencarian untuk basis pengetahuan:

    • knowledgeBaseId— Pengidentifikasi unik dari basis pengetahuan yang akan dicari agen.

    • text— Permintaan yang akan dibuat ke basis pengetahuan.

Observation

Objek Observasi berisi hasil atau output dari kelompok tindakan atau basis pengetahuan, atau respons terhadap pengguna. Berikut ini adalah strukturnya:

{
    "traceId": "string",
    "type": "ACTION_GROUP | KNOWLEDGE_BASE | REPROMPT | ASK_USER | FINISH"
    "actionGroupInvocation": {
        "text": "JSON-formatted string"
    },
    "knowledgeBaseLookupOutput": {
        "retrievedReferences": [
            {
                "content": {
                    "text": "string"
                },
                "location": {
                    "type": "S3",
                    "s3Location": {
                        "uri": "string"
                    }
                }
            },
            ...
        ]
    },
    "repromptResponse": {
        "source": "ACTION_GROUP | KNOWLEDGE_BASE | PARSER",
        "text": "string"
    },
    "finalResponse": {
        "text"
    }
}

Daftar berikut menjelaskan bidang objek Observasi:

  • traceId— Pengidentifikasi unik dari jejak.

  • type— Menentukan apakah pengamatan agen dikembalikan dari hasil kelompok tindakan atau basis pengetahuan, jika agen meminta kembali pengguna, meminta informasi lebih lanjut, atau mengakhiri percakapan.

  • actionGroupInvocationOutput— Berisi string berformat JSON yang dikembalikan oleh operasi API yang dipanggil oleh grup tindakan. Muncul jika type adaACTION_GROUP. Untuk informasi selengkapnya, lihat Tentukan OpenAPI skema untuk grup tindakan agen Anda di Amazon Bedrock.

  • knowledgeBaseLookupOutput— Berisi teks yang diambil dari basis pengetahuan yang relevan untuk menanggapi prompt, di samping lokasi Amazon S3 dari sumber data. Muncul jika type adaKNOWLEDGE_BASE. Untuk informasi selengkapnya, lihat Basis pengetahuan untuk Amazon Bedrock. Setiap objek dalam daftar retrievedReferences berisi bidang-bidang berikut:

    • content— Berisi text dari basis pengetahuan yang dikembalikan dari kueri basis pengetahuan.

    • location— Berisi URI Amazon S3 dari sumber data tempat teks yang dikembalikan ditemukan.

  • repromptResponse— Muncul jika type adaREPROMPT. Berisi text yang meminta prompt lagi di source samping mengapa agen perlu reprompt.

  • finalResponse— Muncul jika type ada ASK_USER atauFINISH. Berisi text yang meminta pengguna untuk informasi lebih lanjut atau merupakan respons terhadap pengguna.

{
    "modelInvocationInput": { // see above for details }
    "modelInvocationOutput": {
        "parsedResponse": {
            "text": "string"
        },
        "traceId": "string"
    }
}

PostProcessingTraceTerdiri dari ModelInvocationInputobjek dan PostProcessingModelInvocationOutputobjek. PostProcessingModelInvocationOutputBerisi bidang-bidang berikut:

  • parsedResponse— Berisi text untuk kembali ke pengguna setelah teks diproses oleh fungsi parser.

  • traceId— Pengidentifikasi unik dari jejak.

{
    "failureReason": "string",
    "traceId": "string"
}

Daftar berikut menjelaskan bidang FailureTraceobjek:

  • failureReasonAlasan mengapa langkah itu gagal.

  • traceId— Pengidentifikasi unik dari jejak.

{
    "action": "GUARDRAIL_INTERVENED" | "NONE",
    "inputAssessments": [GuardrailAssessment],
    "outputAssessments": [GuardrailAssessment]
}

Daftar berikut menjelaskan bidang GuardrailAssessment objek:

  • action— menunjukkan apakah Guardrails mengintervensi atau tidak pada data input. Pilihannya adalah GUARDRAIL_INTERVENED atauNONE.

  • inputAssessments— Rincian penilaian Guardrail pada input pengguna.

  • outputAssessments— Rincian penilaian Guardrail pada tanggapan.

Untuk detail lebih lanjut tentang GuardrailAssessment objek dan menguji Pagar Pembatas, lihat. Uji pagar pembatas

GuardrailAssessment contoh:

{
    "topicPolicy": {
        "topics": [{
            "name": "string",
            "type": "string",
            "action": "string"
        }]
    },
    "contentPolicy": {
        "filters": [{
            "type": "string",
            "confidence": "string",
            "action": "string"
        }]
    },
    "wordPolicy": {
        "customWords": [{
            "match": "string",
            "action": "string"
        }],
        "managedWordLists": [{
            "match": "string",
            "type": "string",
            "action": "string"
        }]
    },
    "sensitiveInformationPolicy": {
        "piiEntities": [{
            "type": "string",
            "match": "string",
            "action": "string"
        }],
        "regexes": [{
            "name": "string",
            "regex": "string",
            "match": "string",
            "action": "string"
        }]
    }
}