Sesuaikan perilaku Amazon Bedrock Agent Anda dengan orkestrasi khusus

Amazon Bedrock memberi Anda opsi untuk menyesuaikan strategi orkestrasi agen Anda. Orkestrasi khusus memberi Anda kendali penuh tentang bagaimana Anda ingin agen Anda menangani tugas multi-langkah, membuat keputusan, dan menjalankan alur kerja.

Dengan orkestrasi khusus, Anda dapat membangun Agen Bedrock Amazon yang dapat menerapkan logika orkestrasi yang khusus untuk kasus penggunaan Anda. Ini termasuk alur kerja orkestrasi yang kompleks, langkah verifikasi, atau proses multi-langkah di mana agen harus melakukan beberapa tindakan sebelum sampai pada jawaban akhir.

Untuk menggunakan orkestrasi khusus untuk agen Anda, buat fungsi AWS Lambda yang menguraikan logika orkestrasi Anda. Fungsi mengontrol bagaimana agen merespons input dengan memberikan instruksi ke proses runtime Bedrock tentang kapan dan bagaimana memanggil model, kapan harus memanggil alat tindakan, dan kemudian menentukan respons akhir.

Opsi orkestrasi khusus tersedia di semua Wilayah AWS di mana Agen Bedrock Amazon tersedia.

Anda dapat mengonfigurasi orkestrasi kustom baik di AWS Management Console atau melalui API. Sebelum Anda melanjutkan, pastikan bahwa Anda memiliki AWS Lambda fungsi Anda siap untuk pengujian.

Console

Di konsol, Anda dapat mengonfigurasi orkestrasi khusus setelah Anda membuat agen. Anda mengonfigurasinya saat mengedit agen.

Untuk melihat atau mengedit orkestrasi khusus untuk agen Anda

1. Masuk ke AWS Management Console menggunakan peran IAM dengan izin Amazon Bedrock, dan buka konsol Amazon Bedrock di. https://console.aws.amazon.com/bedrock/

2. Di panel navigasi kiri, pilih Agen. Kemudian pilih agen di bagian Agen.

3. Pada halaman detail agen, di bagian Draf kerja, pilih Draf kerja.

4. Pada halaman Draf kerja, di bagian Strategi orkestrasi, pilih Edit.

5. Pada halaman Strategi orkestrasi, di bagian Detail strategi orkestrasi, pilih Orkestrasi khusus.

6. Untuk fungsi Lambda orkestrasi khusus, pilih fungsi Lambda dari menu tarik-turun dan untuk versi Fungsi, pilih versinya.

7. Untuk mengizinkan agen menggunakan templat saat menghasilkan respons, aktifkan Aktifkan templat. Jika konfigurasi ini dimatikan, agen tidak menggunakan template.

8. Spanduk hijau muncul di bagian atas halaman yang menunjukkan bahwa perubahan telah berhasil disimpan.

9. Untuk menyimpan pengaturan Anda, pilih salah satu opsi berikut:

   1. Untuk tetap berada di jendela yang sama sehingga Anda dapat mengubah AWS Lambda fungsi secara dinamis saat menguji agen Anda yang diperbarui, pilih Simpan.

   2. Untuk menyimpan pengaturan Anda dan kembali ke halaman Draf kerja, pilih Simpan dan keluar.

10. Untuk menguji orkestrasi khusus agen Anda, pilih Siapkan di jendela Uji.

API

Untuk mengonfigurasi orkestrasi kustom menggunakan operasi API, kirim UpdateAgentpermintaan (lihat tautan untuk format permintaan dan respons serta detail bidang) dengan titik akhir waktu pembuatan Agen untuk Amazon Bedrock. Tentukan objek sebagai. orchestrationType CUSTOM_ORCHESTRATION

Contoh muatan orkestrasi di React

Berikut ini adalah contoh reaksi yang menunjukkan rantai orkestrasi pemikiran. Dalam contoh ini, setelah setiap langkah agen Amazon Bedrock meminta model untuk memprediksi tindakan selanjutnya. Perhatikan bahwa keadaan pertama dari percakapan apa pun selaluSTART. Peristiwa adalah respons yang dikirimkan fungsi sebagai respons terhadap agen Amazon Bedrock.

function react_chain_of_thought_orchestration(event) {
                    const incomingState = event.state;
                    
                    let payloadData = '';
                    let responseEvent = '';
                    let responseTrace = '';
                    let responseAttribution = '';
                    
                    if (incomingState == 'START') {
                        // 1. Invoke model in start
                        responseEvent = 'INVOKE_MODEL';
                        payloadData = JSON.stringify(intermediatePayload(event));
                    }
                    else if (incomingState == 'MODEL_INVOKED') {
                       const stopReason = modelInvocationStopReason(event);
                       if (stopReason == "tool_use") {
                           // 2.a. If invoke model predicts tool call, then we send INVOKE_TOOL event
                           responseEvent = 'INVOKE_TOOL';
                              payloadData = toolUsePayload(event);
                    } 
                    else if (stopReason == "end_turn") {
                         // 2.b. If invoke model predicts an end turn, then we send FINISH event
                         responseEvent = 'FINISH';
                         payloadData = getEndTurnPayload(event);
                      }
                    }
                    else if (incomingState == 'TOOL_INVOKED') {
                        // 3. After a tool invocation, we again ask LLM to predict what should be the next step
                        responseEvent = 'INVOKE_MODEL';
                        payloadData = intermediatePayload(event);
                    } 
                    else {
                       // Invalid incoming state
                       throw new Error('Invalid state provided!');
                    }
                    
                       // 4. Create the final payload to send back to BedrockAgent
                       const payload = createPayload(payloadData, responseEvent, responseTrace, ...);
                       return JSON.stringify(payload);
                    }  
                

Contoh muatan orkestrasi di Lambda

Contoh berikut menunjukkan rantai orkestrasi pemikiran. Dalam contoh ini, setelah setiap langkah agen Amazon Bedrock meminta model untuk memprediksi tindakan selanjutnya. Perhatikan bahwa keadaan pertama dari percakapan apa pun selaluSTART. Peristiwa adalah respons yang dikirimkan fungsi sebagai respons terhadap agen Amazon Bedrock.

Struktur Payload untuk orkestrasi Lambda

{
    "version": "1.0",
    "state": "START | MODEL_INVOKED | TOOL_INVOKED | APPLY_GUARDRAIL_INVOKED | user-defined",
    "input": {
        "text": "user-provided text or tool results in converse format"
    },
    "context": {
        "requestId": "invoke agent request id",
        "sessionId": "invoke agent session id",
        "agentConfiguration": {
            "instruction": "agent instruction>,
            "defaultModelId": "agent default model id",
            "tools": [{
                    "toolSpec": {...} 
                }
                ...
            ],
            "guardrails": {
                "version": "guardrail version",
                "identifier": "guardrail identifier"
            }
        },
        "session": [{
            "agentInput": "input utterance provided in invokeAgent",
            "agentOutput": "output response from invokeAgent",
            "intermediarySteps": [{
                "orchestrationInput": {
                    "state": "START | MODEL_INVOKED | TOOL_INVOKED | APPLY_GUARDRAIL_INVOKED | user defined",
                    "text": "..."
                },
                "orchestrationOutput": {
                    "event": "INVOKE_MODEL | INVOKE_TOOL | APPLY_GUARDRAIL | FINISH | user defined",
                    "text": "Converse API request or text"
                }
            }]
        }],
        "sessionAttributes": {
            key value pairs
        },
        "promptSessionAttributes": {
            key value pairs
        }
    }
}

Struktur muatan dari orkestrasi lambda

{
    "version": "1.0",
    "actionEvent": "INVOKE_MODEL | INVOKE_TOOL | APPLY_GUARDRAIL | FINISH | user defined",
    "output": {
        "text": "Converse API request for INVOKE_MODEL, INVOKE_TOOL, APPLY_GUARDRAIL or text for FINISH",
        "trace": {
            "event": {
                "text": "Trace message to emit as event in InvokeAgent response"
            }
        }
    },
    "context": {
        "sessionAttributes": {
            key value pairs
        },
        "promptSessionAttributes": {
            key value pairs
        }
    }
}

Contoh START_STATE yang dikirim dari Amazon Bedrock Agents ke orkestrator Lambda

{
    "version": "1.0",
    "state": "START",
    "input": {
        "text": "{\"text\":\"invoke agent input text\"}"
    },
    "context": {
        ...
    }
}

Sebagai tanggapan jika orkestrasi Lambda memutuskan untuk mengirim respons INVOKE_MODEL EVENT, mungkin terlihat mirip dengan yang berikut:

{
    "version": "1.0",
    "actionEvent": "INVOKE_MODEL",
    "output": {
        "text": "converse API request",
        "trace": {
            "event": {
                "text": "debug trace text"
            }
        }
    },
    "context": {}
}

Contoh dari INVOKE_TOOL_EVENT menggunakan Converse API

{
    "version": "1.0",
    "actionEvent": "INVOKE_TOOL",
    "output": {
        "text": "{\"toolUse\":{\"toolUseId\":\"unique id\",\"name\":\"tool name\",\"input\":{}}}"
    }
}