Gunakan Throughput yang Disediakan

Setelah Anda membeli Provisioned Throughput, Anda dapat menggunakannya dengan fitur-fitur berikut untuk meningkatkan throughput Anda:

• Inferensi model — Anda dapat menguji Throughput yang Disediakan di taman bermain konsol Amazon Bedrock. Ketika Anda siap untuk menerapkan Provisioned Throughput, Anda menyiapkan aplikasi Anda untuk memanggil model yang disediakan. Pilih tab yang sesuai dengan metode pilihan Anda dan ikuti langkah-langkahnya.

  Console

  Untuk menggunakan Throughput yang Disediakan di taman bermain konsol Amazon Bedrock

  1. Masuk ke AWS Management Console menggunakan peran IAM dengan izin Amazon Bedrock, dan buka konsol Amazon Bedrock di https://console.aws.amazon.com/bedrock/.

  2. Dari panel navigasi kiri, pilih Obrolan, Teks, atau Gambar di bawah Taman Bermain, tergantung kasus penggunaan Anda.

  3. Pilih Pilih model.

  4. Dalam 1. Kolom kategori, pilih penyedia atau kategori model kustom. Kemudian, di 2. Kolom model, pilih model yang dikaitkan dengan Provisioned Throughput Anda.

  5. Dalam 3. Kolom Throughput, pilih Provisioned Throughput Anda.

  6. Pilih Terapkan.

  Untuk mempelajari cara menggunakan taman bermain Amazon Bedrock, lihat. Taman bermain

  API

  Untuk menjalankan inferensi menggunakan Throughput yang Disediakan, kirim InvokeModelatau InvokeModelWithResponseStreampermintaan (lihat tautan untuk format permintaan dan respons serta detail bidang) dengan titik akhir waktu proses Amazon Bedrock. Tentukan model ARN yang disediakan sebagai parameter. modelId Untuk melihat persyaratan untuk badan permintaan untuk model yang berbeda, lihatParameter inferensi untuk model pondasi.

  Lihat contoh kode

• Mengaitkan Throughput yang Disediakan dengan alias agen — Anda dapat mengaitkan Throughput yang Disediakan saat membuat atau memperbarui alias agen. Di konsol Amazon Bedrock, Anda memilih Throughput yang Disediakan saat menyiapkan alias atau mengeditnya. Di Amazon Bedrock API, Anda menentukan provisionedThroughput di routingConfiguration saat Anda mengirim permintaan CreateAgentAliasor UpdateAgentAlias;.