Jalankan contoh API permintaan Amazon Bedrock menggunakan notebook Amazon SageMaker

Bagian ini memandu Anda untuk mencoba beberapa operasi umum di Amazon Bedrock dengan SageMaker notebook Amazon untuk menguji apakah izin peran Amazon Bedrock Anda disiapkan dengan benar. Sebelum Anda menjalankan contoh berikut, Anda harus memeriksa apakah Anda telah memenuhi prasyarat berikut:

Prasyarat

• Anda memiliki sebuah Akun AWS dan memiliki izin untuk mengakses peran dengan izin yang diperlukan untuk Amazon Bedrock. Jika tidak, ikuti langkah-langkah diSaya sudah memiliki Akun AWS.

• Anda telah meminta akses ke Amazon Titan Text G1 - Express model. Jika tidak, ikuti langkah-langkah diMinta akses ke model fondasi Amazon Bedrock.

• Lakukan langkah-langkah berikut untuk menyiapkan IAM izin SageMaker dan membuat buku catatan:

  1. Ubah kebijakan kepercayaan peran Amazon Bedrock yang Anda atur Saya sudah memiliki Akun AWS melalui konsol, CLI, atau API. Lampirkan kebijakan kepercayaan berikut ke peran untuk memungkinkan Amazon Bedrock dan SageMaker layanan mengambil peran Amazon Bedrock:

     {
         "Version": "2012-10-17",
         "Statement": [
             {
                 "Sid": "BedrockTrust",
                 "Effect": "Allow",
                 "Principal": {
                     "Service": "bedrock.amazonaws.com"
                 },
                 "Action": "sts:AssumeRole"
             },
             {
                 "Sid": "SagemakerTrust",
                 "Effect": "Allow",
                 "Principal": {
                     "Service": "sagemaker.amazonaws.com"
                 },
                 "Action": "sts:AssumeRole"
             }
         ]
     }

  2. Masuk ke peran Amazon Bedrock yang kebijakan kepercayaannya baru saja Anda ubah.

  3. Ikuti langkah-langkah di Buat Instans SageMaker Notebook Amazon untuk tutorial dan tentukan peran Amazon Bedrock yang Anda buat untuk membuat instance SageMaker notebook. ARN

  4. Ketika Status instance notebook adalah InService, pilih instance dan kemudian pilih Buka JupyterLab.

Setelah Anda membuka SageMaker buku catatan Anda, Anda dapat mencoba contoh-contoh berikut:

Buat daftar model fondasi yang ditawarkan Amazon Bedrock

Contoh berikut menjalankan ListFoundationModelsoperasi menggunakan klien Amazon Bedrock. ListFoundationModelsdaftar model foundation (FMs) yang tersedia di Amazon Bedrock di wilayah Anda. Jalankan skrip Python berikut SDK ini untuk membuat klien Amazon Bedrock dan menguji operasinya: ListFoundationModels

# Use the ListFoundationModels API to show the models that are available in your region.
import boto3
             
# Create an &BR; client in the &region-us-east-1; Region.
bedrock = boto3.client(
    service_name="bedrock"
)

bedrock.list_foundation_models()

Jika skrip berhasil, respons mengembalikan daftar model dasar yang tersedia di Amazon Bedrock.

Kirim prompt teks ke model dan hasilkan respons

Contoh berikut menjalankan operasi Converse menggunakan klien Amazon Bedrock. Conversememungkinkan Anda mengirimkan prompt untuk menghasilkan respons model. Jalankan skrip Python berikut SDK ini untuk membuat klien runtime Amazon Bedrock dan menguji operasi Converse:

# Use the Conversation API to send a text message to Amazon Titan Text G1 - Express.

import boto3
from botocore.exceptions import ClientError

# Create an Amazon Bedrock Runtime client.
brt = boto3.client("bedrock-runtime")

# Set the model ID, e.g., Amazon Titan Text G1 - Express.
model_id = "amazon.titan-text-express-v1"

# Start a conversation with the user message.
user_message = "Describe the purpose of a 'hello world' program in one line."
conversation = [
    {
        "role": "user",
        "content": [{"text": user_message}],
    }
]

try:
    # Send the message to the model, using a basic inference configuration.
    response = brt.converse(
        modelId=model_id,
        messages=conversation,
        inferenceConfig={"maxTokens": 512, "temperature": 0.5, "topP": 0.9},
    )

    # Extract and print the response text.
    response_text = response["output"]["message"]["content"][0]["text"]
    print(response_text)

except (ClientError, Exception) as e:
    print(f"ERROR: Can't invoke '{model_id}'. Reason: {e}")
    exit(1)

Jika perintah berhasil, respons mengembalikan teks yang dihasilkan oleh model sebagai respons terhadap prompt.