Menerapkan model kustom

Anda dapat menerapkan model kustom dengan konsol Amazon Bedrock, AWS Command Line Interface, atau. AWS SDKs Untuk informasi tentang penggunaan penerapan untuk inferensi, lihat Menggunakan penerapan untuk inferensi sesuai permintaan.

Menerapkan model khusus (konsol)

Anda menerapkan model kustom dari halaman Model kustom sebagai berikut. Anda juga dapat menerapkan model dari halaman sesuai permintaan model Kustom dengan bidang yang sama. Untuk menemukan halaman ini, di Inferensi dan Penilaian di panel navigasi, pilih Model khusus sesuai permintaan.

Untuk menerapkan model kustom

1. Masuk ke AWS Management Console menggunakan peran IAM dengan izin Amazon Bedrock, dan buka konsol Amazon Bedrock di. https://console.aws.amazon.com/nova/

2. Dari panel navigasi kiri, pilih Model khusus di bawah model Foundation.

3. Di tab Model, pilih tombol radio untuk model yang ingin Anda terapkan.

4. Pilih Siapkan inferensi dan pilih Terapkan sesuai permintaan.

5. Dalam rincian Deployment, berikan informasi berikut:

   • Nama Deployment (wajib) - Masukkan nama unik untuk penerapan Anda.

   • Deskripsi (opsional) — Masukkan deskripsi untuk penyebaran Anda.

   • Tag (opsional) - Tambahkan tag untuk alokasi biaya dan manajemen sumber daya.

6. Pilih Buat. Saat status ditampilkanCompleted, model kustom Anda siap untuk inferensi sesuai permintaan. Untuk informasi selengkapnya tentang penggunaan model kustom, lihat Menggunakan penerapan untuk inferensi sesuai permintaan.

Menerapkan model kustom ()AWS Command Line Interface

Untuk menerapkan model kustom untuk inferensi sesuai permintaan menggunakan AWS Command Line Interface, gunakan create-custom-model-deployment perintah dengan Amazon Resource Name (ARN) model kustom Anda. Perintah ini menggunakan operasi CreateCustomModelDeploymentAPI. Ini mengembalikan ARN penerapan yang dapat Anda gunakan sebagai saat membuat permintaan modelId inferensi. Untuk informasi tentang penggunaan penerapan untuk inferensi, lihat Menggunakan penerapan untuk inferensi sesuai permintaan.

aws bedrock create-custom-model-deployment \
--model-deployment-name "Unique name" \
--model-arn "Custom Model ARN" \
--description "Deployment description" \
--tags '[
    {
        "key": "Environment",
        "value": "Production"
    },
    {
        "key": "Team",
        "value": "ML-Engineering"
    },
    {
        "key": "Project",
        "value": "CustomerSupport"
    }
]' \
--client-request-token "unique-deployment-token" \
--region region

Menerapkan model kustom ()AWS SDKs

Untuk menerapkan model kustom untuk inferensi sesuai permintaan, gunakan operasi CreateCustomModelDeploymentAPI dengan Amazon Resource Name (ARN) model kustom Anda. Respons mengembalikan ARN penerapan yang dapat Anda gunakan sebagai saat membuat permintaan modelId inferensi. Untuk informasi tentang penggunaan penerapan untuk inferensi, lihat Menggunakan penerapan untuk inferensi sesuai permintaan.

Kode berikut menunjukkan cara menggunakan SDK for Python (Boto3) untuk menyebarkan model kustom.

def create_custom_model_deployment(bedrock_client):
    """Create a custom model deployment
    Args:
        bedrock_client: A boto3 Bedrock client for making API calls
 
    Returns:
        str: The ARN of the created custom model deployment
 
    Raises:
        Exception: If there is an error creating the deployment
    """
 
    try:
        response = bedrock_client.create_custom_model_deployment(
            modelDeploymentName="Unique deployment name",
            modelArn="Custom Model ARN",
            description="Deployment description",
            tags=[
                {'key': 'Environment', 'value': 'Production'},
                {'key': 'Team', 'value': 'ML-Engineering'},
                {'key': 'Project', 'value': 'CustomerSupport'}
            ],
            clientRequestToken=f"deployment-{uuid.uuid4()}"
        )
 
        deployment_arn = response['customModelDeploymentArn']
        print(f"Deployment created: {deployment_arn}")
        return deployment_arn
 
    except Exception as e:
        print(f"Error creating deployment: {str(e)}")
        raise