Stellen Sie ein benutzerdefiniertes Modell bereit

Sie können ein benutzerdefiniertes Modell mit der Amazon Bedrock-Konsole, AWS Command Line Interface, oder AWS SDKs bereitstellen. Informationen zur Verwendung der Bereitstellung für Inferenzen finden Sie unter Verwenden einer Bereitstellung für On-Demand-Inferenz.

Stellen Sie ein benutzerdefiniertes Modell (Konsole) bereit

Sie stellen ein benutzerdefiniertes Modell auf der Seite Benutzerdefinierte Modelle wie folgt bereit. Sie können ein Modell auch über die On-Demand-Seite Benutzerdefiniertes Modell mit denselben Feldern bereitstellen. Um diese Seite zu finden, wählen Sie im Navigationsbereich unter Inference and Assessment die Option Benutzerdefiniertes Modell auf Anfrage aus.

Um ein benutzerdefiniertes Modell bereitzustellen

1. Melden Sie sich bei der Rolle AWS Management Console Using an IAM mit Amazon Bedrock-Berechtigungen an und öffnen Sie die Amazon Bedrock-Konsole unter. https://console.aws.amazon.com/nova/

2. Wählen Sie im linken Navigationsbereich unter Foundation-Modelle die Option Benutzerdefinierte Modelle aus.

3. Wählen Sie auf der Registerkarte Modelle das Optionsfeld für das Modell aus, das Sie bereitstellen möchten.

4. Wählen Sie „Inferenz einrichten“ und anschließend „Für On-Demand bereitstellen“ aus.

5. Geben Sie unter Bereitstellungsdetails die folgenden Informationen ein:

   • Bereitstellungsname (erforderlich) — Geben Sie einen eindeutigen Namen für Ihre Bereitstellung ein.

   • Beschreibung (optional) — Geben Sie eine Beschreibung für Ihre Bereitstellung ein.

   • Tags (optional) — Fügen Sie Tags für die Kostenzuweisung und das Ressourcenmanagement hinzu.

6. Wählen Sie Erstellen aus. Wenn der Status angezeigt wirdCompleted, ist Ihr benutzerdefiniertes Modell bereit für On-Demand-Inferenzen. Weitere Informationen zur Verwendung des benutzerdefinierten Modells finden Sie unter Verwenden einer Bereitstellung für On-Demand-Inferenz.

Stellen Sie ein benutzerdefiniertes Modell bereit ()AWS Command Line Interface

Um ein benutzerdefiniertes Modell für On-Demand-Inferenzen mithilfe von bereitzustellen AWS Command Line Interface, verwenden Sie den create-custom-model-deployment Befehl mit dem Amazon-Ressourcennamen (ARN) Ihres benutzerdefinierten Modells. Dieser Befehl verwendet die CreateCustomModelDeploymentAPI-Operation. Es gibt den ARN der Bereitstellung zurück, den Sie modelId bei Inferenzanfragen verwenden können. Informationen zur Verwendung des Deployments für Inferenzen finden Sie unter Verwenden eines Deployments für On-Demand-Inferenz.

aws bedrock create-custom-model-deployment \
--model-deployment-name "Unique name" \
--model-arn "Custom Model ARN" \
--description "Deployment description" \
--tags '[
    {
        "key": "Environment",
        "value": "Production"
    },
    {
        "key": "Team",
        "value": "ML-Engineering"
    },
    {
        "key": "Project",
        "value": "CustomerSupport"
    }
]' \
--client-request-token "unique-deployment-token" \
--region region

Stellen Sie ein benutzerdefiniertes Modell bereit ()AWS SDKs

Um ein benutzerdefiniertes Modell für On-Demand-Inferenzen bereitzustellen, verwenden Sie den CreateCustomModelDeploymentAPI-Vorgang mit dem Amazon-Ressourcennamen (ARN) Ihres benutzerdefinierten Modells. Die Antwort gibt den ARN der Bereitstellung zurück, den Sie modelId bei Inferenzanfragen verwenden können. Informationen zur Verwendung der Bereitstellung für Inferenzen finden Sie unter Verwenden einer Bereitstellung für On-Demand-Inferenz.

Der folgende Code zeigt, wie Sie das SDK for Python (Boto3) verwenden, um ein benutzerdefiniertes Modell bereitzustellen.

def create_custom_model_deployment(bedrock_client):
    """Create a custom model deployment
    Args:
        bedrock_client: A boto3 Bedrock client for making API calls
 
    Returns:
        str: The ARN of the created custom model deployment
 
    Raises:
        Exception: If there is an error creating the deployment
    """
 
    try:
        response = bedrock_client.create_custom_model_deployment(
            modelDeploymentName="Unique deployment name",
            modelArn="Custom Model ARN",
            description="Deployment description",
            tags=[
                {'key': 'Environment', 'value': 'Production'},
                {'key': 'Team', 'value': 'ML-Engineering'},
                {'key': 'Project', 'value': 'CustomerSupport'}
            ],
            clientRequestToken=f"deployment-{uuid.uuid4()}"
        )
 
        deployment_arn = response['customModelDeploymentArn']
        print(f"Deployment created: {deployment_arn}")
        return deployment_arn
 
    except Exception as e:
        print(f"Error creating deployment: {str(e)}")
        raise