Implementa un modello personalizzato

Puoi implementare un modello personalizzato con la console Amazon Bedrock AWS Command Line Interface, oppure. AWS SDKs Per informazioni sull'utilizzo della distribuzione per l'inferenza, consulta Utilizzare una distribuzione per l'inferenza su richiesta.

Implementa un modello personalizzato (console)

È possibile distribuire un modello personalizzato dalla pagina Modelli personalizzati nel modo seguente. È inoltre possibile distribuire un modello dalla pagina Custom model on-demand con gli stessi campi. Per trovare questa pagina, in Inferenza e valutazione nel pannello di navigazione, scegli Modello personalizzato su richiesta.

Per distribuire un modello personalizzato

1. Accedi all' AWS Management Console utilizzo di un ruolo IAM con autorizzazioni Amazon Bedrock e apri la console Amazon Bedrock all'indirizzo. https://console.aws.amazon.com/nova/

2. Dal riquadro di navigazione a sinistra, scegli Modelli personalizzati in Modelli Foundation.

3. Nella scheda Modelli, scegli il pulsante di opzione relativo al modello che desideri distribuire.

4. Scegli Imposta inferenza e scegli Deploy for on-demand.

5. Nei dettagli della distribuzione, fornisci le seguenti informazioni:

   • Nome di distribuzione (obbligatorio): inserisci un nome univoco per la distribuzione.

   • Descrizione (opzionale): inserisci una descrizione per la distribuzione.

   • Tag (opzionale): aggiungi tag per l'allocazione dei costi e la gestione delle risorse.

6. Scegli Create (Crea). Quando lo stato viene visualizzatoCompleted, il modello personalizzato è pronto per l'inferenza su richiesta. Per ulteriori informazioni sull'utilizzo del modello personalizzato, consulta Utilizzare una distribuzione per l'inferenza su richiesta.

Distribuisci un modello personalizzato ()AWS Command Line Interface

Per distribuire un modello personalizzato per l'inferenza su richiesta utilizzando il AWS Command Line Interface, usa il create-custom-model-deployment comando con Amazon Resource Name (ARN) del tuo modello personalizzato. Questo comando utilizza l'operazione API. CreateCustomModelDeployment Restituisce l'ARN della distribuzione che puoi usare come modelId quando effettui richieste di inferenza. Per informazioni sull'utilizzo della distribuzione per l'inferenza, consulta Utilizzare una distribuzione per l'inferenza su richiesta.

aws bedrock create-custom-model-deployment \
--model-deployment-name "Unique name" \
--model-arn "Custom Model ARN" \
--description "Deployment description" \
--tags '[
    {
        "key": "Environment",
        "value": "Production"
    },
    {
        "key": "Team",
        "value": "ML-Engineering"
    },
    {
        "key": "Project",
        "value": "CustomerSupport"
    }
]' \
--client-request-token "unique-deployment-token" \
--region region

Distribuisci un modello personalizzato ()AWS SDKs

Per implementare un modello personalizzato per l'inferenza su richiesta, utilizza l'operazione CreateCustomModelDeploymentAPI con Amazon Resource Name (ARN) del tuo modello personalizzato. La risposta restituisce l'ARN della distribuzione che puoi usare come modelId quando effettui richieste di inferenza. Per informazioni sull'utilizzo della distribuzione per l'inferenza, consulta Utilizzare una distribuzione per l'inferenza su richiesta.

Il codice seguente mostra come utilizzare l'SDK for Python (Boto3) per distribuire un modello personalizzato.

def create_custom_model_deployment(bedrock_client):
    """Create a custom model deployment
    Args:
        bedrock_client: A boto3 Bedrock client for making API calls
 
    Returns:
        str: The ARN of the created custom model deployment
 
    Raises:
        Exception: If there is an error creating the deployment
    """
 
    try:
        response = bedrock_client.create_custom_model_deployment(
            modelDeploymentName="Unique deployment name",
            modelArn="Custom Model ARN",
            description="Deployment description",
            tags=[
                {'key': 'Environment', 'value': 'Production'},
                {'key': 'Team', 'value': 'ML-Engineering'},
                {'key': 'Project', 'value': 'CustomerSupport'}
            ],
            clientRequestToken=f"deployment-{uuid.uuid4()}"
        )
 
        deployment_arn = response['customModelDeploymentArn']
        print(f"Deployment created: {deployment_arn}")
        return deployment_arn
 
    except Exception as e:
        print(f"Error creating deployment: {str(e)}")
        raise