Implantar um modelo personalizado

Você pode implantar um modelo personalizado com o console, a AWS Command Line Interface, ou os AWS SDKs do Amazon Bedrock. Para obter informações sobre o uso da implantação para inferência, consulte Use a deployment for on-demand inference.

Implantar um modelo personalizado (console)

Você implanta um modelo personalizado na página Modelos personalizados como se segue. Você também pode implantar um modelo na página Modelo personalizado sob demanda com os mesmos campos. Para encontrar essa página, em Inferência e avaliação no painel de navegação, escolha Modelo personalizado sob demanda.

Para implantar um modelo personalizado

1. Faça login no AWS Management Console usando um perfil do IAM com as permissões do Amazon Bedrock e abra o console do Amazon Bedrock em https://console.aws.amazon.com/nova/.

2. No painel de navegação à esquerda, escolha Modelos personalizados em Modelos de base.

3. Na guia Modelos, selecione o botão de opção do modelo que você deseja implantar.

4. Escolha Configurar inferência e Implantar para uso sob demanda.

5. Na página Detalhes da implantação, forneça as seguintes informações:

   • Nome da implantação (obrigatório): insira um nome exclusivo para a implantação.

   • Descrição (opcional): insira uma descrição para a implantação.

   • Tags (opcional): adicione tags para alocação de custos e gerenciamento de recursos.

6. Escolha Criar. Quando o status mostrar Completed, seu modelo personalizado estará pronto para inferência sob demanda. Para obter informações sobre o uso do modelo personalizado, consulte Use a deployment for on-demand inference.

Implantar modelo personalizado (AWS Command Line Interface)

Para implantar um modelo personalizado para inferência sob demanda usando a AWS Command Line Interface, use o comando create-custom-model-deployment com o nome do recurso da Amazon (ARN) do modelo personalizado. Esse comando usa a operação de API CreateCustomModelDeployment. Ele retorna o ARN da implantação que você pode usar como o modelId ao fazer solicitações de inferência. Para obter informações sobre o uso da implantação para inferência, consulte Use a deployment for on-demand inference.

aws bedrock create-custom-model-deployment \
--model-deployment-name "Unique name" \
--model-arn "Custom Model ARN" \
--description "Deployment description" \
--tags '[
    {
        "key": "Environment",
        "value": "Production"
    },
    {
        "key": "Team",
        "value": "ML-Engineering"
    },
    {
        "key": "Project",
        "value": "CustomerSupport"
    }
]' \
--client-request-token "unique-deployment-token" \
--region region

Implantar modelo personalizado (AWS SDKs)

Para implantar um modelo personalizado para inferência sob demanda, use a operação de API CreateCustomModelDeployment com o nome do recurso da Amazon (ARN) do modelo personalizado. Ela retorna o ARN da implantação que você pode usar como o modelId ao fazer solicitações de inferência. Para obter informações sobre o uso da implantação para inferência, consulte Use a deployment for on-demand inference.

O código a seguir mostra como usar o SDK para Python (Boto3) para implantar um modelo personalizado.

def create_custom_model_deployment(bedrock_client):
    """Create a custom model deployment
    Args:
        bedrock_client: A boto3 Bedrock client for making API calls
 
    Returns:
        str: The ARN of the created custom model deployment
 
    Raises:
        Exception: If there is an error creating the deployment
    """
 
    try:
        response = bedrock_client.create_custom_model_deployment(
            modelDeploymentName="Unique deployment name",
            modelArn="Custom Model ARN",
            description="Deployment description",
            tags=[
                {'key': 'Environment', 'value': 'Production'},
                {'key': 'Team', 'value': 'ML-Engineering'},
                {'key': 'Project', 'value': 'CustomerSupport'}
            ],
            clientRequestToken=f"deployment-{uuid.uuid4()}"
        )
 
        deployment_arn = response['customModelDeploymentArn']
        print(f"Deployment created: {deployment_arn}")
        return deployment_arn
 
    except Exception as e:
        print(f"Error creating deployment: {str(e)}")
        raise