Implementar un modelo personalizado

Puede implementar un modelo personalizado con la consola Amazon Bedrock AWS Command Line Interface, o AWS SDKs. Para obtener información sobre el uso de la implementación con fines de inferencia, consulte. Utilice una implementación para realizar inferencias bajo demanda

Implementación de un modelo personalizado (consola)

Puede implementar un modelo personalizado en la página Modelos personalizados de la siguiente manera. También puede implementar un modelo en la página Modelos personalizados bajo demanda con los mismos campos. Para encontrar esta página, en Inferir, en el panel de navegación, elija Modelo personalizado bajo demanda.

Para implementar un modelo

1. Inicie sesión en AWS Management Console con un director de IAM que tenga permisos para usar la consola Amazon Bedrock. A continuación, abra la consola Amazon Bedrock en https://console.aws.amazon.com/bedrock/.

2. En el panel de navegación de la izquierda, seleccione Modelos personalizados en Modelos fundacionales.

3. En la pestaña Modelos, elija el botón de opción correspondiente al modelo que desea implementar.

4. Elija Configurar inferencia y seleccione Implementar bajo demanda.

5. En Detalles de la implementación, indique la siguiente información.

   • Nombre de la implementación (obligatorio): introduzca un nombre único para la implementación.

   • Descripción (opcional): ingrese una descripción para la implementación.

   • Etiquetas (opcional): agregue etiquetas para la asignación de costos y la administración de recursos.

6. Seleccione Crear. Cuando se encuentre en el estado de la implementaciónActive, su modelo personalizado estará listo para su consulta bajo demanda. Para obtener más información sobre el uso del modelo personalizado, consulteUtilice una implementación para realizar inferencias bajo demanda.

Implementar un modelo personalizado (AWS Command Line Interface)

Para implementar un modelo personalizado para la inferencia bajo demanda mediante el AWS Command Line Interface, utilice el create-custom-model-deployment comando con el Amazon Resource Name (ARN) del modelo personalizado. Este comando utiliza la operación de la API CreateCustomModelDeployment. La respuesta incluye el ARN del despliegue. Cuando la implementación está activa, se utiliza este ARN como el que se utiliza para modelId realizar solicitudes de inferencia. Para obtener información sobre el uso de la implementación para la inferencia, consulte. Utilice una implementación para realizar inferencias bajo demanda

aws bedrock create-custom-model-deployment \
--model-deployment-name "Unique name" \
--model-arn "Custom Model ARN" \
--description "Deployment description" \
--tags '[
    {
        "key": "Environment",
        "value": "Production"
    },
    {
        "key": "Team",
        "value": "ML-Engineering"
    },
    {
        "key": "Project",
        "value": "CustomerSupport"
    }
]' \
--client-request-token "unique-deployment-token" \
--region region

Implementar un modelo personalizado (AWS SDKs)

Para implementar un modelo personalizado para la inferencia bajo demanda, utilice la operación de CreateCustomModelDeploymentAPI con el Amazon Resource Name (ARN) de su modelo personalizado. La respuesta incluye el ARN del despliegue. Cuando la implementación está activa, se utiliza este ARN como el que se utiliza para modelId realizar solicitudes de inferencia. Para obtener información sobre el uso de la implementación para la inferencia, consulte. Utilice una implementación para realizar inferencias bajo demanda

El código siguiente muestra cómo utilizar el SDK para Python (Boto3) para implementar un modelo personalizado.

def create_custom_model_deployment(bedrock_client):
    """Create a custom model deployment
    Args:
        bedrock_client: A boto3 Amazon Bedrock client for making API calls

    Returns:
        str: The ARN of the new custom model deployment

    Raises:
        Exception: If there is an error creating the deployment
    """

    try:
        response = bedrock_client.create_custom_model_deployment(
            modelDeploymentName="Unique deployment name",
            modelArn="Custom Model ARN",
            description="Deployment description",
            tags=[
                {'key': 'Environment', 'value': 'Production'},
                {'key': 'Team', 'value': 'ML-Engineering'},
                {'key': 'Project', 'value': 'CustomerSupport'}
            ],
            clientRequestToken=f"deployment-{uuid.uuid4()}"
        )

        deployment_arn = response['customModelDeploymentArn']
        print(f"Deployment created: {deployment_arn}")
        return deployment_arn

    except Exception as e:
        print(f"Error creating deployment: {str(e)}")
        raise