Crear una configuración de punto de conexión

Cuando tenga un modelo, cree una configuración de punto de conexión con CreateEndpointConfig. Los servicios SageMaker de alojamiento de Amazon utilizan esta configuración para implementar modelos. En la configuración, identificas uno o más modelos, creados con CreateModel, para implementar los recursos que deseas que Amazon SageMaker aprovisione. Especifique el objeto AsyncInferenceConfig y proporcione una ubicación de Amazon S3 de salida para OutputConfig. Si lo desea, puede especificar SNS los temas de Amazon a los que enviar notificaciones sobre los resultados de las predicciones. Para obtener más información sobre SNS los temas de Amazon, consulte Configuración de Amazon SNS.

En el siguiente ejemplo se muestra cómo crear una configuración del punto de conexión mediante AWS SDK for Python (Boto3):

import datetime
from time import gmtime, strftime

# Create an endpoint config name. Here we create one based on the date  
# so it we can search endpoints based on creation time.
endpoint_config_name = f"XGBoostEndpointConfig-{strftime('%Y-%m-%d-%H-%M-%S', gmtime())}"

# The name of the model that you want to host. This is the name that you specified when creating the model.
model_name='<The_name_of_your_model>'

create_endpoint_config_response = sagemaker_client.create_endpoint_config(
    EndpointConfigName=endpoint_config_name, # You will specify this name in a CreateEndpoint request.
    # List of ProductionVariant objects, one for each model that you want to host at this endpoint.
    ProductionVariants=[
        {
            "VariantName": "variant1", # The name of the production variant.
            "ModelName": model_name, 
            "InstanceType": "ml.m5.xlarge", # Specify the compute instance type.
            "InitialInstanceCount": 1 # Number of instances to launch initially.
        }
    ],
    AsyncInferenceConfig={
        "OutputConfig": {
            # Location to upload response outputs when no location is provided in the request.
            "S3OutputPath": f"s3://{s3_bucket}/{bucket_prefix}/output"
            # (Optional) specify Amazon SNS topics
            "NotificationConfig": {
                "SuccessTopic": "arn:aws:sns:aws-region:account-id:topic-name",
                "ErrorTopic": "arn:aws:sns:aws-region:account-id:topic-name",
            }
        },
        "ClientConfig": {
            # (Optional) Specify the max number of inflight invocations per instance
            # If no value is provided, Amazon SageMaker will choose an optimal value for you
            "MaxConcurrentInvocationsPerInstance": 4
        }
    }
)

print(f"Created EndpointConfig: {create_endpoint_config_response['EndpointConfigArn']}")

En el ejemplo mencionado anteriormente, se especifican las siguientes claves para OutputConfig en el campo AsyncInferenceConfig:

• S3OutputPath: ubicación para cargar los resultados de la respuesta cuando no se proporciona ninguna ubicación en la solicitud.

• NotificationConfig: (Opcional) SNS temas que le envían notificaciones cuando una solicitud de inferencia es exitosa (SuccessTopic) o si falla (ErrorTopic).

También puede especificar el siguiente argumento opcional para ClientConfig en el campo AsyncInferenceConfig:

• MaxConcurrentInvocationsPerInstance: (Opcional) El número máximo de solicitudes simultáneas enviadas por el SageMaker cliente al contenedor modelo.