Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Distribuisci un modello compilato utilizzando SDK SageMaker
È necessario soddisfare la sezione dei prerequisiti se il modello è stato compilato utilizzando AWS SDK for Python (Boto3) o la SageMaker console Amazon. AWS CLI Segui uno dei seguenti casi d'uso per distribuire un modello compilato con SageMaker Neo in base a come hai compilato il tuo modello.
Argomenti
Se hai compilato il modello utilizzando l'SDK SageMaker
L'handle di oggetto sagemaker.Modelml_c5
predictor = compiled_model.deploy(initial_instance_count = 1, instance_type = 'ml.c5.4xlarge') # Print the name of newly created endpoint print(predictor.endpoint_name)
Se avete compilato il modello utilizzando MXNet o PyTorch
Create il SageMaker modello e distribuitelo utilizzando l'API deploy () nelle API Model specifiche del framework. Per MXNet, è MX NetModelMMS_DEFAULT_RESPONSE_TIMEOUT
ambiente su 500
e specificare il entry_point
parametro come script di inferenza (inference.py
) e il source_dir
parametro come posizione della directory (code
) dello script di inferenza. Per preparare lo script di inferenza (inference.py
), segui il passaggio Prerequisiti.
L'esempio seguente mostra come utilizzare queste funzioni per distribuire un modello compilato utilizzando l' SageMaker SDK per Python:
Nota
Le policy AmazonSageMakerFullAccess
e AmazonS3ReadOnlyAccess
devono essere associate al ruolo IAM di AmazonSageMaker-ExecutionRole
.
Se hai compilato il tuo modello utilizzando Boto3, SageMaker console o la CLI per TensorFlow
Costruisci un oggetto TensorFlowModel
, quindi richiama deploy:
role='AmazonSageMaker-ExecutionRole' model_path=
'S3 path for model file'
framework_image='inference container arn'
tf_model = TensorFlowModel(model_data=model_path, framework_version='1.15.3', role=role, image_uri=framework_image) instance_type='ml.c5.xlarge' predictor = tf_model.deploy(instance_type=instance_type, initial_instance_count=1)
Per ulteriori informazioni, consulta Distribuzione diretta da artefatti del modello
Da questo elenco puoi selezionare un'immagine Docker (URI Amazon ECR) che soddisfi le tue esigenze.
Per ulteriori informazioni su come costruire un TensorFlowModel
oggetto, consulta l'SDK. SageMaker
Nota
La tua prima richiesta di inferenza potrebbe avere una latenza elevata se distribuisci il modello su una GPU. Questo perché alla prima richiesta di inferenza viene creato un kernel di calcolo ottimizzato. Ti consigliamo di creare un file di riscaldamento delle richieste di inferenza e di archiviarlo insieme al file di modello prima di inviarlo a un TFX. Questo processo è noto come “riscaldamento” del modello.
Il seguente frammento di codice mostra come produrre il file di riscaldamento per l'esempio di classificazione delle immagini nella sezione dei prerequisiti:
import tensorflow as tf from tensorflow_serving.apis import classification_pb2 from tensorflow_serving.apis import inference_pb2 from tensorflow_serving.apis import model_pb2 from tensorflow_serving.apis import predict_pb2 from tensorflow_serving.apis import prediction_log_pb2 from tensorflow_serving.apis import regression_pb2 import numpy as np with tf.python_io.TFRecordWriter("tf_serving_warmup_requests") as writer: img = np.random.uniform(0, 1, size=[224, 224, 3]).astype(np.float32) img = np.expand_dims(img, axis=0) test_data = np.repeat(img, 1, axis=0) request = predict_pb2.PredictRequest() request.model_spec.name = 'compiled_models' request.model_spec.signature_name = 'serving_default' request.inputs['Placeholder:0'].CopyFrom(tf.compat.v1.make_tensor_proto(test_data, shape=test_data.shape, dtype=tf.float32)) log = prediction_log_pb2.PredictionLog( predict_log=prediction_log_pb2.PredictLog(request=request)) writer.write(log.SerializeToString())
Per ulteriori informazioni su come «riscaldare» il modello, consulta la pagina TensorFlow TFX