Come creare un endpoint di inferenza asincrona

Crea un endpoint asincrono nello stesso modo in cui creeresti un endpoint utilizzando i servizi di hosting AI: SageMaker

• Crea un modello in AI con. SageMaker CreateModel

• Crea una configurazione endpoint con CreateEndpointConfig.

• Crea un endpoint HTTPS con CreateEndpoint.

Per creare un endpoint, devi prima creare un modello con CreateModel, in cui punti all'artefatto del modello e a un percorso di registro Docker (immagine). Quindi crei una configurazione specificando uno o più modelli creati utilizzando l'CreateModelAPI per la distribuzione e le risorse di cui desideri che l' SageMaker IA fornisca. CreateEndpointConfig Crea un endpoint con CreateEndpoint utilizzando la configurazione specificata nella richiesta. Puoi aggiornare un endpoint asincrono con l'API UpdateEndpoint. Invia e ricevi richieste di inferenza dal modello ospitato sull'endpoint con InvokeEndpointAsync. Puoi eliminare i tuoi endpoint con l'API DeleteEndpoint.

Per un elenco completo delle SageMaker immagini disponibili, consulta Available Deep Learning Containers Images. Per informazioni su come creare un'immagine Docker, consulta Contenitori con codice di inferenza personalizzato.

Argomenti

• Creazione di un modello

• Creazione di una configurazione endpoint

• Creazione endpoint