Implementa un modello personalizzato per l'inferenza su richiesta

Dopo aver creato correttamente un modello personalizzato con un processo di personalizzazione del modello (messa a punto, distillazione o formazione preliminare continua), è possibile impostare l'inferenza su richiesta per il modello.

Per configurare l'inferenza su richiesta per un modello personalizzato, si distribuisce il modello con una distribuzione del modello personalizzata. Dopo aver distribuito il modello personalizzato, utilizzi l'Amazon Resource Name (ARN) della distribuzione come modelId parametro nelle InvokeModel tue operazioni Converse o nell'API. Puoi utilizzare il modello distribuito per l'inferenza su richiesta con funzionalità di Amazon Bedrock come parchi giochi, agenti e Knowledge Base.

Argomenti

• Modelli supportati

• Implementa un modello personalizzato

• Utilizza una distribuzione per l'inferenza su richiesta

• Eliminare una distribuzione di un modello personalizzato

Modelli supportati

È possibile configurare l'inferenza su richiesta per i seguenti modelli:

• Amazon Nova Tela

• Amazon Nova Lite

• Amazon NovaMicro

• Amazon Nova Pro