Invia un lavoro di importazione di modelli

Importi un modello in Amazon Bedrock inviando un processo di importazione del modello nella console Amazon Bedrock, utilizzando l'API, utilizzando AWS CLI o utilizzando SDK. AWS Nel job specifichi l'URI di Amazon S3 per l'origine dei file del modello. In alternativa, se hai creato il modello in Amazon SageMaker AI, puoi specificare il modello di SageMaker intelligenza artificiale. Durante l'importazione del modello, il processo di importazione rileva automaticamente l'architettura del modello. Il processo di importazione del modello può richiedere diversi minuti. Durante il processo, Amazon Bedrock verifica che il modello da importare utilizzi un'architettura del modello compatibile.

La procedura seguente mostra come creare un modello personalizzato importando un modello già personalizzato. Seleziona la scheda corrispondente al metodo scelto e segui i passaggi.

Console

Per inviare un processo di importazione del modello nella console, completa i seguenti passaggi.

1. Se stai importando i file del modello da Amazon S3, converti il modello in Hugging Face .

   1. Se il tuo modello è un Mistral AI modello, usa convert_mistral_weights_to_hf.py.

   2. Se il tuo modello è un Llama modello, vedi convert_llama_weights_to_hf.py.

   3. Carica i file del modello in un bucket Amazon S3 nel tuo account. AWS Per ulteriori informazioni, consulta Caricare un oggetto nel bucket.

   4. Se utilizzi chiavi Amazon S3 o KMS su più account per importare il tuo modello personalizzato, consenti ad Amazon Bedrock di accedere alla tua chiave Account AWS Amazon S3 o KMS. Per ulteriori informazioni, consulta Accesso da più account al bucket Amazon S3 per processi di importazione di modelli personalizzati.

2. Nella console Amazon Bedrock, scegli Modelli importati in Modelli Foundation dal riquadro di navigazione a sinistra.

3. Scegli la scheda Modelli.

4. Scegliere Import model (Importa modello).

5. Nella scheda Importato, scegli Importa modello per aprire la pagina Importa modello.

6. Nella sezione Dettagli del modello, procedi come segue:

   1. In Nome modello immettete un nome per il modello.

   2. (Facoltativo) Per associare i tag al modello, espandi la sezione Tag e seleziona Aggiungi nuovo tag.

7. Nella sezione Importa nome del lavoro, effettuate le seguenti operazioni:

   1. In Job name immettete un nome per il processo di importazione del modello.

   2. (Facoltativo) Per associare i tag al modello personalizzato, espandi la sezione Tag e seleziona Aggiungi nuovo tag.

8. Nelle impostazioni di importazione del modello, selezionate le opzioni di importazione che desiderate utilizzare.

   • Seleziona il bucket Amazon S3 o il modello Amazon SageMaker AI per specificare la fonte di importazione.

   • Se stai importando i tuoi file di modello da un bucket Amazon S3, inserisci la posizione Amazon S3 nella posizione S3. Facoltativamente, puoi scegliere Browse S3 per scegliere la posizione del file.

   • Se stai importando il tuo modello da Amazon SageMaker AI, scegli il modello Amazon SageMaker AI e poi scegli il modello di SageMaker intelligenza artificiale che desideri importare nei modelli di SageMaker intelligenza artificiale.

9. Inserisci le impostazioni VPC (opzionale) per scegliere una configurazione VPC per accedere alla tua fonte di dati Amazon Amazon S3 situata nel tuo VPC. Puoi creare e gestire un VPC, sottoreti e gruppi di sicurezza in Amazon VPC. Per ulteriori informazioni su Amazon VPC, consulta. (Facoltativo) Proteggi i lavori di importazione di modelli personalizzati utilizzando un VPC

10. Seleziona Encryption, per crittografare i dati di default con una AWS chiave di tua proprietà e gestita da te. Puoi anche scegliere una chiave diversa se selezioni Personalizza le impostazioni di crittografia (avanzate). .

11. Nella sezione Accesso al servizio, seleziona una delle seguenti opzioni:

    • Crea e usa un nuovo ruolo di servizio: immetti un nome per il ruolo di servizio.

    • Usa un ruolo di servizio esistente: seleziona un ruolo di servizio nell'elenco a discesa. Per visualizzare le autorizzazioni necessarie al ruolo di servizio esistente, scegli Visualizza i dettagli delle autorizzazioni.

      Per ulteriori informazioni sulla configurazione di un ruolo di servizio con le autorizzazioni appropriate, consulta. Creare un ruolo di servizio per l'importazione del modello

      Nota

      se utilizzi chiavi Amazon S3 o KMS per più account, modifica la politica del ruolo del servizio e sostituisci l'ID account specificato aws:ResourceAccount per con l'ID account AWS del proprietario del bucket.

12. Seleziona Importa.

13. Nella pagina Modelli personalizzati, scegli Importati.

14. Nella sezione Lavori, controlla lo stato del processo di importazione. Il nome del modello che hai scelto identifica il processo di importazione del modello. Il lavoro è completo se il valore di Status per il modello è Complete.

15. Ottieni l'ID del modello effettuando le seguenti operazioni.

    1. Nella pagina Modelli importati, scegli la scheda Modelli.

    2. Copiate l'ARN per il modello che desiderate utilizzare dalla colonna ARN.

16. Usa il tuo modello per le chiamate di inferenza. Per ulteriori informazioni, consulta Invia una sola richiesta con InvokeModel. È possibile utilizzare il modello con velocità effettiva su richiesta.

    Puoi anche usare il tuo modello nel campo di testo di Amazon Bedrock.

API

Richiesta

Invia una richiesta CreateModelImportJob(consulta il link per il formato di richiesta e risposta e i dettagli sul campo) con un endpoint del piano di controllo Amazon Bedrock per inviare un processo di importazione di modelli personalizzato. Come minimo, devi fornire i seguenti campi.

• roleArn— L'ARN del ruolo di servizio con autorizzazioni per importare modelli. Amazon Bedrock può creare automaticamente un ruolo con le autorizzazioni appropriate se utilizzi la console, oppure puoi creare un ruolo personalizzato seguendo i passaggi indicati. Creare un ruolo di servizio per l'importazione del modello

  Nota

  Se includi un vpcConfig campo, assicurati che il ruolo disponga delle autorizzazioni appropriate per accedere al VPC. Per un esempio, consulta Associa le autorizzazioni VPC a un ruolo di importazione del modello personalizzato.

• importedModelName— Il nome da assegnare al modello appena importato.

• jobName— Il nome da assegnare al processo di importazione.

• modelDataSource— La fonte di dati per il modello importato.

Per evitare che la richiesta venga completata più di una volta, includi unclientRequestToken.

Puoi includere i seguenti campi opzionali per configurazioni aggiuntive.

• jobTagse/o importedModelTags — Associa i tag al processo di importazione o al modello importato.

• importedModelKmsKeyId— Includi una chiave KMS di crittografia del modello personalizzato di importazione per crittografare il modello importato.

• vpcConfig— Includi la configurazione vpc in. (Facoltativo) Proteggi i lavori di importazione di modelli personalizzati utilizzando un VPC

Risposta

La risposta restituisce un jobArn per il processo di importazione utilizzato per identificare il processo di importazione in altre operazioni.

Il completamento del processo di importazione richiederà alcuni minuti. È possibile verificare lo stato attuale chiamando l'GetModelImportJoboperazione e controllando il Status campo nella risposta. È possibile elencare i lavori di importazione correnti con ListModelImportJobs.

Per ottenere un elenco dei modelli che hai importato, chiama ListImportedModels. Per ottenere informazioni su uno specifico modello importato, chiama GetImportedModel.

Per eliminare un modello importato, chiama DeleteImportedModel.