Invia un lavoro di importazione di modelli

Puoi importare un modello in Amazon Bedrock inviando un processo di importazione del modello nella console Amazon Bedrock, utilizzandoAPI, utilizzando o utilizzando.. AWS CLI AWS SDK Nel processo si specifica Amazon S3 come origine URI dei file del modello. In alternativa, se hai creato il modello in Amazon SageMaker AI, puoi specificare il modello di SageMaker intelligenza artificiale. Durante l'importazione del modello, il processo di importazione rileva automaticamente l'architettura del modello. Il processo di importazione del modello può richiedere diversi minuti. Durante il processo, Amazon Bedrock verifica che il modello da importare utilizzi un'architettura del modello compatibile.

La procedura seguente mostra come creare un modello personalizzato importando un modello già personalizzato. Seleziona la scheda corrispondente al metodo scelto e segui i passaggi.

Console

Per inviare un processo di importazione del modello nella console, completa i seguenti passaggi.

1. Se stai importando i file del modello da Amazon S3, converti il modello in Hugging Face .

   1. Se il tuo modello è un Mistral AI modello, usa convert_mistral_weights_to_hf.py.

   2. Se il tuo modello è un Llama modello, vedi convert_llama_weights_to_hf.py.

   3. Carica i file del modello in un bucket Amazon S3 nel tuo account. AWS Per ulteriori informazioni, consulta Caricare un oggetto nel bucket.

   4. Se utilizzi Amazon S3 KMS o chiavi per più account e li utilizzi per importare AWS CLI il tuo modello personalizzato, consenti ad Amazon Bedrock di accedere al tuo Account AWS Amazon S3 o alla tua chiave. KMS

2. Nella console Amazon Bedrock, scegli Modelli importati in Modelli Foundation dal riquadro di navigazione a sinistra.

3. Scegli la scheda Modelli.

4. Scegliere Import model (Importa modello).

5. Nella scheda Importato, scegli Importa modello per aprire la pagina Importa modello.

6. Nella sezione Dettagli del modello, procedi come segue:

   1. In Nome modello inserite un nome per il modello.

   2. (Facoltativo) Per associare i tag al modello, espandi la sezione Tag e seleziona Aggiungi nuovo tag.

7. Nella sezione Importa nome del lavoro, effettuate le seguenti operazioni:

   1. In Job name immettete un nome per il processo di importazione del modello.

   2. (Facoltativo) Per associare i tag al modello personalizzato, espandi la sezione Tag e seleziona Aggiungi nuovo tag.

8. Nelle impostazioni di importazione del modello, selezionate le opzioni di importazione che desiderate utilizzare.

   • Seleziona il bucket Amazon S3 o il modello Amazon SageMaker AI per specificare la fonte di importazione.

   • Se stai importando i tuoi file di modello da un bucket Amazon S3, inserisci la posizione Amazon S3 nella posizione S3. Facoltativamente, puoi scegliere Browse S3 per scegliere la posizione del file.

   • Se stai importando il tuo modello da Amazon SageMaker AI, scegli il modello Amazon SageMaker AI e poi scegli il modello di SageMaker intelligenza artificiale che desideri importare nei modelli di SageMaker intelligenza artificiale.

9. Inserisci VPCle impostazioni (opzionale) per scegliere una VPC configurazione per accedere alla tua origine dati Amazon Amazon S3 situata nel tuo. VPC Puoi creare e gestire sottoreti e gruppi di sicurezza in Amazon. VPC VPC Per ulteriori informazioni su AmazonVPC, consulta(Facoltativo) Proteggi i lavori di importazione di modelli personalizzati utilizzando un VPC.

10. Seleziona Crittografia, per crittografare i dati per impostazione predefinita con una AWS chiave di tua proprietà e gestita da te. Puoi anche scegliere una chiave diversa se selezioni Personalizza le impostazioni di crittografia (avanzate). .

11. Nella sezione Accesso al servizio, seleziona una delle seguenti opzioni:

    • Crea e usa un nuovo ruolo di servizio: immetti un nome per il ruolo di servizio.

    • Usa un ruolo di servizio esistente: seleziona un ruolo di servizio nell'elenco a discesa. Per visualizzare le autorizzazioni necessarie al ruolo di servizio esistente, scegli Visualizza i dettagli delle autorizzazioni.

      Per ulteriori informazioni sulla configurazione di un ruolo di servizio con le autorizzazioni appropriate, consulta. Creare un ruolo di servizio per l'importazione del modello

12. Seleziona Importa.

13. Nella pagina Modelli personalizzati, scegli Importati.

14. Nella sezione Lavori, controlla lo stato del processo di importazione. Il nome del modello che hai scelto identifica il processo di importazione del modello. Il lavoro è completo se il valore di Status per il modello è Complete.

15. Ottieni l'ID del modello effettuando le seguenti operazioni.

    1. Nella pagina Modelli importati, scegli la scheda Modelli.

    2. Copia il file ARN per il modello che desideri utilizzare dalla ARNcolonna.

16. Usa il tuo modello per le chiamate di inferenza. Per ulteriori informazioni, consulta Invia una sola richiesta con InvokeModel. È possibile utilizzare il modello con velocità effettiva su richiesta.

    Puoi anche usare il tuo modello nel campo di testo di Amazon Bedrock.

API

Richiesta

Invia una richiesta CreateModelImportJob(consulta il link per il formato di richiesta e risposta e i dettagli sul campo) con un endpoint del piano di controllo Amazon Bedrock per inviare un processo di importazione di modelli personalizzato. Come minimo, devi fornire i seguenti campi.

• roleArn— Il ruolo ARN di servizio con le autorizzazioni per importare i modelli. Amazon Bedrock può creare automaticamente un ruolo con le autorizzazioni appropriate se utilizzi la console oppure puoi creare un ruolo personalizzato seguendo i passaggi indicati. Creare un ruolo di servizio per l'importazione del modello

  Nota

  Se includi un vpcConfig campo, assicurati che il ruolo disponga delle autorizzazioni appropriate per accedere a. VPC Per un esempio, consulta Associa VPC le autorizzazioni a un ruolo di importazione del modello personalizzato.

• importedModelName— Il nome da assegnare al modello appena importato.

• jobName— Il nome da assegnare al processo di importazione.

• modelDataSource— La fonte di dati per il modello importato.

Per evitare che la richiesta venga completata più di una volta, includi unclientRequestToken.

Puoi includere i seguenti campi opzionali per configurazioni aggiuntive.

• jobTagse/o importedModelTags — Associa i tag al processo di importazione o al modello importato.

• importedModelKmsKeyId— Includi una KMS chiave di importazione del modello personalizzato per crittografare il modello importato.

• vpcConfig— Includi la configurazione vpc in. (Facoltativo) Proteggi i lavori di importazione di modelli personalizzati utilizzando un VPC

Risposta

La risposta restituisce un jobArn per il processo di importazione utilizzato per identificare il processo di importazione in altre operazioni.

Il completamento del processo di importazione richiederà alcuni minuti. È possibile verificare lo stato attuale chiamando l'GetModelImportJoboperazione e controllando il Status campo nella risposta. È possibile elencare i lavori di importazione correnti con ListModelImportJobs.

Per ottenere un elenco dei modelli che hai importato, chiama ListImportedModels. Per ottenere informazioni su uno specifico modello importato, chiama GetImportedModel.

Per eliminare un modello importato, chiama DeleteImportedModel.