Elaborazione multimodale nativa

Grazie all'elaborazione multimodale nativa, una knowledge base gestita di Amazon Bedrock invia ogni file direttamente a un modello di incorporamento multimodale. Il modello crea quindi incorporamenti a partire da immagini, audio e contenuti video non elaborati.

Senza un modello di incorporamento multimodale nativo, una knowledge base funziona in modo diverso. Per prima cosa analizza i tuoi file. Quindi suddivide in parti il testo che ne estrae. Infine incorpora quei blocchi con un modello di incorporamento del testo.

L'elaborazione multimodale nativa salta l'analisi e l'estrazione del testo. Di conseguenza, mantiene i dettagli visivi e audio che l'estrazione del testo perderebbe.

Per abilitare l'elaborazione multimodale nativa, scegli un modello di incorporamento multimodale nativo quando crei la knowledge base. Attualmente, TwelveLabs Marengo Embed 3.0 (twelvelabs.marengo-embed-3-0-v1:0) è l'unico modello che puoi scegliere. Per istruzioni sulla configurazione, vedereCreare una knowledge base gestita.

Come funziona l'elaborazione multimodale nativa

Quando si configura una knowledge base con un modello di incorporamento multimodale nativo, vale quanto segue:

• È supportata solo la MULTI_MODAL_EMBEDDINGS strategia di analisi. Non è possibile combinare un modello di incorporamento multimodale nativo con altre strategie di analisi.

• I file vengono inviati direttamente al modello di incorporamento. Il modello di incorporamento elabora il file raw e produce incorporamenti dal suo contenuto nativo.

• Text-based le strategie di suddivisione in blocchi non sono supportate. Poiché i tuoi file non vengono analizzati in testo, le strategie di suddivisione in blocchi che si applicano al testo, come la suddivisione in blocchi predefinita e la suddivisione in blocchi a dimensione fissa, non si applicano.

• Puoi configurare la segmentazione per audio e video. Invece di una strategia di suddivisione del testo, scegli in che modo la knowledge base divide i file audio e video in segmenti. Utilizza le impostazioni di segmentazione nel campo. modelConfiguration Per ulteriori informazioni, consulta Creare una knowledge base gestita.

• Sono supportati solo i tipi di file supportati dal modello. Una knowledge base configurata con un modello di incorporamento multimodale nativo può inserire solo i tipi di file accettati dal modello. Per i tipi di file e le altre impostazioni supportate, vedere. TwelveLabs Marengo Embed 3.0 TwelveLabs Marengo Embed 3.0

• È necessario fornire una destinazione di archiviazione multimodale. Fornisci una posizione Amazon S3 in cui la knowledge base possa elaborare e assimilare i tuoi contenuti. Amazon Bedrock Knowledge Bases crea una cartella di aws/ prefissi nel tuo bucket. Usa un bucket diverso dal bucket di origine dati. Per le autorizzazioni necessarie al ruolo di servizio, consulta. Autorizzazioni per la destinazione di archiviazione multimodale

• È supportata solo Retrieve l'API. Si interroga una knowledge base che utilizza un modello di incorporamento multimodale nativo con l'operazione. Retrieve L'RetrieveAndGenerateoperazione non è supportata.

• Le interrogazioni devono essere di testo. Puoi interrogare i tuoi contenuti multimodali utilizzando il testo. Le interrogazioni relative alle immagini non sono supportate.

Per informazioni dettagliate sui metadati restituiti dall'Retrieveoperazione per i risultati multimodali e su come recuperare il file corrispondente, consulta. Recupera le risposte per le basi di conoscenza multimodali native

In che modo la knowledge base richiama il modello di incorporamento

Quando si utilizza un modello di incorporamento multimodale nativo, la knowledge base richiama quel modello in modo sincrono e asincrono. Utilizza l'invocazione sincrona quando invii una query e la chiamata asincrona quando inserisce i tuoi contenuti. Il tuo ruolo di servizio richiede le autorizzazioni per entrambi. Per ulteriori informazioni sulla policy da allegare, vedereAutorizzazioni per accedere ai modelli Amazon Bedrock.

Nota

In alcuni casi Regioni AWS, il TwelveLabs Marengo Embed 3.0 modello supporta l'invocazione sincrona solo tramite un profilo di inferenza. L'invocazione asincrona utilizza ancora il modello su richiesta. In queste regioni, specificate un profilo di inferenza al momento della creazione della knowledge base. La knowledge base utilizza quindi sia il profilo di inferenza che il modello su richiesta per elaborare i contenuti. Il tuo ruolo di servizio richiede le autorizzazioni per entrambi.

Per verificare in che modo TwelveLabs Marengo Embed 3.0 è supportato nel file Regione AWS che utilizzi, consultaTwelveLabs Marengo Embed 3.0.

Gestione dei dati transitori con le policy relative al ciclo di vita di Amazon S3

Mentre Amazon Bedrock Knowledge Bases elabora i tuoi contenuti, archivia i dati transitori nella tua destinazione di archiviazione multimodale. Tenta di eliminare i dati al termine dell'elaborazione. Per garantire che i dati scadano, ti consigliamo di applicare una politica del ciclo di vita al percorso transitorio dei dati.

Console

Per creare una regola del ciclo di vita utilizzando la console

1. Apri la console Amazon S3.

2. Passa alla destinazione di archiviazione multimodale che hai configurato per la tua knowledge base.

3. Scegli la scheda Gestione, quindi scegli Crea regola del ciclo di vita.

4. Per il nome della regola del ciclo di vita, inserisci. Transient Data Deletion

5. In Tipo di filtro, scegli Limita l'ambito di questa regola utilizzando uno o più filtri.

6. Per Prefix, inserisci il percorso dei dati temporanei per la tua knowledge base e fonte di dati.

   Sostituisci i valori segnaposto nel seguente prefisso con i tuoi identificatori effettivi:

   aws/bedrock/knowledge_bases/knowledge-base-id/data-source-id/transient_data

   Non eliminare contenuti multimodali

   Non applicare politiche relative al ciclo di vita all'intero bucket o al aws/ prefisso, poiché ciò eliminerebbe il contenuto multimodale e potrebbe causare errori di elaborazione. Utilizzate solo il percorso di dati temporaneo mostrato nell'esempio di prefisso precedente.

7. In Azioni relative alle regole del ciclo di vita, seleziona Scadere le versioni correnti degli oggetti.

8. Per Giorni dopo la creazione dell'oggetto, inserisci. 1

9. Scegli Crea regola.

AWS CLI

Per creare una regola del ciclo di vita utilizzando AWS CLI

1. Crea un file JSON denominato lifecycle-policy.json con il seguente contenuto, sostituendo i valori segnaposto con i tuoi identificatori effettivi:

   • knowledge-base-id— L'identificatore della tua knowledge base

   • data-source-id— L'identificatore della fonte dei dati

   {
       "Rules": [
           {
               "ID": "TransientDataDeletion",
               "Status": "Enabled",
               "Filter": {
                   "Prefix": "aws/bedrock/knowledge_bases/knowledge-base-id/data-source-id/transient_data"
               },
               "Expiration": {
                   "Days": 1
               }
           }
       ]
   }

2. Applica la politica del ciclo di vita al tuo bucket. Sostituisci amzn-s3-demo-bucket con il nome del tuo bucket di archiviazione multimodale:

   aws s3api put-bucket-lifecycle-configuration \
       --bucket amzn-s3-demo-bucket \
       --lifecycle-configuration file://lifecycle-policy.json

3. Verifica che la politica del ciclo di vita sia stata applicata:

   aws s3api get-bucket-lifecycle-configuration \
       --bucket amzn-s3-demo-bucket

Per ulteriori informazioni sulle politiche relative al ciclo di vita di Amazon S3, consulta Managing the lifecycle of objects nella Amazon S3 User Guide.