Opzioni di intelligenza artificiale generativa per interrogare documenti personalizzati - AWS Guida prescrittiva

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Opzioni di intelligenza artificiale generativa per interrogare documenti personalizzati

Organizations dispone spesso di diverse fonti di dati strutturati e non strutturati. Questa guida si concentra su come utilizzare l'intelligenza artificiale generativa per rispondere a domande basate su dati non strutturati.

I dati non strutturati dell'organizzazione possono provenire da varie fonti. Questi possono essere file di testo PDFs, wiki interni, documenti tecnici, siti Web pubblici, basi di conoscenza o altro. Se desideri un modello di base in grado di rispondere a domande sui dati non strutturati, sono disponibili le seguenti opzioni:

  • Addestra un nuovo modello di base utilizzando i tuoi documenti personalizzati e altri dati di formazione

  • Perfeziona un modello di base esistente utilizzando i dati dei tuoi documenti personalizzati

  • Usa l'apprendimento contestuale per passare un documento al modello di base quando poni una domanda

  • Utilizzate un approccio RAG (Retrieval Augmented Generation)

Addestrare da zero un nuovo modello di base che includa dati personalizzati è un'impresa ambiziosa. Alcune aziende lo hanno fatto con successo, come Bloomberg con i loro BloombergGPTmodello. Un altro esempio è il multimodale EXAONEmodello di LG AI Research, che è stato formato utilizzando 600 miliardi di opere d'arte e 250 milioni di immagini ad alta risoluzione, accompagnate da testo. Secondo The Cost of AI: Dovresti costruire o acquistare il tuo modello di base (LinkedIn), un modello simile a Meta Llama 2 la formazione costa circa 4,8 milioni di dollari. Esistono due prerequisiti principali per la formazione di un modello da zero: l'accesso alle risorse (finanziarie, tecniche, temporali) e un chiaro ritorno sull'investimento. Se questo non sembra la soluzione giusta, l'opzione successiva è mettere a punto un modello di base esistente.

L'ottimizzazione di un modello esistente implica l'adozione di un modello, ad esempio un modello Amazon Titan, Mistral o Llama, e quindi l'adattamento del modello ai dati personalizzati. Esistono varie tecniche per la regolazione fine, la maggior parte delle quali prevede la modifica solo di alcuni parametri anziché la modifica di tutti i parametri del modello. Si tratta della cosiddetta regolazione di precisione efficiente in termini di parametri. Esistono due metodi principali per la regolazione fine:

  • La messa a punto supervisionata utilizza dati etichettati e consente di addestrare il modello per un nuovo tipo di attività. Ad esempio, se desideri generare un report basato su un modulo PDF, potresti dover insegnare al modello come farlo fornendo un numero sufficiente di esempi.

  • La messa a punto senza supervisione è indipendente dalle attività e adatta il modello di base ai dati personali. Addestra il modello a comprendere il contesto dei documenti. Il modello ottimizzato crea quindi contenuti, ad esempio un report, utilizzando uno stile più personalizzato dell'organizzazione.

Tuttavia, la messa a punto potrebbe non essere la soluzione ideale per i casi d'uso con domande e risposte. Per ulteriori informazioni, consultate la sezione Confronto tra RAG e messa a punto in questa guida.

Quando si pone una domanda, è possibile passare un documento come modello base e utilizzare l'apprendimento contestuale del modello per restituire le risposte contenute nel documento. Questa opzione è adatta per l'interrogazione ad hoc di un singolo documento. Tuttavia, questa soluzione non funziona bene per interrogare più documenti o per interrogare sistemi e applicazioni, come Microsoft SharePoint o Atlassian Confluence.

L'ultima opzione è usare RAG. Con RAG, il modello di base fa riferimento ai documenti personalizzati prima di generare una risposta. RAG estende le funzionalità del modello alla knowledge base interna dell'organizzazione, il tutto senza la necessità di riqualificare il modello. È un approccio conveniente per migliorare l'output del modello in modo che rimanga pertinente, accurato e utile in vari contesti.