Modelli linguistici personalizzati

I modelli linguistici personalizzati sono progettati per migliorare la precisione della trascrizione di messaggi vocali specifici del dominio. Ciò include qualsiasi contenuto diverso da quello che ascolteresti nelle normali conversazioni quotidiane. Ad esempio, se stai trascrivendo gli atti di una conferenza scientifica, è improbabile che una trascrizione standard riconosca molti dei termini scientifici usati dai relatori. In questo caso, puoi addestrare un modello linguistico personalizzato per riconoscere i termini specializzati usati nella tua disciplina.

A differenza dei vocabolari personalizzati, che aumentano il riconoscimento di una parola fornendo suggerimenti (come la pronuncia), i modelli linguistici personalizzati apprendono il contesto associato a una determinata parola. Ciò include come e quando viene utilizzata una parola e la relazione che una parola ha con altre parole. Ad esempio, se addestra il tuo modello utilizzando documenti di ricerca sulle scienze del clima, il tuo modello potrebbe apprendere che «lastra di ghiaccio» è una coppia di parole più probabile di «flusso di ghiaccio».

Per visualizzare le lingue supportate per i modelli linguistici personalizzati, fare riferimento aLingue supportate e funzionalità specifiche della lingua. Tieni presente che se includi un modello linguistico personalizzato nella tua richiesta, non puoi abilitare l'identificazione della lingua (devi specificare un codice della lingua).

Operazioni API specifiche per modelli linguistici personalizzati

CreateLanguageModel, DeleteLanguageModel, DescribeLanguageModel, ListLanguageModels

Origini dati

Puoi utilizzare qualsiasi tipo di dato di testo che desideri per addestrare il tuo modello. Tuttavia, più il contenuto del testo è vicino al contenuto audio, più preciso è il modello. Pertanto, è importante scegliere dati di testo che utilizzino gli stessi termini nello stesso contesto dell'audio.

I dati migliori per addestrare un modello sono trascrizioni accurate. Questi sono considerati dati interni al dominio. I dati di testo all'interno del dominio hanno esattamente gli stessi termini, utilizzo e contesto dell'audio che desideri trascrivere.

Se non disponi di trascrizioni accurate, utilizza articoli di riviste, rapporti tecnici, white paper, atti di conferenze, manuali di istruzioni, articoli di notizie, contenuti di siti Web e qualsiasi altro testo che contenga i termini desiderati utilizzati in un contesto simile a quello del tuo audio. Questi sono considerati dati relativi al dominio.

La creazione di un robusto modello linguistico personalizzato può richiedere una notevole quantità di dati di testo, che devono contenere i termini pronunciati nell'audio. È possibile Amazon Transcribe fornire fino a 2 GB di dati di testo per addestrare il modello, denominati dati di addestramento. Facoltativamente, se non disponi di trascrizioni interne al dominio (o ne hai poche), puoi fornire Amazon Transcribe fino a 200 MB di dati di testo per ottimizzare il tuo modello: si parla di dati di ottimizzazione.

Allenamento e ottimizzazione dei dati

Lo scopo dei dati di formazione è insegnare Amazon Transcribe a riconoscere nuovi termini e ad apprendere il contesto in cui questi termini vengono utilizzati. Per creare un modello robusto, Amazon Transcribe può essere necessario un grande volume di dati di testo pertinenti. Si consiglia vivamente di fornire il maggior numero possibile di dati di allenamento, fino al limite di 2 GB.

Lo scopo dell'ottimizzazione dei dati è aiutare a perfezionare e ottimizzare le relazioni contestuali apprese dai dati di allenamento. I dati di ottimizzazione non sono necessari per creare un modello di lingua personalizzato.

Sta a te decidere il modo migliore per selezionare i dati di allenamento e, facoltativamente, di ottimizzazione. Ogni caso è unico e dipende dal tipo e dalla quantità di dati di cui disponi. L'ottimizzazione dei dati è consigliata in mancanza di dati di formazione interni al dominio.

Se scegli di includere entrambi i tipi di dati, non sovrapporre i dati di allenamento e di ottimizzazione; i dati di allenamento e ottimizzazione devono essere unici. La sovrapposizione dei dati può alterare e distorcere il modello linguistico personalizzato, influendo sulla sua precisione.

Come guida generale, ti consigliamo di utilizzare testi accurati e interni al dominio come dati di addestramento quando possibile. Di seguito sono riportati alcuni scenari generali, elencati in ordine di preferenza:

• Se disponi di più di 10.000 parole di testo di trascrizione accurato e interno al dominio, utilizzalo come dati di formazione. In questo caso, non è necessario includere i dati di ottimizzazione. Questo è lo scenario ideale per addestrazione di un modello di lingua personalizzato.

• Se disponi di un testo di trascrizione interno al dominio accurato che contiene meno di 10.000 parole e non stai ottenendo i risultati desiderati, valuta la possibilità di aumentare i dati di formazione con testi scritti relativi al dominio, come rapporti tecnici. In questo caso, riserva una piccola parte (10-25%) dei dati di trascrizione interni al dominio da utilizzare come dati di ottimizzazione.

• Se non disponi di un testo di trascrizione interno al dominio, carica tutto il testo relativo al dominio come dati di formazione. In questo caso, il testo in stile trascrizione è preferibile al testo scritto. Questo è lo scenario meno efficace per addestrare un modello linguistico personalizzato.

Quando sei pronto per creare il tuo modello, guardaCreazione di un modello linguistico personalizzato.