Comparación cuantitativa de métodos de incertidumbre - Recomendaciones de AWS

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Comparación cuantitativa de métodos de incertidumbre

Esta sección describe cómo comparamos los métodos para estimar la incertidumbre usando el conjunto de datos del Corpus de Aceptabilidad Lingüística (CoLA) (Warstadt, Singh y Bowman, 2019). El conjunto de datos del CoLA es un conjunto de oraciones con un indicador binario que indica si son aceptables. Las oraciones se pueden etiquetar como inaceptables por diversas razones, como sintaxis, semántica o morfología inadecuadas. Estas oraciones están tomadas de ejemplos de publicaciones lingüísticas. Existen dos conjuntos de validación. Un conjunto de validación se toma de las mismas fuentes usadas para conformar el conjunto de datos de entrenamiento (en el dominio). El otro conjunto de validación se toma de fuentes que no están incluidas en el conjunto de datos de entrenamiento (fuera del dominio). La siguiente tabla resume esta información.

Conjunto de datos Tamaño total Positivo Negativo

Capacitación

8551

6023

2528

Validación (en dominio)

527

363

164

Validación (fuera del dominio)

516

354

162

La comparación emplea una arquitectura base RoBERTa (Liu et al., 2019) con ponderaciones previamente entrenadas y una cabecera inicializada aleatoriamente con una sola capa oculta. Los hiperparámetros son, principalmente, los sugeridos en el artículo de RoBERTa, con algunas modificaciones menores.