Amazon EMR 6.8.0: notas de la versión de Hive

Amazon EMR 6.8.0: cambios en Hive

Tipo	Descripción
Mejoras	Reducción de las llamadas al sistema de archivos en el comando msck. Mejoras en el rendimiento (entre 15 y 20 veces en más de 10 000 particiones)
Portabilidad con versiones anteriores	HIVE-20678: HiveHBaseTableOutputFormat debería implementar HiveOutputFormat para garantizar la compatibilidad
Portabilidad con versiones anteriores	HIVE-21040: msck incluye archivos innecesarios en el último nivel del árbol de directorios
Portabilidad con versiones anteriores	HIVE-21460: al cargar los datos seguidos de una consulta de selección *, se obtienen resultados incorrectos
Portabilidad con versiones anteriores	HIVE-21660: se obtiene un resultado incorrecto cuando se utiliza la vista de unión total y posterior con explode
Portabilidad con versiones anteriores	HIVE-22505: ClassCastException por una selección incorrecta de un operador vectorizado
Portabilidad con versiones anteriores	HIVE-22513: la propagación constante de la columna proyectada en las operaciones de filtrado puede provocar resultados incorrectos
Portabilidad con versiones anteriores	HIVE-23435: faltan filas en el resultado de la unión exterior completa
Portabilidad con versiones anteriores	HIVE-24209: conversión incorrecta de los argumentos de búsqueda para la operación NOT BETWEEN cuando la vectorización está habilitada
Portabilidad con versiones anteriores	HIVE-24934: la anotación VectorizedExpressions no es necesaria en GenericUDFSQCountCheck
Portabilidad con versiones anteriores	HIVE-25278: HiveProjectJoinTransposeRule puede llevar a cabo transformaciones no válidas con expresiones de ventanas
Portabilidad con versiones anteriores	HIVE-25505: resultados incorrectos con el encabezado. skip.header.line.count si la primera línea está en blanco
Portabilidad con versiones anteriores	HIVE-26080: actualización de accumulo-core a 1.10.1
Portabilidad con versiones anteriores	HIVE-26235: condición OR de la columna binaria devuelve un resultado vacío
Error	Corrección de varios registros de advertencia de enlaces de SLF4J en stderr durante el lanzamiento
Error	Se ha corregido un error en la consulta SHOW TABLE EXTENDED que provocaba un error de FS incorrecto cuando la partición y la tabla se encontraban en sistemas de archivos diferentes.

Amazon EMR 6.8.0: problemas conocidos de Hive

• Con las versiones 6.6.0 a 6.9.x de Amazon EMR, las consultas INSERT con partición dinámica y una cláusula ORDER BY o SORT BY siempre tendrán dos reductores. Este problema se debe al cambio HIVE-20703 de OSS, que sitúa la optimización de la clasificación dinámica de las particiones en una decisión basada en los costos. Si su carga de trabajo no requiere ordenar las particiones dinámicas, le recomendamos que establezca la propiedad hive.optimize.sort.dynamic.partition.threshold en -1 para deshabilitar la nueva característica y obtener el número de reductores calculado correctamente. Este problema se ha corregido en OSS Hive como parte de HIVE-22269 y se ha corregido en Amazon EMR 6.10.0.