Uso del catálogo de datos de AWS Glue como metaalmacén para Hive

Con la EMR versión 5.8.0 o posterior de Amazon, puedes configurar Hive para que utilice el catálogo de datos de AWS Glue como metaalmacén. Recomendamos esta configuración cuando se necesita un metaalmacén persistente o un metaalmacén compartido por diferentes clústeres, servicios, aplicaciones o cuentas de AWS .

AWS Glue es un servicio de extracción, transformación y carga (ETL) totalmente gestionado que permite clasificar los datos, limpiarlos, enriquecerlos y moverlos de forma fiable entre varios almacenes de datos de forma sencilla y rentable. El catálogo de datos de AWS Glue proporciona un repositorio de metadatos unificado en una variedad de fuentes y formatos de datos, y se integra con Amazon EMRRDS, Amazon Redshift, Redshift Spectrum, Athena y cualquier aplicación compatible con el metaalmacén de Apache Hive. AWS Los rastreadores de Glue pueden deducir automáticamente el esquema a partir de los datos de origen en Amazon S3 y almacenar los metadatos asociados en el catálogo de datos. Para obtener más información sobre el catálogo de datos, consulte Cómo rellenar el catálogo de datos de AWS Glue en la Guía del desarrollador de AWS Glue.

Se aplican cargos separados por AWS Glue. Hay una tarifa mensual para almacenar y acceder a los metadatos del catálogo de datos, una tarifa por hora que se factura por minuto para los ETL trabajos de AWS Glue y el tiempo de ejecución del rastreador, y una tarifa por hora que se factura por minuto para cada terminal de desarrollo aprovisionado. El Catálogo de datos le permite almacenar hasta un millón de objetos sin cargo alguno. Si almacena más de un millón de objetos, se le cobrará USD 1 dólar por cada 100 000 objetos de más de un millón. En el Catálogo de datos, se consideran objetos las tablas, las particiones y las bases de datos. Para obtener más información, consulte Precios de Glue.

importante

Si creó tablas con Amazon Athena o Amazon Redshift Spectrum antes del 14 de agosto de 2017, las bases de datos y las tablas se almacenan en un catálogo gestionado por Athena, que es independiente del catálogo de datos de Glue. AWS Para integrar Amazon EMR con estas tablas, debes actualizar al catálogo de datos de AWS Glue. Para obtener más información, consulte Actualización al catálogo de datos de AWS Glue en la Guía del usuario de Amazon Athena.

Especificación de AWS Glue Data Catalog como metaalmacén

Puedes especificar el catálogo de datos de AWS Glue como metatienda mediante AWS Management Console, AWS CLI, o Amazon EMRAPI. Si utiliza CLI oAPI, utiliza la clasificación de configuración de Hive para especificar el catálogo de datos. Además, con Amazon EMR 5.16.0 y versiones posteriores, puede usar la clasificación de configuración para especificar un catálogo de datos en un sitio diferente. Cuenta de AWS Cuando utiliza la consola, puede especificar el Catálogo de datos mediante Opciones avanzadas u Opciones rápidas.

Console

Para especificar AWS Glue Data Catalog como el metaalmacén de Hive con la consola

1. Inicia sesión en la AWS Management Console EMR consola de Amazon y ábrela en https://console.aws.amazon.com/emr.

2. EMREC2En el panel de navegación de la izquierda, selecciona Clústeres y, a continuación, selecciona Crear clúster.

3. En Paquete de aplicaciones, selecciona Core Hadoop o HBaseCustom. Si personaliza el clúster, asegúrese de seleccionar Hive o HCatalog como una de sus aplicaciones.

4. En Configuración del Catálogo de datos de AWS Glue, seleccione la casilla Usar para metadatos de la tabla de Hive.

5. Elija cualquier otra opción que se aplique a su clúster.

6. Para lanzar el clúster, elija Crear clúster.

CLI

Para especificar el catálogo de datos de AWS Glue como el metaalmacén de Hive con AWS CLI

Para obtener más información sobre cómo especificar una clasificación de configuración mediante AWS CLI y EMRAPI, consulte. Configuración de aplicaciones

• Especifique el valor de hive.metastore.client.factory.class utilizando la clasificación de configuración hive-site tal y como se muestra en el siguiente ejemplo:

  [
    {
      "Classification": "hive-site",
      "Properties": {
        "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"
      }
    }
  ]
  						

  En las EMR versiones 5.28.0, 5.28.1, 5.29.0 o 6.x, si vas a crear un clúster con el catálogo de datos de AWS Glue como metaalmacén, establece el. hive.metastore.schema.verification false Esto impide que Hive valide el esquema del metaalmacén con el de My. HCatalog SQL Sin esta configuración, el grupo de instancias principal se suspenderá tras la reconfiguración en Hive o. HCatalog

  [
    {
      "Classification": "hive-site",
      "Properties": {
        "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory",
        "hive.metastore.schema.verification": "false"
      }
    }
  ]
  					

  Si ya tienes un clúster en las EMR versiones 5.28.0, 5.28.1 o 5.29.0, puedes configurar el grupo de instancias principal con la siguiente información: hive.metastore.schema.verification false

     
      Classification = hive-site
      Property       = hive.metastore.schema.verification
      Value          = false
  					

  Para especificar un catálogo de datos en una AWS cuenta diferente, agrega la hive.metastore.glue.catalogid propiedad como se muestra en el siguiente ejemplo. Sustituya acct-id por la cuenta de AWS del Catálogo de datos.

  [
    {
      "Classification": "hive-site",
      "Properties": {
        "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory",
        "hive.metastore.schema.verification": "false",
        "hive.metastore.glue.catalogid": "acct-id"
      }
    }
  ]
  				

IAMpermisos

El perfil de EC2 instancia de un clúster debe tener IAM permisos para las acciones de AWS Glue. Además, si habilita el cifrado de los objetos del catálogo de datos de AWS Glue, el rol también debe poder cifrar, descifrar y generar lo que AWS KMS key se utiliza para el cifrado.

Permisos para las acciones de AWS Glue

Si utilizas el perfil de EC2 instancia predeterminado de AmazonEMR, no es necesario realizar ninguna acción. La política AmazonElasticMapReduceforEC2Role gestionada que se adjunta a la EMR_EC2_DefaultRole permite todas las acciones de AWS Glue necesarias. Sin embargo, si especificas un perfil de EC2 instancia y permisos personalizados, debes configurar las acciones de AWS Glue adecuadas. Utilice la política administrada AmazonElasticMapReduceforEC2Role como punto de partida. Para obtener más información, consulte Función de servicio para EC2 instancias de clúster (perfil de EC2 instancia) en la Amazon EMR Management Guide.

Permisos para cifrar y descifrar AWS Glue Data Catalog

El perfil de instancia necesita permiso para cifrar y descifrar los datos con su clave. No es necesario configurar estos permisos si se cumplen las dos instrucciones siguientes:

• Para activar el cifrado de los objetos del catálogo de datos de AWS Glue, utilice claves gestionadas para AWS Glue.

• Usas un clúster que está en el mismo lugar Cuenta de AWS que el catálogo de datos de AWS Glue.

De lo contrario, debes añadir la siguiente declaración a la política de permisos adjunta a tu perfil de EC2 instancia.

[
    {
        "Version": "2012-10-17",
        "Statement": [
            {
                "Effect": "Allow",
                "Action": [
                    "kms:Decrypt",
                    "kms:Encrypt",
                    "kms:GenerateDataKey"
                ],
                "Resource": "arn:aws:kms:region:acct-id:key/12345678-1234-1234-1234-123456789012"
            }
        ]
    }
]

Para obtener más información sobre el cifrado del catálogo de datos de AWS Glue, consulte Cifrar el catálogo de datos en la Guía para desarrolladores de AWS Glue.

Permisos basados en recursos

Si utilizas AWS Glue junto con Hive, Spark o Presto en Amazon, EMR AWS Glue admite políticas basadas en recursos para controlar el acceso a los recursos del catálogo de datos. Estos recursos incluyen bases de datos, tablas, conexiones y funciones definidas por el usuario. Para obtener más información, consulte Políticas de recursos de AWS Glue en la Guía para desarrolladores de AWS Glue.

Cuando utilices políticas basadas en recursos para limitar el acceso a AWS Glue desde AmazonEMR, el principal que especifiques en la política de permisos debe ser el rol ARN asociado al perfil de EC2 instancia que se especifica cuando se crea un clúster. Por ejemplo, en el caso de una política basada en recursos adjunta a un catálogo, puedes especificar la función de servicio predeterminada ARN para las instancias de clúster, EC2 EMR_EC2_DefaultRole comoPrincipal, utilizando el formato que se muestra en el siguiente ejemplo:

arn:aws:iam::acct-id:role/EMR_EC2_DefaultRole

La acct-id puede ser diferente del ID de la cuenta de AWS Glue. Esto permite el acceso desde EMR clústeres de diferentes cuentas. Puede especificar varias entidades principales, cada una de ellas desde una cuenta diferente.

Consideraciones a la hora de utilizar el Catálogo de datos de AWS Glue

Tenga en cuenta los siguientes elementos cuando utilice el catálogo de datos de AWS Glue como metaalmacén con Hive:

• No se admite la adición de elementos auxiliares JARs mediante el shell de Hive. Como solución alternativa, utilice la clasificación de hive-site configuración para establecer la hive.aux.jars.path propiedad, que añade el elemento auxiliar JARs a la ruta de clases de Hive.

• No se admiten las transacciones de Hive.

• No se admite el cambio de nombre de las tablas desde AWS Glue.

• Al crear una tabla de Hive sin especificar un valor de LOCATION, los datos de la tabla se almacenan en la ubicación especificada por la propiedad hive.metastore.warehouse.dir. De forma predeterminada, se trata de una ubicación enHDFS. Si otro clúster necesita acceder a la tabla, se produce un error a menos que tenga los permisos adecuados para el clúster que creó la tabla. Además, dado que el HDFS almacenamiento es transitorio, si el clúster termina, se pierden los datos de la tabla y es necesario volver a crearla. Le recomendamos que especifique una LOCATION en Amazon S3 cuando cree una tabla Hive con AWS Glue. Como alternativa, puede utilizar la clasificación de configuración hive-site para especificar una ubicación en Amazon S3 para hive.metastore.warehouse.dir, que se aplica a todas las tablas de Hive. Si se crea una tabla en una HDFS ubicación y el clúster que la creó sigue ejecutándose, puedes actualizar la ubicación de la tabla a Amazon S3 desde AWS Glue. Para obtener más información, consulte Cómo trabajar con tablas en la consola de AWS Glue en la Guía para desarrolladores de AWS Glue.

• No se admiten valores de partición que contengan comillas y apóstrofes, por ejemplo, PARTITION (owner="Doe's").

• Las estadísticas de columnas son compatibles con emr-5.31.0 y versiones posteriores.

• No se admite el uso de la autorización de Hive. Como alternativa, considere la posibilidad de utilizar políticas basadas en recursos de AWS Glue. Para obtener más información, consulta Cómo usar políticas basadas en recursos para Amazon EMR Access to AWS Glue Data Catalog.

• No se admiten las restricciones de Hive.

• No se admite la optimización basada en los costos en Hive.

• No se admite el uso de la configuración hive.metastore.partition.inherit.table.properties.

• No se admite el uso de las siguientes constantes de metaalmacén: BUCKET_COUNT, BUCKET_FIELD_NAME, DDL_TIME, FIELD_TO_DIMENSION, FILE_INPUT_FORMAT, FILE_OUTPUT_FORMAT, HIVE_FILTER_FIELD_LAST_ACCESS, HIVE_FILTER_FIELD_OWNER, HIVE_FILTER_FIELD_PARAMS, IS_ARCHIVED, META_TABLE_COLUMNS, META_TABLE_COLUMN_TYPES, META_TABLE_DB, META_TABLE_LOCATION, META_TABLE_NAME, META_TABLE_PARTITION_COLUMNS, META_TABLE_SERDE, META_TABLE_STORAGE, ORIGINAL_LOCATION.

• Cuando utiliza una expresión de predicado, los valores explícitos deben estar en el lado derecho del operador de comparación o las consultas podrían devolver errores.

  • Correcto: SELECT * FROM mytable WHERE time > 11

  • Incorrecto: SELECT * FROM mytable WHERE 11 > time

• EMRLas versiones 5.32.0 y 6.3.0 y posteriores de Amazon admiten el uso de funciones definidas por el usuario (UDFs) en las expresiones de predicados. Si utiliza versiones anteriores, es posible que sus consultas presenten errores debido a la forma en que Hive intenta optimizar la ejecución de las consultas.

• No se admiten las tablas temporales.

• Te recomendamos crear tablas con aplicaciones a través de Amazon EMR en lugar de crearlas directamente con AWS Glue. Al crear una tabla con AWS Glue, es posible que falten campos obligatorios y se produzcan excepciones en las consultas.

• En la EMR versión 5.20.0 o versiones posteriores, la depuración de particiones en paralelo se habilita automáticamente para Spark y Hive cuando se utiliza AWS Glue Data Catalog como metaalmacén. Este cambio reduce significativamente el tiempo de planificación de consultas al ejecutar varias solicitudes en paralelo para recuperar particiones. El número total de segmentos que se pueden ejecutar simultáneamente oscila entre 1 y 10. El valor predeterminado es 5, que es la configuración recomendada. Para cambiarlo, especifique la propiedad aws.glue.partition.num.segments en la clasificación de la configuración hive-site. Si se produce una limitación, puede desactivar la característica cambiando el valor a 1. Para más información, consulte Estructura Segment de AWS Glue.