Uso de Presto con el catálogo de datos de AWS Glue

Con la versión 5.10.0 de Amazon EMR y versiones posteriores, puede especificar el catálogo de datos de AWS Glue como el metaalmacén de Hive predeterminado para Presto. Recomendamos esta configuración cuando se necesita un metaalmacén persistente o un metaalmacén compartido por diferentes clústeres, servicios, aplicaciones o Cuentas de AWS.

AWS Glue es un servicio de extracción, transformación y carga (ETL) totalmente gestionado que permite clasificar los datos, limpiarlos, enriquecerlos y moverlos de forma fiable entre varios almacenes de datos de forma sencilla y rentable. El catálogo de datos de AWS Glue proporciona un repositorio de metadatos unificado en una variedad de fuentes y formatos de datos, y se integra con Amazon EMR, así como con Amazon RDS, Amazon Redshift, Redshift Spectrum, Athena y cualquier aplicación compatible con el metaalmacén de Apache Hive. AWS Los rastreadores de Glue pueden deducir automáticamente el esquema a partir de los datos de origen en Amazon S3 y almacenar los metadatos asociados en el catálogo de datos. Para obtener más información sobre el catálogo de datos, consulte Cómo rellenar el catálogo de datos de AWS Glue en la Guía del desarrollador de AWS Glue.

Se aplican cargos separados por AWS Glue. Hay una tarifa mensual para almacenar y acceder a los metadatos del catálogo de datos, una tarifa por hora que se factura por minuto para los trabajos de ETL de AWS Glue y el tiempo de ejecución del rastreador, y una tarifa por hora que se factura por minuto para cada terminal de desarrollo aprovisionado. El Catálogo de datos le permite almacenar hasta un millón de objetos sin cargo alguno. Si almacena más de un millón de objetos, se le cobrará 1 USD por cada 100 000 objetos que sobrepasen esa cifra. En el Catálogo de datos, se consideran objetos las tablas, las particiones y las bases de datos. Para obtener más información, consulte Precios de Glue.

importante

Si creó tablas con Amazon Athena o Amazon Redshift Spectrum antes del 14 de agosto de 2017, las bases de datos y las tablas se almacenan en un catálogo gestionado por Athena, que es independiente del catálogo de datos de Glue. AWS Para integrar Amazon EMR con estas tablas, debe actualizar al catálogo de datos de AWS Glue. Para obtener más información, consulte Actualización al catálogo de datos de AWS Glue en la Guía del usuario de Amazon Athena.

Especificar AWS Glue Data Catalog como metastore

Puedes especificar el catálogo de datos de AWS Glue como metastore mediante la AWS Management Console API AWS CLI, o Amazon EMR. Cuando utiliza la CLI o la API, utiliza la clasificación de configuración de Presto para especificar el Catálogo de datos. Además, con Amazon EMR 5.16.0 y versiones posteriores, puede usar la clasificación de configuración para especificar un catálogo de datos en otro. Cuenta de AWS Cuando utiliza la consola, puede especificar el Catálogo de datos mediante Opciones avanzadas u Opciones rápidas.

New console

Para especificar AWS Glue Data Catalog como el metaalmacén de Hive con la nueva consola

1. Inicie sesión en la AWS Management Console consola Amazon EMR y ábrala en https://console.aws.amazon.com/emr.

2. En EMR en EC2 situado en el panel de navegación izquierdo, elija Clústeres y, a continuación, elija Crear clúster.

3. En Paquete de aplicaciones, seleccione Presto.

4. En la Configuración del Catálogo de datos de AWS Glue, active la casilla de verificación Utilizar para los metadatos de la tabla de Presto.

5. Elija cualquier otra opción que se aplique a su clúster.

6. Para lanzar el clúster, elija Crear clúster.

Old console

Para especificar el catálogo de datos de AWS Glue como el metaalmacén de Presto predeterminado con la consola anterior

1. Vaya hasta la nueva consola de Amazon EMR y seleccione Ir a la consola antigua en el panel de navegación lateral. Para más información sobre lo que puede esperar al cambiar a la consola antigua, consulte Uso de la consola antigua.

2. Elija Crear clúster e Ir a las opciones avanzadas.

3. En Software Configuration (Configuración de software), elija la Release (Versión) emr-5.10-0 o posterior y seleccione Presto.

4. Seleccione Use for Presto table metadata (Usar para metadatos de la tabla de Presto), elija Next (Siguiente) y, a continuación, especifique las demás opciones del clúster que sean necesarias para su aplicación.

CLI

Para especificar el catálogo de datos de AWS Glue como el metastore de Hive predeterminado mediante el AWS CLI

Para ver ejemplos de cómo especificar las siguientes clasificaciones de configuración al crear un clúster, consulte Configuración de aplicaciones.

Versiones 5.16.0 y posteriores de Amazon EMR

• Establezca la propiedad hive.metastore en glue, tal y como se muestra en el siguiente ejemplo de JSON.

  [
    {
      "Classification": "presto-connector-hive",
      "Properties": {
        "hive.metastore": "glue"
      }
    }
  ]

  Para especificar un catálogo de datos en otro Cuenta de AWS, añada la hive.metastore.glue.catalogid propiedad como se muestra en el siguiente ejemplo de JSON. Sustituya acct-id por la cuenta de AWS del Catálogo de datos. El uso de un Catálogo de datos de otra Cuenta de AWS no está disponible con la versión 5.15.0 y anteriores de Amazon EMR.

  [
    {
      "Classification": "presto-connector-hive",
      "Properties": {
        "hive.metastore": "glue",
        "hive.metastore.glue.catalogid": "acct-id"
      }
    }
  ]

  Amazon EMR 5.10.0 a 5.15.0

  Establezca la propiedad hive.metastore.glue.datacatalog.enabled en true, tal y como se muestra en el siguiente ejemplo de JSON:

  [
    {
      "Classification": "presto-connector-hive",
      "Properties": {
        "hive.metastore.glue.datacatalog.enabled": "true"
      }
    }
  ]

  Amazon EMR 6.1.0 y versiones posteriores con PrestoSQL (Trino)

  A partir de la versión 6.1.0 de EMR, PrestoSQL también admite Glue como metaalmacén predeterminado de Hive. Utilice la clasificación de configuración prestosql-connector-hive para establecer la propiedad hive.metastore en glue, tal y como se muestra en el siguiente ejemplo de JSON.

  Las versiones 6.4.0 y posteriores de Amazon EMR utilizan el nuevo nombre Trino en lugar de PrestoSQL. Si usa Trino, sustituya prestosql-connector-hive en la siguiente clasificación de configuración por trino-connector-hive.

  [
    {
      "Classification": "prestosql-connector-hive",
      "Properties": {
        "hive.metastore": "glue"
      }
    }
  ]

Para cambiar los metaalmacenes de un clúster de ejecución prolongada, puede establecer manualmente estos valores según corresponda para su versión conectándose al nodo principal, editando los valores de propiedad del archivo /etc/presto/conf/catalog/hive.properties directamente y reiniciando el servidor de Presto (sudo restart presto-server). Si utiliza este método con Amazon EMR 5.15.0 y versiones anteriores, asegúrese de que hive.table-statistics-enabled esté establecido en false. Esta configuración no es necesaria cuando se utilizan las versiones 5.16.0 y posteriores; no obstante, no se admiten las estadísticas de tablas y particiones.

Permisos de IAM

El perfil de instancia EC2 de un clúster debe tener permisos de IAM para las acciones de AWS Glue. Además, si habilita el cifrado de los objetos del catálogo de datos de AWS Glue, el rol también debe poder cifrar, descifrar y generar lo que AWS KMS key se utiliza para el cifrado.

Permisos para las acciones de AWS Glue

Si utiliza el perfil de instancia de EC2 predeterminado para Amazon EMR, no se requiere ninguna acción. La política AmazonElasticMapReduceforEC2Role gestionada que se adjunta a la EMR_EC2_DefaultRole permite todas las acciones de AWS Glue necesarias. Sin embargo, si especifica un perfil y permisos de instancia EC2 personalizados, debe configurar las acciones de AWS Glue adecuadas. Utilice la política administrada AmazonElasticMapReduceforEC2Role como punto de partida. Para más información, consulte Rol de servicio para instancias de EC2 del clúster (perfil de instancia de EC2) en la Guía de administración de Amazon EMR.

Permisos para cifrar y descifrar AWS Glue Data Catalog

El perfil de instancia necesita permiso para cifrar y descifrar los datos con su clave. No es necesario configurar estos permisos si se cumplen las dos instrucciones siguientes:

• Para activar el cifrado de los objetos del catálogo de datos de AWS Glue, utilice claves gestionadas para AWS Glue.

• Usas un clúster que está en el mismo lugar Cuenta de AWS que el catálogo de datos de AWS Glue.

De lo contrario, debe agregar la siguiente instrucción a la política de permisos adjunta al perfil de instancia de EC2.

[
    {
        "Version": "2012-10-17",
        "Statement": [
            {
                "Effect": "Allow",
                "Action": [
                    "kms:Decrypt",
                    "kms:Encrypt",
                    "kms:GenerateDataKey"
                ],
                "Resource": "arn:aws:kms:region:acct-id:key/12345678-1234-1234-1234-123456789012"
            }
        ]
    }
]

Para obtener más información sobre el cifrado del catálogo de datos de AWS Glue, consulte Cómo cifrar el catálogo de datos en la Guía para desarrolladores de AWS Glue.

Permisos basados en recursos

Si usa AWS Glue junto con Hive, Spark o Presto en Amazon EMR, AWS Glue admite políticas basadas en recursos para controlar el acceso a los recursos del catálogo de datos. Estos recursos incluyen bases de datos, tablas, conexiones y funciones definidas por el usuario. Para obtener más información, consulte Políticas de recursos de AWS Glue en la Guía para desarrolladores de AWS Glue.

Al utilizar políticas basadas en recursos para limitar el acceso a AWS Glue desde Amazon EMR, el principal que especifique en la política de permisos debe ser el ARN del rol asociado al perfil de instancia EC2 que se especifica cuando se crea un clúster. Por ejemplo, para una política basada en recursos adjunta a un catálogo, puede especificar el ARN del rol para el rol de servicio predeterminado para las instancias EC2 del clúster, EMR_EC2_ DefaultRole como el, utilizando el formato que se muestra en el Principal siguiente ejemplo:

arn:aws:iam::acct-id:role/EMR_EC2_DefaultRole

El identificador de la cuenta puede ser diferente del identificador de la cuenta de AWS Glue. Esto permite el acceso desde clústeres de EMR en diferentes cuentas. Puede especificar varias entidades principales, cada una de ellas desde una cuenta diferente.

Consideraciones a la hora de utilizar el Catálogo de datos de AWS Glue

Tenga en cuenta los siguientes elementos cuando utilice AWS Glue Data Catalog como metaalmacén con Presto:

• No se admite el cambio de nombre de las tablas desde AWS Glue.

• Al crear una tabla de Hive sin especificar un valor de LOCATION, los datos de la tabla se almacenan en la ubicación especificada por la propiedad hive.metastore.warehouse.dir. De manera predeterminada, se trata de una ubicación en HDFS. Si otro clúster necesita acceder a la tabla, se produce un error a menos que tenga los permisos adecuados para el clúster que creó la tabla. Además, dado que el almacenamiento en HDFS es transitorio, si el clúster termina, se pierden los datos de la tabla y, por lo tanto, será necesario volver a crearla. Le recomendamos que especifique una LOCATION en Amazon S3 cuando cree una tabla Hive con AWS Glue. Como alternativa, puede utilizar la clasificación de configuración hive-site para especificar una ubicación en Amazon S3 para hive.metastore.warehouse.dir, que se aplica a todas las tablas de Hive. Si se crea una tabla en una ubicación de HDFS y el clúster que la creó sigue ejecutándose, puedes actualizar la ubicación de la tabla a Amazon S3 desde AWS Glue. Para obtener más información, consulte Cómo trabajar con tablas en la consola de AWS Glue en la Guía para desarrolladores de AWS Glue.

• No se admiten valores de partición que contengan comillas y apóstrofes, por ejemplo, PARTITION (owner="Doe's").

• Las estadísticas de columnas son compatibles con emr-5.31.0 y versiones posteriores.

• No se admite el uso de la autorización de Hive. Como alternativa, considere la posibilidad de utilizar políticas basadas en recursos de AWS Glue. Para obtener más información, consulte Uso de políticas basadas en recursos para Amazon EMR Access to Glue AWS Data Catalog.