Integración con otros servicios de AWS

Si bien puede usar los Rastreador de AWS Glue para completar el AWS Glue Data Catalog, hay varios servicios de AWS que pueden integrarse con el catálogo y completarlo automáticamente. En las siguientes secciones se proporciona más información sobre los casos de uso específicos compatibles con los servicios de AWS que pueden completar el Catálogo de datos.

AWS Lake Formation

AWS Lake Formation es un servicio que facilita la configuración de un lago de datos seguro en AWS. Lake Formation se basa en AWS Glue, y ambos comparten el mismo AWS Glue Data Catalog. Puede registrar la ubicación de sus datos de Amazon S3 con Lake Formation y usar la consola de Lake Formation para crear bases de datos y tablas en el Catálogo de datos de AWS Glue, definir políticas de acceso a los datos y auditar el acceso a estos en todo su lago de datos desde un solo lugar. Puede utilizar el control de acceso detallado de Lake Formation para gestionar los recursos del Catálogo de datos existentes y las ubicaciones de datos de Amazon S3.

Si registra los datos con Lake Formation, puede compartir de forma segura los recursos del Catálogo de datos entre las entidades principales de IAM, cuentas de AWS, organizaciones de AWS y unidades organizativas.

Para obtener más información sobre cómo crear recursos en el Catálogo de datos con Lake Formation, consulte Creación de tablas y bases de datos del Catálogo de datos en la Guía para desarrolladores de AWS Lake Formation.

Amazon Athena

Amazon Athena usa el Catálogo de datos para almacenar y recuperar metadatos de tablas para los datos de Amazon S3 en su cuenta de AWS. Los metadatos de la tabla permiten al motor de consultas de Athena saber cómo buscar, leer y procesar los datos que desea consultar.

Para completar el AWS Glue Data Catalog, puede usar directamente las instrucciones de Athena para CREATE TABLE. Puede definir y completar manualmente los metadatos del esquema y la partición en el Catálogo de datos sin necesidad de ejecutar un rastreador.

1. En la consola de Athena, cree una base de datos que almacene los metadatos de la tabla en el Catálogo de datos.

2. Use la instrucción CREATE EXTERNAL TABLE para definir el esquema del origen de datos.

3. Use la cláusula PARTITIONED BY para definir las claves de partición si sus datos están particionados.

4. Use la cláusula LOCATION para especificar la ruta de Amazon S3 en la que se almacenan sus archivos de datos reales.

5. Ejecute la instrucción CREATE TABLE.

   Esta consulta crea los metadatos de la tabla en el Catálogo de datos en función del esquema y las particiones definidos sin rastrear realmente los datos.

Puede consultar la tabla en Athena, que utilizará los metadatos del Catálogo de datos para acceder a sus archivos de datos en Amazon S3 y consultarlos.

Para obtener más información, consulte Creación de bases de datos y tablas en la Guía del usuario de Amazon Athena.