API de catálogos

La API de catálogos describe las API de creación, eliminación, localización, actualización y creación de listados de catálogos.

Tipos de datos

• Estructura del catálogo

• Estructura CatalogInput

• Estructura TargetRedshiftCatalog

• Estructura CatalogoProperties

• Estructura CatalogPropertiesOutput

• Estructura de DataLakeAccessProperties

• Estructura de DataLakeAccessPropertiesOutput

• Estructura FederatedCatalog

Estructura del catálogo

El objeto de catálogo representa una agrupación lógica de bases de datos en el catálogo de datos de AWS Glue o en un origen federado. Puede crear un catálogo federado de Redshift o un catálogo que contenga enlaces de recursos a bases de datos de Redshift en otra cuenta o región.

Campos

• CatalogId: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  Es el ID del catálogo. Para permitir el acceso al catálogo predeterminado, no debe proporcionar este campo.

• Name (obligatorio): cadena UTF-8, cuya extensión tenga 1 byte como mínimo y 64 bytes como máximo y que coincide con Custom string pattern #25.

  Es el nombre del catálogo. No puede ser el mismo que el ID de la cuenta.

• ResourceArn: cadena UTF-8.

  Es el nombre de recurso de Amazon (ARN) asignado al recurso del catálogo.

• Description: cadena de descripción de un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.

  Cadena de descripción, cuya extensión no sea más de 2048 bytes y que coincida con el patrón de cadena de varias líneas de la dirección URI. Es una descripción del catálogo.

• Parameters: matriz de mapas de pares clave-valor.

  Cada clave es una cadena de claves con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  Cada valor es una cadena UTF-8 que no tiene más de 512000 bytes de largo.

  Matriz de mapas de pares clave-valor que define los parámetros y las propiedades del catálogo.

• CreateTime: marca temporal.

  Es la hora a la que se creó el catálogo.

• UpdateTime: marca temporal.

  Es la hora en la que se actualizó el catálogo por última vez.

• TargetRedshiftCatalog: un objeto TargetRedshiftCatalog.

  Objeto TargetRedshiftCatalog que describe un catálogo de destino para la vinculación de recursos de la base de datos.

• FederatedCatalog: un objeto FederatedCatalog.

  Objeto FederatedCatalog que apunta a una entidad externa al catálogo de datos de AWS Glue.

• CatalogProperties: un objeto CatalogPropertiesOutput.

  Objeto CatalogProperties que especifica las propiedades de acceso al lago de datos y otras propiedades personalizadas.

• CreateTableDefaultPermissions: matriz de objetos PrincipalPermissions.

  Una matriz de objetos PrincipalPermissions. Permite crear un conjunto de permisos predeterminados en las tablas de las entidades principales. Lo utiliza AWS Lake Formation. No se utiliza en el transcurso normal de las operaciones de AWS Glue.

• CreateDatabaseDefaultPermissions: matriz de objetos PrincipalPermissions.

  Una matriz de objetos PrincipalPermissions. Permite crear un conjunto de permisos predeterminados en las bases de datos de las entidades principales. Lo utiliza AWS Lake Formation. No se utiliza en el transcurso normal de las operaciones de AWS Glue.

Estructura CatalogInput

Estructura que describe las propiedades del catálogo.

Campos

• Description: cadena de descripción de un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.

  Cadena de descripción, cuya extensión no sea más de 2048 bytes y que coincida con el patrón de cadena de varias líneas de la dirección URI. Es una descripción del catálogo.

• FederatedCatalog: un objeto FederatedCatalog.

  Un objeto FederatedCatalog. Estructura FederatedCatalog que hace referencia a una entidad externa al catálogo de datos de AWS Glue; por ejemplo, una base de datos de Redshift.

• Parameters: matriz de mapas de pares clave-valor.

  Cada clave es una cadena de claves con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  Cada valor es una cadena UTF-8 que no tiene más de 512000 bytes de largo.

  Matriz de mapas de pares clave-valor que define los parámetros y las propiedades del catálogo.

• TargetRedshiftCatalog: un objeto TargetRedshiftCatalog.

  Objeto TargetRedshiftCatalog que describe un catálogo de destino para la vinculación de recursos.

• CatalogProperties: un objeto CatalogProperties.

  Objeto CatalogProperties que especifica las propiedades de acceso al lago de datos y otras propiedades personalizadas.

• CreateTableDefaultPermissions: matriz de objetos PrincipalPermissions.

  Una matriz de objetos PrincipalPermissions. Permite crear un conjunto de permisos predeterminados en las tablas de las entidades principales. Lo utiliza AWS Lake Formation. Por lo general, se debe establecer de forma explícita como una lista vacía.

• CreateDatabaseDefaultPermissions: matriz de objetos PrincipalPermissions.

  Una matriz de objetos PrincipalPermissions. Permite crear un conjunto de permisos predeterminados en las bases de datos de las entidades principales. Lo utiliza AWS Lake Formation. Por lo general, se debe establecer de forma explícita como una lista vacía.

Estructura TargetRedshiftCatalog

Estructura que describe un catálogo de destino para la vinculación de recursos.

Campos

• CatalogArn – Obligatorio: cadena UTF-8.

  El nombre de recurso de Amazon (ARN) del recurso de catálogo.

Estructura CatalogoProperties

Estructura que especifica las propiedades de acceso al lago de datos y otras propiedades personalizadas.

Campos

• DataLakeAccessProperties: un objeto DataLakeAccessProperties.

  Objeto DataLakeAccessProperties que especifica las propiedades para configurar el acceso al lago de datos del recurso de catálogo en el catálogo de datos de AWS Glue.

• CustomProperties: matriz de mapas de pares clave-valor.

  Cada clave es una cadena de claves con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  Cada valor es una cadena UTF-8 que no tiene más de 512000 bytes de largo.

  Propiedades de valores clave adicionales para el catálogo, como las optimizaciones de las estadísticas de columnas.

Estructura CatalogPropertiesOutput

Atributos de propiedad que incluyen las propiedades de configuración del recurso del catálogo.

Campos

• DataLakeAccessProperties: un objeto DataLakeAccessPropertiesOutput.

  Objeto DataLakeAccessProperties con propiedades de entrada para configurar el acceso al lago de datos del recurso de catálogo en el catálogo de datos de AWS Glue.

• CustomProperties: matriz de mapas de pares clave-valor.

  Cada clave es una cadena de claves con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  Cada valor es una cadena UTF-8 que no tiene más de 512000 bytes de largo.

  Propiedades de valores clave adicionales para el catálogo, como las optimizaciones de las estadísticas de columnas.

Estructura de DataLakeAccessProperties

Propiedades de entrada para configurar el acceso al lago de datos del recurso de catálogo en el catálogo de datos de AWS Glue.

Campos

• DataLakeAccess: booleano.

  Permite activar o desactivar el acceso al lago de datos en las aplicaciones de Apache Spark que acceden a las bases de datos de Amazon Redshift del catálogo de datos desde cualquier motor que no sea Redshift, como Amazon Athena, Amazon EMR o ETL AWS Glue.

• DataTransferRole: cadena UTF-8 que coincide con el Custom string pattern #51.

  Rol que asumirá AWS Glue para realizar la transferencia de datos hacia o desde el bucket transitorio durante una consulta.

• KmsKey: cadena UTF-8.

  Clave de cifrado que se utilizará en el bucket transitorio y que se creará junto con el catálogo.

• CatalogType: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  Especifica un tipo de catálogo federado para el recurso de catálogo nativo. El tipo que se admite actualmente es aws:redshift.

Estructura de DataLakeAccessPropertiesOutput

Propiedades de salida para configurar el acceso al lago de datos del recurso de catálogo en el catálogo de datos de AWS Glue.

Campos

• DataLakeAccess: booleano.

  Permite activar o desactivar el acceso al lago de datos en las aplicaciones de Apache Spark que acceden a las bases de datos de Amazon Redshift del catálogo de datos.

• DataTransferRole: cadena UTF-8 que coincide con el Custom string pattern #51.

  Rol que asumirá AWS Glue para realizar la transferencia de datos hacia o desde el bucket transitorio durante una consulta.

• KmsKey: cadena UTF-8.

  Clave de cifrado que se utilizará en el bucket transitorio y que se creará junto con el catálogo.

• ManagedWorkgroupName: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  Es el nombre de computación administrado de Redshift sin servidor que se crea para el recurso de catálogo.

• ManagedWorkgroupStatus: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  Es el estado de computación administrado de Redshift sin servidor.

• RedshiftDatabaseName: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  Es el nombre predeterminado del recurso de base de datos de Redshift en la computación administrada.

• StatusMessage: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  Mensaje que proporciona información más detallada sobre el estado del grupo de trabajo administrado.

• CatalogType: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  Especifica un tipo de catálogo federado para el recurso de catálogo nativo. El tipo que se admite actualmente es aws:redshift.

Estructura FederatedCatalog

Catálogo que apunta a una entidad externa al catálogo de datos de AWS Glue.

Campos

• Identifier: cadena UTF-8, con 1 byte de largo como mínimo y 512 bytes de largo como máximo, que coincide con el Single-line string pattern.

  Identificador único del catálogo federado.

• ConnectionName: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  Es el nombre de la conexión a un origen de datos externo; por ejemplo, un catálogo federado de Redshift.

Operaciones

• Acción CreateCatalog (Python: create_catalog)

• Acción UpdateCatalog (Python: update_catalog)

• Acción DeleteCatalog (Python: delete_catalog)

• Acción GetCatalog (Python: get_catalog)

• Acción GetCatalogs (Python: get_catalogs)

Acción CreateCatalog (Python: create_catalog)

Permite crear un nuevo catálogo en el catálogo de datos de AWS Glue.

Solicitud

• Name (obligatorio): cadena UTF-8, cuya extensión tenga 1 byte como mínimo y 64 bytes como máximo y que coincide con Custom string pattern #25.

  Nombre del catálogo que se va a crear.

• CatalogInput: obligatorio: objeto CatalogInput.

  Objeto CatalogInput que define los metadatos del catálogo.

• Tags: matriz de mapas de pares de clave-valor, con 50 pares como máximo.

  Cada clave es una cadena UTF-8 con una longitud de entre 1 y 128 bytes.

  Cada valor es una cadena UTF-8 que no tiene más de 256 bytes de largo.

  Matriz de mapas de pares clave-valor, con 50 pares como máximo. Cada clave es una cadena UTF-8 con una longitud de entre 1 y 128 bytes. Cada valor es una cadena UTF-8 que no tiene más de 256 bytes de largo. Son las etiquetas que asigna al catálogo.

Respuesta

• Sin parámetros de respuesta.

Errores

• InvalidInputException

• AlreadyExistsException

• ResourceNumberLimitExceededException

• InternalServiceException

• OperationTimeoutException

• GlueEncryptionException

• ConcurrentModificationException

• AccessDeniedException

• EntityNotFoundException

• FederatedResourceAlreadyExistsException

• FederationSourceException

Acción UpdateCatalog (Python: update_catalog)

Permite actualizar las propiedades de un catálogo existente en el catálogo de datos de AWS Glue.

Solicitud

• CatalogId: Obligatorio: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  Es el ID del catálogo.

• CatalogInput: obligatorio: objeto CatalogInput.

  Objeto CatalogInput que especifica las propiedades nuevas de un catálogo existente.

Respuesta

• Sin parámetros de respuesta.

Errores

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

• GlueEncryptionException

• ConcurrentModificationException

• AccessDeniedException

• FederationSourceException

Acción DeleteCatalog (Python: delete_catalog)

Permite eliminar el catálogo especificado del catálogo de datos de AWS Glue.

Después de completar esta operación, ya no tendrá acceso a las bases de datos, tablas (y todas las versiones y particiones de tabla que podrían pertenecer a las tablas) ni a las funciones definidas por el usuario en el catálogo eliminado. AWS Glue elimina estos recursos “huérfanos” de manera asíncrona y oportuna, según lo solicite el servicio.

Para garantizar la eliminación inmediata de todos los recursos relacionados, antes de llamar a la operación DeleteCatalog, use DeleteTableVersion (o BatchDeleteTableVersion), DeletePartition (o BatchDeletePartition), DeleteTable (o BatchDeleteTable), DeleteUserDefinedFunction y DeleteDatabase para eliminar todos los recursos que pertenezcan al catálogo.

Solicitud

• CatalogId: Obligatorio: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  Es el ID del catálogo.

Respuesta

• Sin parámetros de respuesta.

Errores

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

• GlueEncryptionException

• ConcurrentModificationException

• AccessDeniedException

• FederationSourceException

Acción GetCatalog (Python: get_catalog)

Es el nombre del catálogo que se va a recuperar. Debe estar todo en minúsculas.

Solicitud

• CatalogId: Obligatorio: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  ID del catálogo principal donde reside el catálogo. Si no se proporciona ninguno, se usará de forma predeterminada el número de cuenta de AWS.

Respuesta

• Catalog: un objeto Catálogo.

  Un objeto Catalog. Definición del catálogo especificado en el catálogo de datos de AWS Glue.

Errores

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• GlueEncryptionException

• AccessDeniedException

• EntityNotFoundException

• FederationSourceException

• FederationSourceRetryableException

Acción GetCatalogs (Python: get_catalogs)

Permite recuperar todos los catálogos definidos en un catálogo del catálogo de datos de AWS Glue. Para un caso de uso de un catálogo federado por Redshift, esta operación devuelve la lista de catálogos asignados a las bases de datos de Redshift en el catálogo de espacios de nombres de Redshift.

Solicitud

• ParentCatalogId: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.

  ID del catálogo principal donde reside el catálogo. Si no se proporciona ninguno, se usará de forma predeterminada el número de cuenta de AWS.

• NextToken: cadena UTF-8.

  Token de continuación si se trata de una llamada de continuidad.

• MaxResults: número (entero) que no es inferior a 1 ni es superior a 1000.

  Número máximo de catálogos que se devuelven en una respuesta.

• Recursive: booleano.

  Si se especifica como “true”, se itera sobre la cuenta y devuelve todos los recursos del catálogo (incluidos los recursos de nivel superior y los recursos secundarios).

Respuesta

• CatalogList (obligatorio): una matriz de objetos Catálogo.

  Una matriz de objetos Catalog. Lista de objetos Catalog del catálogo principal especificado.

• NextToken: cadena UTF-8.

  Token de continuación para paginar la lista de tokens obtenida; se devuelve si el segmento actual de la lista no es el último.

Errores

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

• GlueEncryptionException

• AccessDeniedException

• EntityNotFoundException

• FederationSourceException

• FederationSourceRetryableException