La API del optimizador de tablas describe la API de AWS Glue que permite la compactación para mejorar el rendimiento de lectura.
Tipos de datos
Estructura de TableOptimizer
Contiene detalles sobre un optimizador asociado a una tabla.
Campos
-
type: cadena UTF-8 (valores válidos:compaction="COMPACTION"|retention="RETENTION"|orphan_file_deletion="ORPHAN_FILE_DELETION").El tipo de optimizador de tabla. Los valores válidos son:
-
compaction: para administrar la compactación con un optimizador de tablas. -
retention: para administrar la retención de instantáneas con un optimizador de tablas. -
orphan_file_deletion: para administrar la eliminación de archivos huérfanos con un optimizador de tablas.
-
-
configuration: un objeto TableOptimizerConfiguration.Un objeto
TableOptimizerConfigurationque se especificó al crear o actualizar un optimizador de tablas. -
lastRun: un objeto TableOptimizerRun.Un objeto
TableOptimizerRunque representa la última ejecución del optimizador de tablas.
Estructura de TableOptimizerConfiguration
Contiene detalles sobre la configuración de un optimizador de tablas. Esta configuración se transfiere al crear o actualizar un optimizador de tablas.
Campos
-
roleArn: cadena UTF-8, con 20 bytes como mínimo o más de 2048 bytes de largo, que coincide con el Single-line string pattern.Un rol transferido por la persona que llama y que permite al servicio actualizar los recursos asociados al optimizador en nombre de la persona que llama.
-
enabled: booleano.Si la optimización de tablas está habilitada.
-
vpcConfiguration: un objeto TableOptimizerVpcConfiguration.Un objeto
TableOptimizerVpcConfigurationque representa la configuración de la VPC para un optimizador de tablas.Esta configuración es necesaria para llevar a cabo la optimización en las tablas que se encuentran en una VPC del cliente.
-
retentionConfiguration: un objeto RetentionConfiguration.Configuración de un optimizador de retención de instantáneas.
-
orphanFileDeletionConfiguration: un objeto OrphanFileDeletionConfiguration.Configuración de un optimizador de eliminación de archivos huérfanos.
Estructura de TableOptimizerVpcConfiguration
Un objeto que describe la configuración de la VPC para un optimizador de tablas.
Esta configuración es necesaria para llevar a cabo la optimización en las tablas que se encuentran en una VPC del cliente.
Campos
-
glueConnectionName: cadena UTF-8 de 1 byte de largo como mínimo.El nombre de la conexión de AWS Glue usada para la VPC del optimizador de tablas.
Estructura de TableOptimizerRun
Contiene detalles de una ejecución del optimizador de tablas.
Campos
-
eventType: cadena UTF-8 (valores válidos:starting="STARTING"|completed="COMPLETED"|failed="FAILED"|in_progress="IN_PROGRESS").Un tipo de evento que representa el estado de la ejecución del optimizador de tablas.
-
startTimestamp: marca temporal.Representa la marca temporal de la época en la que se inició el trabajo de compactación en Lake Formation.
-
endTimestamp: marca temporal.Representa la marca temporal de la época en la que finalizó el trabajo de compactación.
-
metrics: un objeto RunMetrics.Un objeto
RunMetricsque contiene las métricas de la ejecución del optimizador.Este miembro ya no está disponible. Consulte los miembros individuales de la métrica para la compactación, la retención y la eliminación de archivos huérfanos.
-
error: cadena UTF-8.Un error que se produjo durante la ejecución del optimizador.
-
compactionMetrics: un objeto CompactionMetrics.Un objeto
CompactionMetricsque contiene las métricas de la ejecución del optimizador. -
retentionMetrics: un objeto RetentionMetrics.Un objeto
RetentionMetricsque contiene las métricas de la ejecución del optimizador. -
orphanFileDeletionMetrics: un objeto OrphanFileDeletionMetrics.Objeto
OrphanFileDeletionMetricsque contiene las métricas de la ejecución del optimizador.
Estructura de BatchGetTableOptimizerEntry
Representa un optimizador de tablas que se va a recuperar en la operación BatchGetTableOptimizer.
Campos
-
catalogId: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de catálogo de la tabla.
-
databaseName: cadena UTF-8 de 1 byte de largo como mínimo.El nombre de la base de datos en el catálogo donde reside la tabla.
-
tableName: cadena UTF-8 de 1 byte de largo como mínimo.El nombre de la tabla.
-
type: cadena UTF-8 (valores válidos:compaction="COMPACTION"|retention="RETENTION"|orphan_file_deletion="ORPHAN_FILE_DELETION").El tipo de optimizador de tabla.
Estructura de BatchTableOptimizer
Contiene detalles de uno de los optimizadores de tablas devueltos por la operación BatchGetTableOptimizer.
Campos
-
catalogId: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de catálogo de la tabla.
-
databaseName: cadena UTF-8 de 1 byte de largo como mínimo.El nombre de la base de datos en el catálogo donde reside la tabla.
-
tableName: cadena UTF-8 de 1 byte de largo como mínimo.El nombre de la tabla.
-
tableOptimizer: un objeto TableOptimizer.Un objeto
TableOptimizerque contiene detalles sobre la configuración y la última ejecución de un optimizador de tabla.
Estructura de BatchGetTableOptimizerError
Contiene detalles sobre uno de los errores de la lista de errores devuelta por la operación BatchGetTableOptimizer.
Campos
-
error: un objeto ErrorDetail.Un objeto
ErrorDetailque contiene detalles de mensaje y código acerca del error. -
catalogId: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de catálogo de la tabla.
-
databaseName: cadena UTF-8 de 1 byte de largo como mínimo.El nombre de la base de datos en el catálogo donde reside la tabla.
-
tableName: cadena UTF-8 de 1 byte de largo como mínimo.El nombre de la tabla.
-
type: cadena UTF-8 (valores válidos:compaction="COMPACTION"|retention="RETENTION"|orphan_file_deletion="ORPHAN_FILE_DELETION").El tipo de optimizador de tabla.
Estructura de RetentionConfiguration
Configuración de un optimizador de retención de instantáneas.
Campos
-
icebergConfiguration: un objeto IcebergRetentionConfiguration.Configuración de un optimizador de retención de instantáneas de Iceberg.
Estructura de IcebergRetentionConfiguration
Configuración de un optimizador de retención de instantáneas de Iceberg.
Campos
-
snapshotRetentionPeriodInDays: número (entero).Número de días que se retienen las instantáneas de Iceberg. Si no se proporciona ninguna entrada, se utilizará el campo de configuración de la tabla de Iceberg correspondiente o, si no está presente, se utilizará el valor predeterminado 5.
-
numberOfSnapshotsToRetain: número (entero).Número de instantáneas de Iceberg que se van a retener durante el periodo de retención. Si no se proporciona ninguna entrada, se utilizará el campo de configuración de la tabla de Iceberg correspondiente o, si no está presente, se utilizará el valor predeterminado 1.
-
cleanExpiredFiles: booleano.Si se establece en falso, las instantáneas solo se eliminan de los metadatos de la tabla y no se eliminan los archivos de datos y metadatos subyacentes.
Estructura de OrphanFileDeletionConfiguration
Configuración de un optimizador de eliminación de archivos huérfanos.
Campos
-
icebergConfiguration: un objeto IcebergOrphanFileDeletionConfiguration.Configuración de un optimizador de eliminación de archivos huérfanos de Iceberg.
Estructura de IcebergOrphanFileDeletionConfiguration
Configuración de un optimizador de eliminación de archivos huérfanos de Iceberg.
Campos
-
orphanFileRetentionPeriodInDays: número (entero).Número de días que deben retenerse los archivos huérfanos antes de eliminarlos. Si no se proporciona ninguna entrada, se utiliza el valor predeterminado 3.
-
location: cadena UTF-8.Especifica un directorio en el que buscar los archivos (por defecto es la ubicación de la tabla). Puede elegir un subdirectorio en lugar de la ubicación de la tabla de nivel superior.
Estructura de CompactionMetrics
Estructura que contiene las métricas de compactación de la ejecución del optimizador.
Campos
-
IcebergMetrics: un objeto IcebergCompactionMetrics.Estructura que contiene las métricas de compactación de Iceberg de la ejecución del optimizador.
Estructura de RetentionMetrics
Estructura que contiene las métricas de retención de la ejecución del optimizador.
Campos
-
IcebergMetrics: un objeto IcebergRetentionMetrics.Estructura que contiene las métricas de retención de Iceberg de la ejecución del optimizador.
Estructura de OrphanFileDeletionMetrics
Estructura que contiene las métricas de eliminación de archivos huérfanos de la ejecución del optimizador.
Campos
-
IcebergMetrics: un objeto IcebergOrphanFileDeletionMetrics.Estructura que contiene las métricas de eliminación de archivos huérfanos de Iceberg de la ejecución del optimizador.
Estructura de IcebergCompactionMetrics
Métricas de compactación de Iceberg de la ejecución del optimizador.
Campos
-
NumberOfDpus: número (entero).El número de horas de DPU consumidas por el trabajo.
-
JobDurationInHour: número (doble).La duración del trabajo en horas.
Estructura de IcebergRetentionMetrics
Métricas de retención de instantáneas de Iceberg de la ejecución del optimizador.
Campos
-
NumberOfDpus: número (entero).El número de horas de DPU consumidas por el trabajo.
-
JobDurationInHour: número (doble).La duración del trabajo en horas.
Estructura de IcebergOrphanFileDeletionMetrics
Métricas de eliminación de archivos huérfanos de Iceberg de la ejecución del optimizador.
Campos
-
NumberOfDpus: número (entero).El número de horas de DPU consumidas por el trabajo.
-
JobDurationInHour: número (doble).La duración del trabajo en horas.
Estructura RunMetrics
Métricas de la ejecución del optimizador.
Esta estructura está obsoleta. Consulte los miembros individuales de la métrica para la compactación, la retención y la eliminación de archivos huérfanos.
Campos
-
NumberOfBytesCompacted: cadena UTF-8.El número de bytes eliminados por la ejecución del trabajo de compactación.
-
NumberOfFilesCompacted: cadena UTF-8.El número de archivos eliminados por la ejecución del trabajo de compactación.
-
NumberOfDpus: cadena UTF-8.El número de horas de DPU consumidas por el trabajo.
-
JobDurationInHour: cadena UTF-8.La duración del trabajo en horas.
Operaciones
Acción GetTableOptimizer (Python: get_table_optimizer)
Devuelve la configuración de todos los optimizadores asociados a una tabla especificada.
Solicitud
-
CatalogId: Obligatorio: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de catálogo de la tabla.
-
DatabaseName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la base de datos en el catálogo donde reside la tabla.
-
TableName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la tabla.
-
Type– Obligatorio: cadena UTF-8 (valores válidos:compaction="COMPACTION"|retention="RETENTION"|orphan_file_deletion="ORPHAN_FILE_DELETION").El tipo de optimizador de tabla.
Respuesta
-
CatalogId: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de catálogo de la tabla.
-
DatabaseName: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la base de datos en el catálogo donde reside la tabla.
-
TableName: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la tabla.
-
TableOptimizer: un objeto TableOptimizer.El optimizador asociado a la tabla especificada.
Errores
EntityNotFoundExceptionInvalidInputExceptionAccessDeniedExceptionInternalServiceExceptionThrottlingException
Acción BatchGetTableOptimizer (Python: batch_get_table_optimizer)
Devuelve la configuración de los optimizadores de la tabla especificados.
Solicitud
-
Entries(obligatorio): una matriz de objetos BatchGetTableOptimizerEntry.Una lista de objetos
BatchGetTableOptimizerEntryque especifican los optimizadores de tabla que se van a recuperar.
Respuesta
-
TableOptimizers: matriz de objetos BatchTableOptimizer.Una lista de objetos
BatchTableOptimizer. -
Failures: matriz de objetos BatchGetTableOptimizerError.Una lista de errores de la operación.
Errores
EntityNotFoundExceptionInvalidInputExceptionAccessDeniedExceptionInternalServiceExceptionThrottlingException
Acción ListTableOptimizerRuns (Python: list_table_optimizer_runs)
Muestra el historial de las ejecuciones anteriores del optimizador para una tabla específica.
Solicitud
-
CatalogId: Obligatorio: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de catálogo de la tabla.
-
DatabaseName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la base de datos en el catálogo donde reside la tabla.
-
TableName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la tabla.
-
Type– Obligatorio: cadena UTF-8 (valores válidos:compaction="COMPACTION"|retention="RETENTION"|orphan_file_deletion="ORPHAN_FILE_DELETION").El tipo de optimizador de tabla.
-
MaxResults: número (entero).El número máximo de ejecuciones del optimizador que se devolverán en cada llamada.
-
NextToken: cadena UTF-8.Token de continuación si se trata de una llamada de continuidad.
Respuesta
-
CatalogId: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de catálogo de la tabla.
-
DatabaseName: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la base de datos en el catálogo donde reside la tabla.
-
TableName: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la tabla.
-
NextToken: cadena UTF-8.Token de continuación para paginar la lista obtenida; se devuelve si el segmento actual de la lista no es el último.
-
TableOptimizerRuns: matriz de objetos TableOptimizerRun.Lista de las ejecuciones del optimizador asociadas a una tabla.
Errores
EntityNotFoundExceptionAccessDeniedExceptionInvalidInputExceptionValidationExceptionInternalServiceExceptionThrottlingException
Cción CreateTableOptimizer (Python: create_table_optimizer)
Crea un nuevo optimizador de tablas para una función específica.
Solicitud
-
CatalogId: Obligatorio: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de catálogo de la tabla.
-
DatabaseName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la base de datos en el catálogo donde reside la tabla.
-
TableName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la tabla.
-
Type– Obligatorio: cadena UTF-8 (valores válidos:compaction="COMPACTION"|retention="RETENTION"|orphan_file_deletion="ORPHAN_FILE_DELETION").El tipo de optimizador de tabla.
-
TableOptimizerConfiguration: obligatorio: objeto TableOptimizerConfiguration.Un objeto
TableOptimizerConfigurationque representa la configuración de un optimizador de tablas.
Respuesta
Sin parámetros de respuesta.
Errores
EntityNotFoundExceptionValidationExceptionInvalidInputExceptionAccessDeniedExceptionAlreadyExistsExceptionInternalServiceExceptionThrottlingException
Acción DeleteTableOptimizer (Python: delete_table_optimizer)
Elimina un optimizador y todos los metadatos asociados a una tabla. La optimización ya no se realizará en la tabla.
Solicitud
-
CatalogId: Obligatorio: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de catálogo de la tabla.
-
DatabaseName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la base de datos en el catálogo donde reside la tabla.
-
TableName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la tabla.
-
Type– Obligatorio: cadena UTF-8 (valores válidos:compaction="COMPACTION"|retention="RETENTION"|orphan_file_deletion="ORPHAN_FILE_DELETION").El tipo de optimizador de tabla.
Respuesta
Sin parámetros de respuesta.
Errores
EntityNotFoundExceptionInvalidInputExceptionAccessDeniedExceptionInternalServiceExceptionThrottlingException
Acción UpdateTableOptimizer (Python: update_table_optimizer)
Actualiza la configuración de un optimizador de tablas existente.
Solicitud
-
CatalogId: Obligatorio: cadena de ID de catálogo, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de catálogo de la tabla.
-
DatabaseName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la base de datos en el catálogo donde reside la tabla.
-
TableName: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la tabla.
-
Type– Obligatorio: cadena UTF-8 (valores válidos:compaction="COMPACTION"|retention="RETENTION"|orphan_file_deletion="ORPHAN_FILE_DELETION").El tipo de optimizador de tabla.
-
TableOptimizerConfiguration: obligatorio: objeto TableOptimizerConfiguration.Un objeto
TableOptimizerConfigurationque representa la configuración de un optimizador de tablas.
Respuesta
Sin parámetros de respuesta.
Errores
EntityNotFoundExceptionInvalidInputExceptionAccessDeniedExceptionValidationExceptionInternalServiceExceptionThrottlingExceptionConcurrentModificationException
