As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
API Data Quality API
A API Data Quality descreve os tipos de dados de qualidade dos dados e inclui a API para criar, excluir ou atualizar conjuntos de dados, execuções e avaliações de qualidade de dados.
Tipos de dados
DataSource estrutura
Uma fonte de dados (uma AWS Glue tabela) para a qual você deseja resultados de qualidade de dados.
Campos
-
GlueTable
– Obrigatório: um objeto GlueTable.Uma AWS Glue mesa.
DataQualityRulesetListDetails estrutura
Descreve um conjunto de regras de qualidade de dados retornado por GetDataQualityRuleset
.
Campos
-
Name
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do conjunto de regras de qualidade de dados.
-
Description
– String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.Uma descrição do conjunto de regras de qualidade de dados.
-
CreatedOn
– Timestamp.A data e hora da criação do conjunto de regras de qualidade de dados.
-
LastModifiedOn
– Timestamp.A data e hora da modificação do conjunto de regras de qualidade de dados.
-
TargetTable
– Um objeto DataQualityTargetTable.Um objeto representando uma AWS Glue tabela.
-
RecommendationRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Quando um conjunto de regras foi criado de execução de uma recomendação, esse ID de execução é gerado para vincular os dois.
-
RuleCount
– Número (íntegro).O número de regras no conjunto de regras.
DataQualityTargetTable estrutura
Um objeto representando uma AWS Glue tabela.
Campos
-
TableName
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da AWS Glue tabela.
-
DatabaseName
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do banco de dados em que a AWS Glue tabela existe.
-
CatalogId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID do catálogo em que a AWS Glue tabela existe.
DataQualityRulesetEvaluationRunDescription estrutura
Descreve o resultado da avaliação de um conjunto de regras de qualidade de dados.
Campos
-
RunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador de execução único associado a essa execução.
-
Status
– String UTF-8 (valores válidos:STARTING
|RUNNING
|STOPPING
|STOPPED
|SUCCEEDED
|FAILED
|TIMEOUT
).O status dessa execução.
-
StartedOn
– Timestamp.A data e a hora de início da execução.
-
DataSource
– Um objeto DataSource.A fonte de dados (uma AWS Glue tabela) associada à execução.
DataQualityRulesetEvaluationRunFilter estrutura
Os critérios de filtro.
Campos
-
DataSource
– Obrigatório: um objeto DataSource.Filtre com base em uma fonte de dados (uma AWS Glue tabela) associada à execução.
-
StartedBefore
– Timestamp.Filtrar os resultados por execuções iniciadas antes desse horário.
-
StartedAfter
– Timestamp.Filtrar os resultados por execuções iniciadas depois desse horário.
DataQualityEvaluationRunAdditionalRunOptions estrutura
Opções adicionais de execução que você pode especificar para uma execução de avaliação.
Campos
-
CloudWatchMetricsEnabled
– Booleano.Ativar ou não CloudWatch as métricas.
-
ResultsS3Prefix
– String UTF-8.Prefixo para o Amazon S3 para armazenar resultados.
-
CompositeRuleEvaluationMethod
: string UTF-8 (valores válidos:COLUMN
|ROW
).Defina o método de avaliação para regras compostas no conjunto de regras como LINHA/COLUNA
DataQualityRuleRecommendationRunDescription estrutura
Descreve o resultado da avaliação de uma recomendação de regra de qualidade de dados.
Campos
-
RunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador de execução único associado a essa execução.
-
Status
– String UTF-8 (valores válidos:STARTING
|RUNNING
|STOPPING
|STOPPED
|SUCCEEDED
|FAILED
|TIMEOUT
).O status dessa execução.
-
StartedOn
– Timestamp.A data e hora em que essa execução foi iniciada.
-
DataSource
– Um objeto DataSource.A fonte de dados (AWS Glue tabela) associada à execução da recomendação.
DataQualityRuleRecommendationRunFilter estrutura
Um filtro para listar as execuções de recomendação de qualidade de dados.
Campos
-
DataSource
– Obrigatório: um objeto DataSource.Filtrar com base em uma fonte de dados especificada (AWS Glue tabela).
-
StartedBefore
– Timestamp.Filtrar com base na hora dos resultados iniciados antes do horário fornecido.
-
StartedAfter
– Timestamp.Filtrar com base na hora dos resultados iniciados depois do horário fornecido.
DataQualityResult estrutura
Descreve um resultado de qualidade de dados.
Campos
-
ResultId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Um ID de resultado exclusivo para o resultado de qualidade dos dados.
-
Score
: número (double), no máximo 1,0.Uma pontuação de qualidade de dados agregada. Representa a razão de regras que foram aproadas para o número total de regras.
-
DataSource
– Um objeto DataSource.A tabela associada ao resultado de qualidade dos dados, se houver.
-
RulesetName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do conjunto de regras associado ao resultado de qualidade de dados.
-
EvaluationContext
– String UTF-8.No contexto de um trabalho no AWS Glue Studio, cada nó na tela normalmente recebe algum tipo de nome e os nós de qualidade de dados terão nomes. No caso de vários nós, o
evaluationContext
pode diferenciar os nós. -
StartedOn
– Timestamp.A data e hora de início dessa execução de qualidade de dados.
-
CompletedOn
– Timestamp.A data e hora de conclusão dessa execução de qualidade de dados.
-
JobName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do trabalho associado ao resultado de qualidade dos dados, se houver.
-
JobRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID de execução de trabalho associado ao resultado de qualidade dos dados, se houver.
-
RulesetEvaluationRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID de execução exclusivo para a avaliação do conjunto de regras para esse resultado de qualidade de dados.
-
RuleResults
: uma matriz de objetos DataQualityRuleResult, não mais de 2.000 estruturas.Uma lista de objetos do
DataQualityRuleResult
representando os resultados de cada regra. -
AnalyzerResults
: uma matriz de objetos DataQualityAnalyzerResult, não mais de 2.000 estruturas.Uma lista de objetos
DataQualityAnalyzerResult
representando os resultados de cada analisador. -
Observations
– Uma matriz de DataQualityObservation objetos, não mais de 50 estruturas.Uma lista de objetos
DataQualityObservation
representando as observações geradas após a avaliação das regras e dos analisadores.
DataQualityAnalyzerResult estrutura
Descreve o resultado da avaliação de um analisador de qualidade de dados.
Campos
-
Name
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do analisador de qualidade de dados.
-
Description
– String UTF-8 com comprimento não superior a 2048 bytes, correspondente a URI address multi-line string pattern.Uma descrição do analisador de qualidade de dados.
-
EvaluationMessage
– String UTF-8 com comprimento não superior a 2048 bytes, correspondente a URI address multi-line string pattern.Uma mensagem de avaliação.
-
EvaluatedMetrics
– Um array de mapa dos pares de valor-chave.Cada chave é uma string UTF-8, com comprimento entre 1 e 255 bytes, correspondente a Single-line string pattern.
Cada valor é um número (duplo).
Um mapa das métricas associadas à avaliação do analisador.
DataQualityObservation estrutura
Descreve a observação gerada após a avaliação das regras e dos analisadores.
Campos
-
Description
– String UTF-8 com comprimento não superior a 2048 bytes, correspondente a URI address multi-line string pattern.Uma descrição da observação de qualidade de dados.
-
MetricBasedObservation
– Um objeto MetricBasedObservation.Um objeto do tipo
MetricBasedObservation
que representa a observação com base nas métricas de qualidade de dados avaliadas.
MetricBasedObservation estrutura
Descreve a observação baseada em métricas gerada com base nas métricas de qualidade de dados avaliadas.
Campos
-
MetricName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da métrica de qualidade de dados usada para gerar a observação.
-
MetricValues
– Um objeto DataQualityMetricValues.Um objeto do tipo
DataQualityMetricValues
que representa a análise do valor da métrica de qualidade de dados. -
NewRules
– Uma matriz de strings UTF-8.Uma lista de novas regras de qualidade de dados geradas como parte da observação com base no valor da métrica de qualidade de dados.
DataQualityMetricValues estrutura
Descreve o valor da métrica de qualidade de dados de acordo com a análise de dados históricos.
Campos
-
ActualValue
– Número (duplo).O valor real da métrica de qualidade de dados.
-
ExpectedValue
– Número (duplo).O valor esperado da métrica de qualidade de dados de acordo com a análise de dados históricos.
-
LowerLimit
– Número (duplo).O limite inferior do valor da métrica de qualidade de dados de acordo com a análise de dados históricos.
-
UpperLimit
– Número (duplo).O limite superior do valor da métrica de qualidade de dados de acordo com a análise de dados históricos.
DataQualityRuleResult estrutura
Descreve o resultado da avaliação de uma regra de qualidade de dados.
Campos
-
Name
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da regra de qualidade de dados.
-
Description
– String UTF-8 com comprimento não superior a 2048 bytes, correspondente a URI address multi-line string pattern.Uma descrição da regras de qualidade de dados.
-
EvaluationMessage
– String UTF-8 com comprimento não superior a 2048 bytes, correspondente a URI address multi-line string pattern.Uma mensagem de avaliação.
-
Result
– String UTF-8 (valores válidos:PASS
|FAIL
|ERROR
).Um status de aprovação ou reprovação da regra.
-
EvaluatedMetrics
– Um array de mapa dos pares de valor-chave.Cada chave é uma string UTF-8, com comprimento entre 1 e 255 bytes, correspondente a Single-line string pattern.
Cada valor é um número (duplo).
Um mapa das métricas associadas à avaliação da regra.
DataQualityResultDescription estrutura
Descreve um resultado de qualidade de dados.
Campos
-
ResultId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID de resultado exclusivo para esse resultado de qualidade dos dados.
-
DataSource
– Um objeto DataSource.O nome da tabela associada ao resultado de qualidade dos dados.
-
JobName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do trabalho associado ao resultado de qualidade dos dados.
-
JobRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID de execução de trabalho associado ao resultado de qualidade dos dados.
-
StartedOn
– Timestamp.A hora de início da execução desse resultado de qualidade de dados.
DataQualityResultFilterCriteria estrutura
Critérios usados para retornar resultados de qualidade de dados.
Campos
-
DataSource
– Um objeto DataSource.Filtrar os resultados pela fonte de dados especificada. Por exemplo, recuperar todos os resultados de uma AWS Glue tabela.
-
JobName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Filtrar os resultados pelo nome de trabalho especificado.
-
JobRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Filtrar os resultados pelo ID e execução de trabalho especificado.
-
StartedAfter
– Timestamp.Filtrar os resultados por execuções iniciadas depois desse horário.
-
StartedBefore
– Timestamp.Filtrar os resultados por execuções iniciadas antes desse horário.
DataQualityRulesetFilterCriteria estrutura
Os critérios usados para filtrar conjuntos de regras de qualidade de dados.
Campos
-
Name
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome dos critérios de filtro do conjunto de regras.
-
Description
– String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.A descrição dos critérios de filtro do conjunto de regras.
-
CreatedBefore
– Timestamp.Filtrar por conjuntos de regras criados antes dessa data.
-
CreatedAfter
– Timestamp.Filtrar por conjuntos de regras criados depois dessa data.
-
LastModifiedBefore
– Timestamp.Filtrar por conjuntos de dados modificados antes dessa data.
-
LastModifiedAfter
– Timestamp.Filtrar por conjuntos de dados modificados depois dessa data.
-
TargetTable
– Um objeto DataQualityTargetTable.O nome e o nome do banco de dados da tabela de destino.
Operações
StartDataQualityRulesetEvaluationRun ação (Python: start_data_quality_ruleset_evaluation_run)
CancelDataQualityRulesetEvaluationRun ação (Python: cancel_data_quality_ruleset_evaluation_run)
GetDataQualityRulesetEvaluationRun ação (Python: get_data_quality_ruleset_evaluation_run)
ListDataQualityRulesetEvaluationRuns ação (Python: list_data_quality_ruleset_evaluation_runs)
StartDataQualityRuleRecommendationRun ação (Python: start_data_quality_rule_recommendation_run)
CancelDataQualityRuleRecommendationRun ação (Python: cancel_data_quality_rule_recommendation_run)
GetDataQualityRuleRecommendationRun ação (Python: get_data_quality_rule_recommendation_run)
ListDataQualityRuleRecommendationRuns ação (Python: list_data_quality_rule_recommendation_runs)
BatchGetDataQualityResult ação (Python: batch_get_data_quality_result)
ListDataQualityResults ação (Python: list_data_quality_results)
CreateDataQualityRuleset ação (Python: create_data_quality_ruleset)
DeleteDataQualityRuleset ação (Python: delete_data_quality_ruleset)
GetDataQualityRuleset ação (Python: get_data_quality_ruleset)
ListDataQualityRulesets ação (Python: list_data_quality_rulesets)
UpdateDataQualityRuleset ação (Python: update_data_quality_ruleset)
StartDataQualityRulesetEvaluationRun ação (Python: start_data_quality_ruleset_evaluation_run)
Depois de ter uma definição de conjunto de regras (recomendada ou própria), você chama essa operação para avaliar o conjunto de regras em relação a uma fonte de dados (tabela).AWS Glue A avaliação calcula os resultados que você pode recuperar com a API GetDataQualityResult
.
Solicitação
-
DataSource
– Obrigatório: um objeto DataSource.A fonte de dados (AWS Glue tabela) associada a essa execução.
-
Role
– Obrigatório: string UTF-8.Uma IAM função fornecida para criptografar os resultados da execução.
-
NumberOfWorkers
– Número (íntegro).O número de processadores do
G.1X
a serem usados na execução. O padrão é 5. -
Timeout
– Número (inteiro), pelo menos 1.O tempo limite em minutos para uma execução. Esse é o tempo máximo durante o qual uma execução pode consumir recursos antes de ser encerrada e entrar no status
TIMEOUT
. O padrão é 2.880 minutos (48 horas). -
ClientToken
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Usado para idempotência e é recomendado que seja definido como um ID aleatório (como um UUID) para evitar criar ou iniciar várias instâncias do mesmo recurso.
-
AdditionalRunOptions
– Um objeto DataQualityEvaluationRunAdditionalRunOptions.Opções adicionais de execução que você pode especificar para uma execução de avaliação.
-
RulesetNames
- obrigatório: uma matriz de strings UTF-8, não menos que 1 ou mais que 10 strings.Uma lista de nomes de conjuntos de regras.
-
AdditionalDataSources
– Um array de mapa dos pares de valor-chave.Cada chave é uma string UTF-8, com comprimento entre 1 e 255 bytes, correspondente a Single-line string pattern.
Cada valor é um objeto DataSource A.
Um mapa de strings de referência para fontes de dados adicionais que você pode especificar para uma execução de avaliação.
Resposta
-
RunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador de execução único associado a essa execução.
Erros
InvalidInputException
EntityNotFoundException
OperationTimeoutException
InternalServiceException
ConflictException
CancelDataQualityRulesetEvaluationRun ação (Python: cancel_data_quality_ruleset_evaluation_run)
Cancela uma execução em que um conjunto de regras está sendo avaliado em relação a uma fonte de dados.
Solicitação
-
RunId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador de execução único associado a essa execução.
Resposta
Nenhum parâmetro de resposta.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
GetDataQualityRulesetEvaluationRun ação (Python: get_data_quality_ruleset_evaluation_run)
Cancela uma execução específica em que um conjunto de regras está sendo avaliado em relação a uma fonte de dados.
Solicitação
-
RunId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador de execução único associado a essa execução.
Resposta
-
RunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador de execução único associado a essa execução.
-
DataSource
– Um objeto DataSource.A fonte de dados (uma AWS Glue tabela) associada a essa execução de avaliação.
-
Role
– String UTF-8.Uma IAM função fornecida para criptografar os resultados da execução.
-
NumberOfWorkers
– Número (íntegro).O número de processadores do
G.1X
a serem usados na execução. O padrão é 5. -
Timeout
– Número (inteiro), pelo menos 1.O tempo limite em minutos para uma execução. Esse é o tempo máximo durante o qual uma execução pode consumir recursos antes de ser encerrada e entrar no status
TIMEOUT
. O padrão é 2.880 minutos (48 horas). -
AdditionalRunOptions
– Um objeto DataQualityEvaluationRunAdditionalRunOptions.Opções adicionais de execução que você pode especificar para uma execução de avaliação.
-
Status
– String UTF-8 (valores válidos:STARTING
|RUNNING
|STOPPING
|STOPPED
|SUCCEEDED
|FAILED
|TIMEOUT
).O status dessa execução.
-
ErrorString
– String UTF-8.As strings de erro associadas à execução.
-
StartedOn
– Timestamp.A data e hora em que essa execução foi iniciada.
-
LastModifiedOn
– Timestamp.Um carimbo de data/hora. O último ponto em que essa recomendação de regra de qualidade de dados foi executada foi modificado.
-
CompletedOn
– Timestamp.A data e hora de conclusão dessa execução.
-
ExecutionTime
– Número (íntegro).A quantidade de tempo (em segundos) durante a qual a execução consumiu recursos.
-
RulesetNames
: uma matriz de strings UTF-8, não menos que 1 ou mais que 10 strings.Uma lista de nomes de conjuntos de regras para a execução. Atualmente, este parâmetro pode ter apenas um nome de conjunto de regras.
-
ResultIds
: uma matriz de strings UTF-8, não menos que 1 ou mais que 10 strings.Uma lista de IDs de resultado para os resultados de qualidade de dados da execução.
-
AdditionalDataSources
– Um array de mapa dos pares de valor-chave.Cada chave é uma string UTF-8, com comprimento entre 1 e 255 bytes, correspondente a Single-line string pattern.
Cada valor é um objeto DataSource A.
Um mapa de strings de referência para fontes de dados adicionais que você pode especificar para uma execução de avaliação.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
ListDataQualityRulesetEvaluationRuns ação (Python: list_data_quality_ruleset_evaluation_runs)
Lista todas as execuções que atendem aos critérios de filtro, em que um conjunto de regras é avaliado em relação a uma fonte de dados.
Solicitação
-
Filter
– Um objeto DataQualityRulesetEvaluationRunFilter.Os critérios de filtro.
-
NextToken
– String UTF-8.Um token paginado para equilibrar os resultados.
-
MaxResults
– Número (inteiro), superior a 1 ou mais que 1000.O número máximo de resultados a serem retornados.
Resposta
-
Runs
– Uma matriz de objetos DataQualityRulesetEvaluationRunDescription.Uma lista de objetos
DataQualityRulesetEvaluationRunDescription
que representam execuções de conjuntos de regras de qualidade de dados. -
NextToken
– String UTF-8.Um token de paginação, se houver mais resultados disponíveis.
Erros
InvalidInputException
OperationTimeoutException
InternalServiceException
StartDataQualityRuleRecommendationRun ação (Python: start_data_quality_rule_recommendation_run)
Inicia uma execução de recomendação que é usada para gerar regras quando você não sabe quais regras escrever. AWS Glue O Data Quality analisa os dados e apresenta recomendações para um possível conjunto de regras. Em seguida, você pode fazer a triagem do conjunto de regras e modificar o conjunto de regras gerado de acordo com sua preferência.
As execuções de recomendação são excluídas automaticamente após 90 dias.
Solicitação
-
DataSource
– Obrigatório: um objeto DataSource.A fonte de dados (AWS Glue tabela) associada a essa execução.
-
Role
– Obrigatório: string UTF-8.Uma IAM função fornecida para criptografar os resultados da execução.
-
NumberOfWorkers
– Número (íntegro).O número de processadores do
G.1X
a serem usados na execução. O padrão é 5. -
Timeout
– Número (inteiro), pelo menos 1.O tempo limite em minutos para uma execução. Esse é o tempo máximo durante o qual uma execução pode consumir recursos antes de ser encerrada e entrar no status
TIMEOUT
. O padrão é 2.880 minutos (48 horas). -
CreatedRulesetName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Um nome para o conjunto de regras.
-
ClientToken
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Usado para idempotência e é recomendado que seja definido como um ID aleatório (como um UUID) para evitar criar ou iniciar várias instâncias do mesmo recurso.
Resposta
-
RunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador de execução único associado a essa execução.
Erros
InvalidInputException
OperationTimeoutException
InternalServiceException
ConflictException
CancelDataQualityRuleRecommendationRun ação (Python: cancel_data_quality_rule_recommendation_run)
Cancela a execução da recomendação especificada que estava sendo usada para gerar regras.
Solicitação
-
RunId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador de execução único associado a essa execução.
Resposta
Nenhum parâmetro de resposta.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
GetDataQualityRuleRecommendationRun ação (Python: get_data_quality_rule_recommendation_run)
Obtém a execução da recomendação especificada que estava sendo usada para gerar regras.
Solicitação
-
RunId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador de execução único associado a essa execução.
Resposta
-
RunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador de execução único associado a essa execução.
-
DataSource
– Um objeto DataSource.A fonte de dados (uma AWS Glue tabela) associada a essa execução.
-
Role
– String UTF-8.Uma IAM função fornecida para criptografar os resultados da execução.
-
NumberOfWorkers
– Número (íntegro).O número de processadores do
G.1X
a serem usados na execução. O padrão é 5. -
Timeout
– Número (inteiro), pelo menos 1.O tempo limite em minutos para uma execução. Esse é o tempo máximo durante o qual uma execução pode consumir recursos antes de ser encerrada e entrar no status
TIMEOUT
. O padrão é 2.880 minutos (48 horas). -
Status
– String UTF-8 (valores válidos:STARTING
|RUNNING
|STOPPING
|STOPPED
|SUCCEEDED
|FAILED
|TIMEOUT
).O status dessa execução.
-
ErrorString
– String UTF-8.As strings de erro associadas à execução.
-
StartedOn
– Timestamp.A data e hora em que essa execução foi iniciada.
-
LastModifiedOn
– Timestamp.Um carimbo de data/hora. O último ponto em que essa recomendação de regra de qualidade de dados foi executada foi modificado.
-
CompletedOn
– Timestamp.A data e hora de conclusão dessa execução.
-
ExecutionTime
– Número (íntegro).A quantidade de tempo (em segundos) durante a qual a execução consumiu recursos.
-
RecommendedRuleset
: string UTF-8, não menos do que 1 ou mais de 65536 bytes de comprimento.Quando uma execução de recomendação de regra inicial é concluída, ela cria um conjunto de regras recomendado. Esse membro tem essas regras no formato Data Quality Definition Language (DQDL).
-
CreatedRulesetName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do conjunto de regras que foi criado pela execução.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
ListDataQualityRuleRecommendationRuns ação (Python: list_data_quality_rule_recommendation_runs)
Lista as execuções de recomendações que atendem aos critérios do filtro.
Solicitação
-
Filter
– Um objeto DataQualityRuleRecommendationRunFilter.Os critérios de filtro.
-
NextToken
– String UTF-8.Um token paginado para equilibrar os resultados.
-
MaxResults
– Número (inteiro), superior a 1 ou mais que 1000.O número máximo de resultados a serem retornados.
Resposta
-
Runs
– Uma matriz de objetos DataQualityRuleRecommendationRunDescription.Uma lista dos objetos
DataQualityRuleRecommendationRunDescription
. -
NextToken
– String UTF-8.Um token de paginação, se houver mais resultados disponíveis.
Erros
InvalidInputException
OperationTimeoutException
InternalServiceException
GetDataQualityResult ação (Python: get_data_quality_result)
Recupera o resultado de uma avaliação da regra de qualidade de dados.
Solicitação
-
ResultId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.Um ID de resultado exclusivo para o resultado de qualidade dos dados.
Resposta
-
ResultId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Um ID de resultado exclusivo para o resultado de qualidade dos dados.
-
Score
: número (double), no máximo 1,0.Uma pontuação de qualidade de dados agregada. Representa a razão de regras que foram aproadas para o número total de regras.
-
DataSource
– Um objeto DataSource.A tabela associada ao resultado de qualidade dos dados, se houver.
-
RulesetName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do conjunto de regras associado ao resultado de qualidade de dados.
-
EvaluationContext
– String UTF-8.No contexto de um trabalho no AWS Glue Studio, cada nó na tela normalmente recebe algum tipo de nome e os nós de qualidade de dados terão nomes. No caso de vários nós, o
evaluationContext
pode diferenciar os nós. -
StartedOn
– Timestamp.A data e hora de início da execução desse resultado de qualidade de dados.
-
CompletedOn
– Timestamp.A data e hora de conclusão da execução desse resultado de qualidade de dados.
-
JobName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do trabalho associado ao resultado de qualidade dos dados, se houver.
-
JobRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID de execução de trabalho associado ao resultado de qualidade dos dados, se houver.
-
RulesetEvaluationRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID de execução exclusivo associado à avaliação do conjunto de regras.
-
RuleResults
: uma matriz de objetos DataQualityRuleResult, não mais de 2.000 estruturas.Uma lista de objetos do
DataQualityRuleResult
representando os resultados de cada regra. -
AnalyzerResults
: uma matriz de objetos DataQualityAnalyzerResult, não mais de 2.000 estruturas.Uma lista de objetos
DataQualityAnalyzerResult
representando os resultados de cada analisador. -
Observations
– Uma matriz de DataQualityObservation objetos, não mais de 50 estruturas.Uma lista de objetos
DataQualityObservation
representando as observações geradas após a avaliação das regras e dos analisadores.
Erros
InvalidInputException
OperationTimeoutException
InternalServiceException
EntityNotFoundException
BatchGetDataQualityResult ação (Python: batch_get_data_quality_result)
Recupera uma lista de resultados de qualidade de dados para os IDs de resultados especificados.
Solicitação
-
ResultIds
- obrigatório: uma matriz de strings UTF-8, não menos que 1 ou mais que 100 strings.Uma lista de IDs de resultado exclusivas para os resultados de qualidade dos dados.
Resposta
-
Results
– Obrigatório: uma matriz de objetos DataQualityResult.Uma lista de objetos
DataQualityResult
que representam os resultados de qualidade dos dados. -
ResultsNotFound
: uma matriz de strings UTF-8, não menos que 1 ou mais que 100 strings.Uma lista de IDs de resultados para os quais resultados não foram encontrados.
Erros
InvalidInputException
OperationTimeoutException
InternalServiceException
ListDataQualityResults ação (Python: list_data_quality_results)
Retorna todos os resultados de execução de qualidade de dados para sua conta.
Solicitação
-
Filter
– Um objeto DataQualityResultFilterCriteria.Os critérios de filtro.
-
NextToken
– String UTF-8.Um token paginado para equilibrar os resultados.
-
MaxResults
– Número (inteiro), superior a 1 ou mais que 1000.O número máximo de resultados a serem retornados.
Resposta
-
Results
– Obrigatório: uma matriz de objetos DataQualityResultDescription.Uma lista dos objetos
DataQualityResultDescription
. -
NextToken
– String UTF-8.Um token de paginação, se houver mais resultados disponíveis.
Erros
InvalidInputException
OperationTimeoutException
InternalServiceException
CreateDataQualityRuleset ação (Python: create_data_quality_ruleset)
Cria um conjunto de regras de qualidade de dados com regras DQDL aplicadas a uma tabela especificada. AWS Glue
Você cria o conjunto de regras usando a Data Quality Definition Language (DQDL). Para obter mais informações, consulte o guia do AWS Glue desenvolvedor.
Solicitação
-
Name
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.Um nome exclusivo para o conjunto de regras de qualidade de dados.
-
Description
– String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.Uma descrição do conjunto de regras de qualidade de dados.
-
Ruleset
- obrigatório: string UTF-8, não menos que 1 ou mais que 65.536 bytes de comprimento.Um conjunto de regras em Data Quality Definition Language (DQDL). Para obter mais informações, consulte o guia do AWS Glue desenvolvedor.
-
Tags
: uma matriz de mapa dos pares de chave-valor, não mais que 50 pares.Cada chave é uma string UTF-8, com comprimento entre 1 e 128 bytes.
Cada valor é uma string UTF-8, inferior a 256 bytes de comprimento.
Uma lista de tags aplicadas ao conjunto de regras de qualidade de dados.
-
TargetTable
– Um objeto DataQualityTargetTable.Uma tabela de destino associada ao conjunto de regras de qualidade de dados.
-
RecommendationRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Um ID de execução exclusivo para a execução da recomendação.
-
ClientToken
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Usado para idempotência e é recomendado que seja definido como um ID aleatório (como um UUID) para evitar criar ou iniciar várias instâncias do mesmo recurso.
Resposta
-
Name
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Um nome exclusivo para o conjunto de regras de qualidade de dados.
Erros
InvalidInputException
AlreadyExistsException
OperationTimeoutException
InternalServiceException
ResourceNumberLimitExceededException
DeleteDataQualityRuleset ação (Python: delete_data_quality_ruleset)
Exclui um conjunto de regras de qualidade de dados.
Solicitação
-
Name
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.Um nome para o conjunto de regras de qualidade de dados.
Resposta
Nenhum parâmetro de resposta.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
GetDataQualityRuleset ação (Python: get_data_quality_ruleset)
Retorna um conjunto de regras existente por identificador ou um nome.
Solicitação
-
Name
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do grupo de regras.
Resposta
-
Name
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do grupo de regras.
-
Description
– String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.Uma descrição da predefinição.
-
Ruleset
: string UTF-8, não menos do que 1 ou mais de 65536 bytes de comprimento.Um conjunto de regras em Data Quality Definition Language (DQDL). Para obter mais informações, consulte o guia do AWS Glue desenvolvedor.
-
TargetTable
– Um objeto DataQualityTargetTable.O nome e o nome do banco de dados da tabela de destino.
-
CreatedOn
– Timestamp.Um carimbo de data/hora. A hora e a data de criação desse conjunto de regras de qualidade de dados.
-
LastModifiedOn
– Timestamp.Um carimbo de data/hora. O último ponto em que esse conjunto de regras de qualidade de dados foi modificado.
-
RecommendationRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Quando um conjunto de regras foi criado de execução de uma recomendação, esse ID de execução é gerado para vincular os dois.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
ListDataQualityRulesets ação (Python: list_data_quality_rulesets)
Retorna uma lista paginada de conjuntos de regras para a lista especificada de tabelas. AWS Glue
Solicitação
-
NextToken
– String UTF-8.Um token paginado para equilibrar os resultados.
-
MaxResults
– Número (inteiro), superior a 1 ou mais que 1000.O número máximo de resultados a serem retornados.
-
Filter
– Um objeto DataQualityRulesetFilterCriteria.Os critérios de filtro.
-
Tags
: uma matriz de mapa dos pares de chave-valor, não mais que 50 pares.Cada chave é uma string UTF-8, com comprimento entre 1 e 128 bytes.
Cada valor é uma string UTF-8, inferior a 256 bytes de comprimento.
Uma lista de tags de pares chave-valor.
Resposta
-
Rulesets
– Uma matriz de objetos DataQualityRulesetListDetails.Uma lista paginada de conjuntos de regras para a lista especificada de tabelas. AWS Glue
-
NextToken
– String UTF-8.Um token de paginação, se houver mais resultados disponíveis.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
UpdateDataQualityRuleset ação (Python: update_data_quality_ruleset)
Atualiza o conjunto de regras de qualidade de dados especificado.
Solicitação
-
Name
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do conjunto de regras de qualidade de dados.
-
Description
– String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.Uma descrição da predefinição.
-
Ruleset
: string UTF-8, não menos do que 1 ou mais de 65536 bytes de comprimento.Um conjunto de regras em Data Quality Definition Language (DQDL). Para obter mais informações, consulte o guia do AWS Glue desenvolvedor.
Resposta
-
Name
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do conjunto de regras de qualidade de dados.
-
Description
– String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.Uma descrição da predefinição.
-
Ruleset
: string UTF-8, não menos do que 1 ou mais de 65536 bytes de comprimento.Um conjunto de regras em Data Quality Definition Language (DQDL). Para obter mais informações, consulte o guia do AWS Glue desenvolvedor.
Erros
EntityNotFoundException
AlreadyExistsException
IdempotentParameterMismatchException
InvalidInputException
OperationTimeoutException
InternalServiceException
ResourceNumberLimitExceededException