API Data Quality API

A API Data Quality descreve os tipos de dados de qualidade dos dados e inclui a API para criar, excluir ou atualizar conjuntos de dados, execuções e avaliações de qualidade de dados.

Tipos de dados

• DataSource estrutura

• DataQualityRulesetListDetails estrutura

• DataQualityTargetTable estrutura

• DataQualityRulesetEvaluationRunDescription estrutura

• DataQualityRulesetEvaluationRunFilter estrutura

• DataQualityEvaluationRunAdditionalRunOptions estrutura

• DataQualityRuleRecommendationRunDescription estrutura

• DataQualityRuleRecommendationRunFilter estrutura

• DataQualityResult estrutura

• DataQualityAnalyzerResult estrutura

• DataQualityObservation estrutura

• MetricBasedObservation estrutura

• DataQualityMetricValues estrutura

• DataQualityRuleResult estrutura

• DataQualityResultDescription estrutura

• DataQualityResultFilterCriteria estrutura

• DataQualityRulesetFilterCriteria estrutura

DataSource estrutura

Uma fonte de dados (uma AWS Glue tabela) para a qual você deseja resultados de qualidade de dados.

Campos

• GlueTable – Obrigatório: um objeto GlueTable.

  Uma AWS Glue mesa.

DataQualityRulesetListDetails estrutura

Descreve um conjunto de regras de qualidade de dados retornado por GetDataQualityRuleset.

Campos

• Name – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O nome do conjunto de regras de qualidade de dados.

• Description – String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.

  Uma descrição do conjunto de regras de qualidade de dados.

• CreatedOn – Timestamp.

  A data e hora da criação do conjunto de regras de qualidade de dados.

• LastModifiedOn – Timestamp.

  A data e hora da modificação do conjunto de regras de qualidade de dados.

• TargetTable – Um objeto DataQualityTargetTable.

  Um objeto representando uma AWS Glue tabela.

• RecommendationRunId – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  Quando um conjunto de regras foi criado de execução de uma recomendação, esse ID de execução é gerado para vincular os dois.

• RuleCount – Número (íntegro).

  O número de regras no conjunto de regras.

DataQualityTargetTable estrutura

Um objeto representando uma AWS Glue tabela.

Campos

• TableName – Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.

  O nome da AWS Glue tabela.

• DatabaseName – Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.

  O nome do banco de dados em que a AWS Glue tabela existe.

• CatalogId – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O ID do catálogo em que a AWS Glue tabela existe.

DataQualityRulesetEvaluationRunDescription estrutura

Descreve o resultado da avaliação de um conjunto de regras de qualidade de dados.

Campos

• RunId – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O identificador de execução único associado a essa execução.

• Status – String UTF-8 (valores válidos: STARTING | RUNNING | STOPPING | STOPPED | SUCCEEDED | FAILED | TIMEOUT).

  O status dessa execução.

• StartedOn – Timestamp.

  A data e a hora de início da execução.

• DataSource – Um objeto DataSource.

  A fonte de dados (uma AWS Glue tabela) associada à execução.

DataQualityRulesetEvaluationRunFilter estrutura

Os critérios de filtro.

Campos

• DataSource – Obrigatório: um objeto DataSource.

  Filtre com base em uma fonte de dados (uma AWS Glue tabela) associada à execução.

• StartedBefore – Timestamp.

  Filtrar os resultados por execuções iniciadas antes desse horário.

• StartedAfter – Timestamp.

  Filtrar os resultados por execuções iniciadas depois desse horário.

DataQualityEvaluationRunAdditionalRunOptions estrutura

Opções adicionais de execução que você pode especificar para uma execução de avaliação.

Campos

• CloudWatchMetricsEnabled – Booleano.

  Ativar ou não CloudWatch as métricas.

• ResultsS3Prefix – String UTF-8.

  Prefixo para o Amazon S3 para armazenar resultados.

• CompositeRuleEvaluationMethod: string UTF-8 (valores válidos: COLUMN | ROW).

  Defina o método de avaliação para regras compostas no conjunto de regras como LINHA/COLUNA

DataQualityRuleRecommendationRunDescription estrutura

Descreve o resultado da avaliação de uma recomendação de regra de qualidade de dados.

Campos

• RunId – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O identificador de execução único associado a essa execução.

• Status – String UTF-8 (valores válidos: STARTING | RUNNING | STOPPING | STOPPED | SUCCEEDED | FAILED | TIMEOUT).

  O status dessa execução.

• StartedOn – Timestamp.

  A data e hora em que essa execução foi iniciada.

• DataSource – Um objeto DataSource.

  A fonte de dados (AWS Glue tabela) associada à execução da recomendação.

DataQualityRuleRecommendationRunFilter estrutura

Um filtro para listar as execuções de recomendação de qualidade de dados.

Campos

• DataSource – Obrigatório: um objeto DataSource.

  Filtrar com base em uma fonte de dados especificada (AWS Glue tabela).

• StartedBefore – Timestamp.

  Filtrar com base na hora dos resultados iniciados antes do horário fornecido.

• StartedAfter – Timestamp.

  Filtrar com base na hora dos resultados iniciados depois do horário fornecido.

DataQualityResult estrutura

Descreve um resultado de qualidade de dados.

Campos

• ResultId – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  Um ID de resultado exclusivo para o resultado de qualidade dos dados.

• Score: número (double), no máximo 1,0.

  Uma pontuação de qualidade de dados agregada. Representa a razão de regras que foram aproadas para o número total de regras.

• DataSource – Um objeto DataSource.

  A tabela associada ao resultado de qualidade dos dados, se houver.

• RulesetName – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O nome do conjunto de regras associado ao resultado de qualidade de dados.

• EvaluationContext – String UTF-8.

  No contexto de um trabalho no AWS Glue Studio, cada nó na tela normalmente recebe algum tipo de nome e os nós de qualidade de dados terão nomes. No caso de vários nós, o evaluationContext pode diferenciar os nós.

• StartedOn – Timestamp.

  A data e hora de início dessa execução de qualidade de dados.

• CompletedOn – Timestamp.

  A data e hora de conclusão dessa execução de qualidade de dados.

• JobName – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O nome do trabalho associado ao resultado de qualidade dos dados, se houver.

• JobRunId – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O ID de execução de trabalho associado ao resultado de qualidade dos dados, se houver.

• RulesetEvaluationRunId – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O ID de execução exclusivo para a avaliação do conjunto de regras para esse resultado de qualidade de dados.

• RuleResults: uma matriz de objetos DataQualityRuleResult, não mais de 2.000 estruturas.

  Uma lista de objetos do DataQualityRuleResult representando os resultados de cada regra.

• AnalyzerResults: uma matriz de objetos DataQualityAnalyzerResult, não mais de 2.000 estruturas.

  Uma lista de objetos DataQualityAnalyzerResult representando os resultados de cada analisador.

• Observations – Uma matriz de DataQualityObservation objetos, não mais de 50 estruturas.

  Uma lista de objetos DataQualityObservation representando as observações geradas após a avaliação das regras e dos analisadores.

DataQualityAnalyzerResult estrutura

Descreve o resultado da avaliação de um analisador de qualidade de dados.

Campos

• Name – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O nome do analisador de qualidade de dados.

• Description – String UTF-8 com comprimento não superior a 2048 bytes, correspondente a URI address multi-line string pattern.

  Uma descrição do analisador de qualidade de dados.

• EvaluationMessage – String UTF-8 com comprimento não superior a 2048 bytes, correspondente a URI address multi-line string pattern.

  Uma mensagem de avaliação.

• EvaluatedMetrics – Um array de mapa dos pares de valor-chave.

  Cada chave é uma string UTF-8, com comprimento entre 1 e 255 bytes, correspondente a Single-line string pattern.

  Cada valor é um número (duplo).

  Um mapa das métricas associadas à avaliação do analisador.

DataQualityObservation estrutura

Descreve a observação gerada após a avaliação das regras e dos analisadores.

Campos

• Description – String UTF-8 com comprimento não superior a 2048 bytes, correspondente a URI address multi-line string pattern.

  Uma descrição da observação de qualidade de dados.

• MetricBasedObservation – Um objeto MetricBasedObservation.

  Um objeto do tipo MetricBasedObservation que representa a observação com base nas métricas de qualidade de dados avaliadas.

MetricBasedObservation estrutura

Descreve a observação baseada em métricas gerada com base nas métricas de qualidade de dados avaliadas.

Campos

• MetricName – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O nome da métrica de qualidade de dados usada para gerar a observação.

• MetricValues – Um objeto DataQualityMetricValues.

  Um objeto do tipo DataQualityMetricValues que representa a análise do valor da métrica de qualidade de dados.

• NewRules – Uma matriz de strings UTF-8.

  Uma lista de novas regras de qualidade de dados geradas como parte da observação com base no valor da métrica de qualidade de dados.

DataQualityMetricValues estrutura

Descreve o valor da métrica de qualidade de dados de acordo com a análise de dados históricos.

Campos

• ActualValue – Número (duplo).

  O valor real da métrica de qualidade de dados.

• ExpectedValue – Número (duplo).

  O valor esperado da métrica de qualidade de dados de acordo com a análise de dados históricos.

• LowerLimit – Número (duplo).

  O limite inferior do valor da métrica de qualidade de dados de acordo com a análise de dados históricos.

• UpperLimit – Número (duplo).

  O limite superior do valor da métrica de qualidade de dados de acordo com a análise de dados históricos.

DataQualityRuleResult estrutura

Descreve o resultado da avaliação de uma regra de qualidade de dados.

Campos

• Name – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O nome da regra de qualidade de dados.

• Description – String UTF-8 com comprimento não superior a 2048 bytes, correspondente a URI address multi-line string pattern.

  Uma descrição da regras de qualidade de dados.

• EvaluationMessage – String UTF-8 com comprimento não superior a 2048 bytes, correspondente a URI address multi-line string pattern.

  Uma mensagem de avaliação.

• Result – String UTF-8 (valores válidos: PASS | FAIL | ERROR).

  Um status de aprovação ou reprovação da regra.

• EvaluatedMetrics – Um array de mapa dos pares de valor-chave.

  Cada chave é uma string UTF-8, com comprimento entre 1 e 255 bytes, correspondente a Single-line string pattern.

  Cada valor é um número (duplo).

  Um mapa das métricas associadas à avaliação da regra.

DataQualityResultDescription estrutura

Descreve um resultado de qualidade de dados.

Campos

• ResultId – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O ID de resultado exclusivo para esse resultado de qualidade dos dados.

• DataSource – Um objeto DataSource.

  O nome da tabela associada ao resultado de qualidade dos dados.

• JobName – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O nome do trabalho associado ao resultado de qualidade dos dados.

• JobRunId – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O ID de execução de trabalho associado ao resultado de qualidade dos dados.

• StartedOn – Timestamp.

  A hora de início da execução desse resultado de qualidade de dados.

DataQualityResultFilterCriteria estrutura

Critérios usados para retornar resultados de qualidade de dados.

Campos

• DataSource – Um objeto DataSource.

  Filtrar os resultados pela fonte de dados especificada. Por exemplo, recuperar todos os resultados de uma AWS Glue tabela.

• JobName – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  Filtrar os resultados pelo nome de trabalho especificado.

• JobRunId – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  Filtrar os resultados pelo ID e execução de trabalho especificado.

• StartedAfter – Timestamp.

  Filtrar os resultados por execuções iniciadas depois desse horário.

• StartedBefore – Timestamp.

  Filtrar os resultados por execuções iniciadas antes desse horário.

DataQualityRulesetFilterCriteria estrutura

Os critérios usados para filtrar conjuntos de regras de qualidade de dados.

Campos

• Name – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O nome dos critérios de filtro do conjunto de regras.

• Description – String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.

  A descrição dos critérios de filtro do conjunto de regras.

• CreatedBefore – Timestamp.

  Filtrar por conjuntos de regras criados antes dessa data.

• CreatedAfter – Timestamp.

  Filtrar por conjuntos de regras criados depois dessa data.

• LastModifiedBefore – Timestamp.

  Filtrar por conjuntos de dados modificados antes dessa data.

• LastModifiedAfter – Timestamp.

  Filtrar por conjuntos de dados modificados depois dessa data.

• TargetTable – Um objeto DataQualityTargetTable.

  O nome e o nome do banco de dados da tabela de destino.

Operações

• StartDataQualityRulesetEvaluationRun ação (Python: start_data_quality_ruleset_evaluation_run)

• CancelDataQualityRulesetEvaluationRun ação (Python: cancel_data_quality_ruleset_evaluation_run)

• GetDataQualityRulesetEvaluationRun ação (Python: get_data_quality_ruleset_evaluation_run)

• ListDataQualityRulesetEvaluationRuns ação (Python: list_data_quality_ruleset_evaluation_runs)

• StartDataQualityRuleRecommendationRun ação (Python: start_data_quality_rule_recommendation_run)

• CancelDataQualityRuleRecommendationRun ação (Python: cancel_data_quality_rule_recommendation_run)

• GetDataQualityRuleRecommendationRun ação (Python: get_data_quality_rule_recommendation_run)

• ListDataQualityRuleRecommendationRuns ação (Python: list_data_quality_rule_recommendation_runs)

• GetDataQualityResult ação (Python: get_data_quality_result)

• BatchGetDataQualityResult ação (Python: batch_get_data_quality_result)

• ListDataQualityResults ação (Python: list_data_quality_results)

• CreateDataQualityRuleset ação (Python: create_data_quality_ruleset)

• DeleteDataQualityRuleset ação (Python: delete_data_quality_ruleset)

• GetDataQualityRuleset ação (Python: get_data_quality_ruleset)

• ListDataQualityRulesets ação (Python: list_data_quality_rulesets)

• UpdateDataQualityRuleset ação (Python: update_data_quality_ruleset)

StartDataQualityRulesetEvaluationRun ação (Python: start_data_quality_ruleset_evaluation_run)

Depois de ter uma definição de conjunto de regras (recomendada ou própria), você chama essa operação para avaliar o conjunto de regras em relação a uma fonte de dados (tabela).AWS Glue A avaliação calcula os resultados que você pode recuperar com a API GetDataQualityResult.

Solicitação

• DataSource – Obrigatório: um objeto DataSource.

  A fonte de dados (AWS Glue tabela) associada a essa execução.

• Role – Obrigatório: string UTF-8.

  Uma IAM função fornecida para criptografar os resultados da execução.

• NumberOfWorkers – Número (íntegro).

  O número de processadores do G.1X a serem usados na execução. O padrão é 5.

• Timeout – Número (inteiro), pelo menos 1.

  O tempo limite em minutos para uma execução. Esse é o tempo máximo durante o qual uma execução pode consumir recursos antes de ser encerrada e entrar no status TIMEOUT. O padrão é 2.880 minutos (48 horas).

• ClientToken – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  Usado para idempotência e é recomendado que seja definido como um ID aleatório (como um UUID) para evitar criar ou iniciar várias instâncias do mesmo recurso.

• AdditionalRunOptions – Um objeto DataQualityEvaluationRunAdditionalRunOptions.

  Opções adicionais de execução que você pode especificar para uma execução de avaliação.

• RulesetNames - obrigatório: uma matriz de strings UTF-8, não menos que 1 ou mais que 10 strings.

  Uma lista de nomes de conjuntos de regras.

• AdditionalDataSources – Um array de mapa dos pares de valor-chave.

  Cada chave é uma string UTF-8, com comprimento entre 1 e 255 bytes, correspondente a Single-line string pattern.

  Cada valor é um objeto DataSource A.

  Um mapa de strings de referência para fontes de dados adicionais que você pode especificar para uma execução de avaliação.

Resposta

• RunId – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O identificador de execução único associado a essa execução.

Erros

• InvalidInputException

• EntityNotFoundException

• OperationTimeoutException

• InternalServiceException

• ConflictException

CancelDataQualityRulesetEvaluationRun ação (Python: cancel_data_quality_ruleset_evaluation_run)

Cancela uma execução em que um conjunto de regras está sendo avaliado em relação a uma fonte de dados.

Solicitação

• RunId – Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.

  O identificador de execução único associado a essa execução.

Resposta

• Nenhum parâmetro de resposta.

Erros

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

GetDataQualityRulesetEvaluationRun ação (Python: get_data_quality_ruleset_evaluation_run)

Cancela uma execução específica em que um conjunto de regras está sendo avaliado em relação a uma fonte de dados.

Solicitação

• RunId – Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.

  O identificador de execução único associado a essa execução.

Resposta

• RunId – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O identificador de execução único associado a essa execução.

• DataSource – Um objeto DataSource.

  A fonte de dados (uma AWS Glue tabela) associada a essa execução de avaliação.

• Role – String UTF-8.

  Uma IAM função fornecida para criptografar os resultados da execução.

• NumberOfWorkers – Número (íntegro).

  O número de processadores do G.1X a serem usados na execução. O padrão é 5.

• Timeout – Número (inteiro), pelo menos 1.

  O tempo limite em minutos para uma execução. Esse é o tempo máximo durante o qual uma execução pode consumir recursos antes de ser encerrada e entrar no status TIMEOUT. O padrão é 2.880 minutos (48 horas).

• AdditionalRunOptions – Um objeto DataQualityEvaluationRunAdditionalRunOptions.

  Opções adicionais de execução que você pode especificar para uma execução de avaliação.

• Status – String UTF-8 (valores válidos: STARTING | RUNNING | STOPPING | STOPPED | SUCCEEDED | FAILED | TIMEOUT).

  O status dessa execução.

• ErrorString – String UTF-8.

  As strings de erro associadas à execução.

• StartedOn – Timestamp.

  A data e hora em que essa execução foi iniciada.

• LastModifiedOn – Timestamp.

  Um carimbo de data/hora. O último ponto em que essa recomendação de regra de qualidade de dados foi executada foi modificado.

• CompletedOn – Timestamp.

  A data e hora de conclusão dessa execução.

• ExecutionTime – Número (íntegro).

  A quantidade de tempo (em segundos) durante a qual a execução consumiu recursos.

• RulesetNames: uma matriz de strings UTF-8, não menos que 1 ou mais que 10 strings.

  Uma lista de nomes de conjuntos de regras para a execução. Atualmente, este parâmetro pode ter apenas um nome de conjunto de regras.

• ResultIds: uma matriz de strings UTF-8, não menos que 1 ou mais que 10 strings.

  Uma lista de IDs de resultado para os resultados de qualidade de dados da execução.

• AdditionalDataSources – Um array de mapa dos pares de valor-chave.

  Cada chave é uma string UTF-8, com comprimento entre 1 e 255 bytes, correspondente a Single-line string pattern.

  Cada valor é um objeto DataSource A.

  Um mapa de strings de referência para fontes de dados adicionais que você pode especificar para uma execução de avaliação.

Erros

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

ListDataQualityRulesetEvaluationRuns ação (Python: list_data_quality_ruleset_evaluation_runs)

Lista todas as execuções que atendem aos critérios de filtro, em que um conjunto de regras é avaliado em relação a uma fonte de dados.

Solicitação

• Filter – Um objeto DataQualityRulesetEvaluationRunFilter.

  Os critérios de filtro.

• NextToken – String UTF-8.

  Um token paginado para equilibrar os resultados.

• MaxResults – Número (inteiro), superior a 1 ou mais que 1000.

  O número máximo de resultados a serem retornados.

Resposta

• Runs – Uma matriz de objetos DataQualityRulesetEvaluationRunDescription.

  Uma lista de objetos DataQualityRulesetEvaluationRunDescription que representam execuções de conjuntos de regras de qualidade de dados.

• NextToken – String UTF-8.

  Um token de paginação, se houver mais resultados disponíveis.

Erros

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

StartDataQualityRuleRecommendationRun ação (Python: start_data_quality_rule_recommendation_run)

Inicia uma execução de recomendação que é usada para gerar regras quando você não sabe quais regras escrever. AWS Glue O Data Quality analisa os dados e apresenta recomendações para um possível conjunto de regras. Em seguida, você pode fazer a triagem do conjunto de regras e modificar o conjunto de regras gerado de acordo com sua preferência.

As execuções de recomendação são excluídas automaticamente após 90 dias.

Solicitação

• DataSource – Obrigatório: um objeto DataSource.

  A fonte de dados (AWS Glue tabela) associada a essa execução.

• Role – Obrigatório: string UTF-8.

  Uma IAM função fornecida para criptografar os resultados da execução.

• NumberOfWorkers – Número (íntegro).

  O número de processadores do G.1X a serem usados na execução. O padrão é 5.

• Timeout – Número (inteiro), pelo menos 1.

  O tempo limite em minutos para uma execução. Esse é o tempo máximo durante o qual uma execução pode consumir recursos antes de ser encerrada e entrar no status TIMEOUT. O padrão é 2.880 minutos (48 horas).

• CreatedRulesetName – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  Um nome para o conjunto de regras.

• ClientToken – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  Usado para idempotência e é recomendado que seja definido como um ID aleatório (como um UUID) para evitar criar ou iniciar várias instâncias do mesmo recurso.

Resposta

• RunId – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O identificador de execução único associado a essa execução.

Erros

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

• ConflictException

CancelDataQualityRuleRecommendationRun ação (Python: cancel_data_quality_rule_recommendation_run)

Cancela a execução da recomendação especificada que estava sendo usada para gerar regras.

Solicitação

• RunId – Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.

  O identificador de execução único associado a essa execução.

Resposta

• Nenhum parâmetro de resposta.

Erros

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

GetDataQualityRuleRecommendationRun ação (Python: get_data_quality_rule_recommendation_run)

Obtém a execução da recomendação especificada que estava sendo usada para gerar regras.

Solicitação

• RunId – Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.

  O identificador de execução único associado a essa execução.

Resposta

• RunId – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O identificador de execução único associado a essa execução.

• DataSource – Um objeto DataSource.

  A fonte de dados (uma AWS Glue tabela) associada a essa execução.

• Role – String UTF-8.

  Uma IAM função fornecida para criptografar os resultados da execução.

• NumberOfWorkers – Número (íntegro).

  O número de processadores do G.1X a serem usados na execução. O padrão é 5.

• Timeout – Número (inteiro), pelo menos 1.

  O tempo limite em minutos para uma execução. Esse é o tempo máximo durante o qual uma execução pode consumir recursos antes de ser encerrada e entrar no status TIMEOUT. O padrão é 2.880 minutos (48 horas).

• Status – String UTF-8 (valores válidos: STARTING | RUNNING | STOPPING | STOPPED | SUCCEEDED | FAILED | TIMEOUT).

  O status dessa execução.

• ErrorString – String UTF-8.

  As strings de erro associadas à execução.

• StartedOn – Timestamp.

  A data e hora em que essa execução foi iniciada.

• LastModifiedOn – Timestamp.

  Um carimbo de data/hora. O último ponto em que essa recomendação de regra de qualidade de dados foi executada foi modificado.

• CompletedOn – Timestamp.

  A data e hora de conclusão dessa execução.

• ExecutionTime – Número (íntegro).

  A quantidade de tempo (em segundos) durante a qual a execução consumiu recursos.

• RecommendedRuleset: string UTF-8, não menos do que 1 ou mais de 65536 bytes de comprimento.

  Quando uma execução de recomendação de regra inicial é concluída, ela cria um conjunto de regras recomendado. Esse membro tem essas regras no formato Data Quality Definition Language (DQDL).

• CreatedRulesetName – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O nome do conjunto de regras que foi criado pela execução.

Erros

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

ListDataQualityRuleRecommendationRuns ação (Python: list_data_quality_rule_recommendation_runs)

Lista as execuções de recomendações que atendem aos critérios do filtro.

Solicitação

• Filter – Um objeto DataQualityRuleRecommendationRunFilter.

  Os critérios de filtro.

• NextToken – String UTF-8.

  Um token paginado para equilibrar os resultados.

• MaxResults – Número (inteiro), superior a 1 ou mais que 1000.

  O número máximo de resultados a serem retornados.

Resposta

• Runs – Uma matriz de objetos DataQualityRuleRecommendationRunDescription.

  Uma lista dos objetos DataQualityRuleRecommendationRunDescription.

• NextToken – String UTF-8.

  Um token de paginação, se houver mais resultados disponíveis.

Erros

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

GetDataQualityResult ação (Python: get_data_quality_result)

Recupera o resultado de uma avaliação da regra de qualidade de dados.

Solicitação

• ResultId – Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.

  Um ID de resultado exclusivo para o resultado de qualidade dos dados.

Resposta

• ResultId – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  Um ID de resultado exclusivo para o resultado de qualidade dos dados.

• Score: número (double), no máximo 1,0.

  Uma pontuação de qualidade de dados agregada. Representa a razão de regras que foram aproadas para o número total de regras.

• DataSource – Um objeto DataSource.

  A tabela associada ao resultado de qualidade dos dados, se houver.

• RulesetName – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O nome do conjunto de regras associado ao resultado de qualidade de dados.

• EvaluationContext – String UTF-8.

  No contexto de um trabalho no AWS Glue Studio, cada nó na tela normalmente recebe algum tipo de nome e os nós de qualidade de dados terão nomes. No caso de vários nós, o evaluationContext pode diferenciar os nós.

• StartedOn – Timestamp.

  A data e hora de início da execução desse resultado de qualidade de dados.

• CompletedOn – Timestamp.

  A data e hora de conclusão da execução desse resultado de qualidade de dados.

• JobName – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O nome do trabalho associado ao resultado de qualidade dos dados, se houver.

• JobRunId – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O ID de execução de trabalho associado ao resultado de qualidade dos dados, se houver.

• RulesetEvaluationRunId – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O ID de execução exclusivo associado à avaliação do conjunto de regras.

• RuleResults: uma matriz de objetos DataQualityRuleResult, não mais de 2.000 estruturas.

  Uma lista de objetos do DataQualityRuleResult representando os resultados de cada regra.

• AnalyzerResults: uma matriz de objetos DataQualityAnalyzerResult, não mais de 2.000 estruturas.

  Uma lista de objetos DataQualityAnalyzerResult representando os resultados de cada analisador.

• Observations – Uma matriz de DataQualityObservation objetos, não mais de 50 estruturas.

  Uma lista de objetos DataQualityObservation representando as observações geradas após a avaliação das regras e dos analisadores.

Erros

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

• EntityNotFoundException

BatchGetDataQualityResult ação (Python: batch_get_data_quality_result)

Recupera uma lista de resultados de qualidade de dados para os IDs de resultados especificados.

Solicitação

• ResultIds - obrigatório: uma matriz de strings UTF-8, não menos que 1 ou mais que 100 strings.

  Uma lista de IDs de resultado exclusivas para os resultados de qualidade dos dados.

Resposta

• Results – Obrigatório: uma matriz de objetos DataQualityResult.

  Uma lista de objetos DataQualityResult que representam os resultados de qualidade dos dados.

• ResultsNotFound: uma matriz de strings UTF-8, não menos que 1 ou mais que 100 strings.

  Uma lista de IDs de resultados para os quais resultados não foram encontrados.

Erros

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

ListDataQualityResults ação (Python: list_data_quality_results)

Retorna todos os resultados de execução de qualidade de dados para sua conta.

Solicitação

• Filter – Um objeto DataQualityResultFilterCriteria.

  Os critérios de filtro.

• NextToken – String UTF-8.

  Um token paginado para equilibrar os resultados.

• MaxResults – Número (inteiro), superior a 1 ou mais que 1000.

  O número máximo de resultados a serem retornados.

Resposta

• Results – Obrigatório: uma matriz de objetos DataQualityResultDescription.

  Uma lista dos objetos DataQualityResultDescription.

• NextToken – String UTF-8.

  Um token de paginação, se houver mais resultados disponíveis.

Erros

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

CreateDataQualityRuleset ação (Python: create_data_quality_ruleset)

Cria um conjunto de regras de qualidade de dados com regras DQDL aplicadas a uma tabela especificada. AWS Glue

Você cria o conjunto de regras usando a Data Quality Definition Language (DQDL). Para obter mais informações, consulte o guia do AWS Glue desenvolvedor.

Solicitação

• Name – Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.

  Um nome exclusivo para o conjunto de regras de qualidade de dados.

• Description – String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.

  Uma descrição do conjunto de regras de qualidade de dados.

• Ruleset - obrigatório: string UTF-8, não menos que 1 ou mais que 65.536 bytes de comprimento.

  Um conjunto de regras em Data Quality Definition Language (DQDL). Para obter mais informações, consulte o guia do AWS Glue desenvolvedor.

• Tags: uma matriz de mapa dos pares de chave-valor, não mais que 50 pares.

  Cada chave é uma string UTF-8, com comprimento entre 1 e 128 bytes.

  Cada valor é uma string UTF-8, inferior a 256 bytes de comprimento.

  Uma lista de tags aplicadas ao conjunto de regras de qualidade de dados.

• TargetTable – Um objeto DataQualityTargetTable.

  Uma tabela de destino associada ao conjunto de regras de qualidade de dados.

• RecommendationRunId – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  Um ID de execução exclusivo para a execução da recomendação.

• ClientToken – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  Usado para idempotência e é recomendado que seja definido como um ID aleatório (como um UUID) para evitar criar ou iniciar várias instâncias do mesmo recurso.

Resposta

• Name – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  Um nome exclusivo para o conjunto de regras de qualidade de dados.

Erros

• InvalidInputException

• AlreadyExistsException

• OperationTimeoutException

• InternalServiceException

• ResourceNumberLimitExceededException

DeleteDataQualityRuleset ação (Python: delete_data_quality_ruleset)

Exclui um conjunto de regras de qualidade de dados.

Solicitação

• Name – Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.

  Um nome para o conjunto de regras de qualidade de dados.

Resposta

• Nenhum parâmetro de resposta.

Erros

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

GetDataQualityRuleset ação (Python: get_data_quality_ruleset)

Retorna um conjunto de regras existente por identificador ou um nome.

Solicitação

• Name – Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.

  O nome do grupo de regras.

Resposta

• Name – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O nome do grupo de regras.

• Description – String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.

  Uma descrição da predefinição.

• Ruleset: string UTF-8, não menos do que 1 ou mais de 65536 bytes de comprimento.

  Um conjunto de regras em Data Quality Definition Language (DQDL). Para obter mais informações, consulte o guia do AWS Glue desenvolvedor.

• TargetTable – Um objeto DataQualityTargetTable.

  O nome e o nome do banco de dados da tabela de destino.

• CreatedOn – Timestamp.

  Um carimbo de data/hora. A hora e a data de criação desse conjunto de regras de qualidade de dados.

• LastModifiedOn – Timestamp.

  Um carimbo de data/hora. O último ponto em que esse conjunto de regras de qualidade de dados foi modificado.

• RecommendationRunId – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  Quando um conjunto de regras foi criado de execução de uma recomendação, esse ID de execução é gerado para vincular os dois.

Erros

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

ListDataQualityRulesets ação (Python: list_data_quality_rulesets)

Retorna uma lista paginada de conjuntos de regras para a lista especificada de tabelas. AWS Glue

Solicitação

• NextToken – String UTF-8.

  Um token paginado para equilibrar os resultados.

• MaxResults – Número (inteiro), superior a 1 ou mais que 1000.

  O número máximo de resultados a serem retornados.

• Filter – Um objeto DataQualityRulesetFilterCriteria.

  Os critérios de filtro.

• Tags: uma matriz de mapa dos pares de chave-valor, não mais que 50 pares.

  Cada chave é uma string UTF-8, com comprimento entre 1 e 128 bytes.

  Cada valor é uma string UTF-8, inferior a 256 bytes de comprimento.

  Uma lista de tags de pares chave-valor.

Resposta

• Rulesets – Uma matriz de objetos DataQualityRulesetListDetails.

  Uma lista paginada de conjuntos de regras para a lista especificada de tabelas. AWS Glue

• NextToken – String UTF-8.

  Um token de paginação, se houver mais resultados disponíveis.

Erros

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

UpdateDataQualityRuleset ação (Python: update_data_quality_ruleset)

Atualiza o conjunto de regras de qualidade de dados especificado.

Solicitação

• Name – Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.

  O nome do conjunto de regras de qualidade de dados.

• Description – String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.

  Uma descrição da predefinição.

• Ruleset: string UTF-8, não menos do que 1 ou mais de 65536 bytes de comprimento.

  Um conjunto de regras em Data Quality Definition Language (DQDL). Para obter mais informações, consulte o guia do AWS Glue desenvolvedor.

Resposta

• Name – String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.

  O nome do conjunto de regras de qualidade de dados.

• Description – String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.

  Uma descrição da predefinição.

• Ruleset: string UTF-8, não menos do que 1 ou mais de 65536 bytes de comprimento.

  Um conjunto de regras em Data Quality Definition Language (DQDL). Para obter mais informações, consulte o guia do AWS Glue desenvolvedor.

Erros

• EntityNotFoundException

• AlreadyExistsException

• IdempotentParameterMismatchException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

• ResourceNumberLimitExceededException