資料品質 API - AWS Glue
 —  資料類型  —DataSourceDataQualityRulesetListDetailsDataQualityTargetTableDataQualityRulesetEvaluationRunDescriptionDataQualityRulesetEvaluationRunFilterDataQualityEvaluationRunAdditionalRunOptionsDataQualityRuleRecommendationRunDescriptionDataQualityRuleRecommendationRunFilterDataQualityResultDataQualityAnalyzerResultDataQualityObservationMetricBasedObservationDataQualityMetricValuesDataQualityRuleResultDataQualityResultDescriptionDataQualityResultFilterCriteriaDataQualityRulesetFilterCriteria —  operations  —StartDataQualityRulesetEvaluationRun (開始資料品質規則評估 _ 執行)CancelDataQualityRulesetEvaluationRun (取消數據質量規則評估 _ 運行)GetDataQualityRulesetEvaluationRun (獲取數據質量 _ 規則評估 _ 運行)ListDataQualityRulesetEvaluationRuns (列表數據質量規則評估運行)StartDataQualityRuleRecommendationRun (開始資料品質 _ 規則 _ 建議 _ 執行)CancelDataQualityRuleRecommendationRun (取消資料品質規則 _ 建議執行)GetDataQualityRuleRecommendationRun (獲取數據質量 _ 規則 _ 推薦 _ 運行)ListDataQualityRuleRecommendationRuns (列表數據質量 _ 規則 _ 推薦 _ 運行)GetDataQualityResult (獲取數據質量 _ 結果)BatchGetDataQualityResult (批次取得資料品質結果)ListDataQualityResults (列表數據質量結果)CreateDataQualityRuleset (建立品質規則集)DeleteDataQualityRuleset (刪除資料品質規則集)GetDataQualityRuleset (獲取數據質量規則集)ListDataQualityRulesets (列表數據質量規則集)UpdateDataQualityRuleset (更新數據質量規則集)

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

資料品質 API

「資料品質」API 描述資料品質資料類型,其中包括API用於建立、刪除或更新資料品質規則集、執行和評估的。

資料類型

DataSource 結構

您想要其資料品質結果的資料來源 ( AWS Glue 表格)。

欄位
  • GlueTable必要:GlueTable 物件。

    一 AWS Glue 張桌子。

DataQualityRulesetListDetails 結構

描述 GetDataQualityRuleset 傳回的資料品質規則集。

欄位
  • Name— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    資料品質規則集的名稱。

  • Description – 描述字串,長度不可超過 2048 個位元組,需符合URI address multi-line string pattern

    資料品質規則集的描述。

  • CreatedOn – 時間戳記。

    建立資料品質規則集的日期和時間。

  • LastModifiedOn – 時間戳記。

    上次修改資料品質規則集的日期和時間。

  • TargetTableDataQualityTargetTable 物件。

    表示 AWS Glue 表格的物件。

  • RecommendationRunId— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    從建議執行建立規則集時,會產生此執行 ID 以將兩者連結在一起。

  • RuleCount – 數字 (整數)。

    規則集中的規則數目。

DataQualityTargetTable 結構

表示 AWS Glue 表格的物件。

欄位
  • TableName必要:UTF-8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    表格的名 AWS Glue 稱。

  • DatabaseName必要:UTF-8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    資料 AWS Glue 表所在的資料庫名稱。

  • CatalogId— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    AWS Glue 資料表所在的目錄 ID。

DataQualityRulesetEvaluationRunDescription 結構

描述資料品質規則集評估執行的結果。

欄位
  • RunId— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    與此回合相關聯的唯一回合識別符。

  • Status-UTF -8 字符串(有效值:STARTINGRUNNINGSTOPPING| STOPPED | | SUCCEEDED | FAILED |TIMEOUT)。

    此回合的狀態。

  • StartedOn – 時間戳記。

    執行開始的日期和時間。

  • DataSourceDataSource 物件。

    與執行相關聯的資料來源 ( AWS Glue 表格)。

DataQualityRulesetEvaluationRunFilter 結構

篩選條件。

欄位
  • DataSource必要:DataSource 物件。

    根據與執行關聯的資料來源 ( AWS Glue 表格) 進行篩選。

  • StartedBefore – 時間戳記。

    依在此時間之前開始的執行篩選結果。

  • StartedAfter – 時間戳記。

    依在此時間之後開始的執行篩選結果。

DataQualityEvaluationRunAdditionalRunOptions 結構

您可以為評估執行指定的其他執行選項。

欄位
  • CloudWatchMetricsEnabled – 布林值。

    是否啟用 CloudWatch 指標。

  • ResultsS3Prefix— UTF -8 個字符串。

    用於存放結果的 Amazon S3 的字首。

  • CompositeRuleEvaluationMethod-UTF -8 字符串(有效值:COLUMN|ROW)。

    將ROW規則集中複合規則的計算方法設定為/COLUMN

DataQualityRuleRecommendationRunDescription 結構

描述資料品質規則建議執行的結果。

欄位
  • RunId— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    與此回合相關聯的唯一回合識別符。

  • Status-UTF -8 字符串(有效值:STARTINGRUNNINGSTOPPING| STOPPED | | SUCCEEDED | FAILED |TIMEOUT)。

    此回合的狀態。

  • StartedOn – 時間戳記。

    此執行開始時的日期和時間。

  • DataSourceDataSource 物件。

    與建議執行相關聯的資料來源 (AWS Glue 表格)。

DataQualityRuleRecommendationRunFilter 結構

列出資料品質建議執行的篩選條件。

欄位
  • DataSource必要:DataSource 物件。

    根據指定的資料來源 (AWS Glue 表格) 進行篩選。

  • StartedBefore – 時間戳記。

    根據在提供時間之前開始的結果進行篩選。

  • StartedAfter – 時間戳記。

    根據在提供時間之後開始的結果進行篩選。

DataQualityResult 結構

描述資料品質結果。

欄位
  • ResultId— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    資料品質結果的唯一結果 ID。

  • ProfileId— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    資料品質結果的設定檔 ID。

  • Score – 數字 (double),不可大於 1.0。

    彙總資料品質分數。表示通過的規則數目與規則總數的比率。

  • DataSourceDataSource 物件。

    與資料品質結果相關聯的資料表 (若有)。

  • RulesetName— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    與資料品質結果相關聯的規則集名稱。

  • EvaluationContext— UTF -8 個字符串。

    在 AWS Glue Studio 中的工作環境中,畫布中的每個節點通常被分配某種名稱,數據質量節點將具有名稱。如果存在多個節點,evaluationContext 可以區分節點。

  • StartedOn – 時間戳記。

    此資料品質執行開始的日期和時間。

  • CompletedOn – 時間戳記。

    此資料品質執行完成的日期和時間。

  • JobName— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    與資料品質結果相關聯的任務名稱 (若有)。

  • JobRunId— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    與資料品質結果相關聯的任務執行 ID (若有)。

  • RulesetEvaluationRunId— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    此資料品質結果的規則集評估的唯一執行 ID。

  • RuleResults – 一個 DataQualityRuleResult 物件陣列,不可超過 2000 個結構。

    代表每個規則結果的 DataQualityRuleResult 物件清單。

  • AnalyzerResults – 一個 DataQualityAnalyzerResult 物件陣列,不可超過 2000 個結構。

    代表每個分析器結果的 DataQualityAnalyzerResult 物件清單。

  • ObservationsDataQualityObservation 物件陣列,不可超過 50 個結構。

    代表評估規則和分析器後產生的觀測值的 DataQualityObservation 物件清單。

DataQualityAnalyzerResult 結構

描述資料品質分析器評估的結果。

欄位
  • Name— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    資料品質分析器的名稱。

  • Description— UTF -8 個字串,長度不超過 2048 個位元組,符合URI address multi-line string pattern.

    資料品質分析器的說明。

  • EvaluationMessage— UTF -8 個字串,長度不超過 2048 個位元組,符合URI address multi-line string pattern.

    評估訊息。

  • EvaluatedMetrics – 金鑰值對的映射陣列。

    每個索引鍵都是 UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    每個值都是一個數字 (double)。

    與分析器評估相關的測量結果對映。

DataQualityObservation 結構

描述評估規則和分析器之後產生的觀察。

欄位

MetricBasedObservation 結構

說明根據評估的資料品質指標所產生的以量度為基礎的觀測。

欄位
  • MetricName— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    用於產生觀測的資料品質指標名稱。

  • StatisticId— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    統計資料識別碼。

  • MetricValuesDataQualityMetricValues 物件。

    DataQualityMetricValues代表資料品質測量結果值分析的類型物件。

  • NewRules-UTF -8 個字符串的數組。

    根據資料品質指標值,作為觀察的一部分產生的新資料品質規則清單。

DataQualityMetricValues 結構

根據歷史資料的分析說明資料品質測量結果值。

欄位
  • ActualValue – 數字 (雙位數)。

    資料品質測量結果的實際值。

  • ExpectedValue – 數字 (雙位數)。

    根據歷史資料的分析,資料品質指標的預期值。

  • LowerLimit – 數字 (雙位數)。

    根據歷史資料的分析,資料品質測量結果值的下限。

  • UpperLimit – 數字 (雙位數)。

    根據歷史資料的分析,資料品質測量結果值的上限。

DataQualityRuleResult 結構

描述資料品質規則評估的結果。

欄位
  • Name— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    資料品質規則的名稱。

  • Description— UTF -8 個字串,長度不超過 2048 個位元組,符合URI address multi-line string pattern.

    資料品質規則的描述。

  • EvaluationMessage— UTF -8 個字串,長度不超過 2048 個位元組,符合URI address multi-line string pattern.

    評估訊息。

  • Result-UTF -8 字符串(有效值:PASSFAIL| |ERROR)。

    規則的通過或失敗狀態。

  • EvaluatedMetrics – 金鑰值對的映射陣列。

    每個索引鍵都是 UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    每個值都是一個數字 (double)。

    與規則評估相關聯的指標映射。

  • EvaluatedRule— UTF -8 個字串,長度不超過 2048 個位元組,符合URI address multi-line string pattern.

    評估的規則。

DataQualityResultDescription 結構

描述資料品質結果。

欄位
  • ResultId— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    此資料品質結果的唯一結果 ID。

  • DataSourceDataSource 物件。

    與資料品質結果相關聯的資料表名稱。

  • JobName— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    與資料品質結果相關聯的任務名稱。

  • JobRunId— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    與資料品質結果相關聯的任務執行 ID。

  • StartedOn – 時間戳記。

    此資料品質結果的執行開始時間。

DataQualityResultFilterCriteria 結構

用於傳回資料品質結果的條件。

欄位
  • DataSourceDataSource 物件。

    依指定的資料來源篩選結果。例如,擷取 AWS Glue 資料表的所有結果。

  • JobName— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    依指定的任務名稱篩選結果。

  • JobRunId— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    依指定的任務執行 ID 篩選結果。

  • StartedAfter – 時間戳記。

    依在此時間之後開始的執行篩選結果。

  • StartedBefore – 時間戳記。

    依在此時間之前開始的執行篩選結果。

DataQualityRulesetFilterCriteria 結構

用於篩選資料品質規則集的條件。

欄位
  • Name— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    規則集篩選條件的名稱。

  • Description – 描述字串,長度不可超過 2048 個位元組,需符合URI address multi-line string pattern

    規則集篩選條件的描述。

  • CreatedBefore – 時間戳記。

    篩選在此日期之前建立的規則集。

  • CreatedAfter – 時間戳記。

    篩選在此日期之後建立的規則集。

  • LastModifiedBefore – 時間戳記。

    篩選在此日期之前最後一次修改的規則集。

  • LastModifiedAfter – 時間戳記。

    篩選在此日期之後最後一次修改的規則集。

  • TargetTableDataQualityTargetTable 物件。

    目標資料表的名稱和資料庫名稱。

作業

StartDataQualityRulesetEvaluationRun 動作 (Python: 開始資料品質規則評估執行)

一旦您有規則集定義 (建議或您自己的規則集定義),您可以呼叫此作業,針對資料來源 (AWS Glue 表格) 評估規則集。評估會計算您可以使用擷取的GetDataQualityResultAPI結果。

請求
  • DataSource必要:DataSource 物件。

    與此執行相關聯的資料來源 (AWS Glue 表格)。

  • Role必要:UTF-8 個字串。

    提供 IAM 用來加密執行結果的角色。

  • NumberOfWorkers – 數字 (整數)。

    在執行中使用的 G.1X 工作者數目。預設值為 5。

  • Timeout – 數字 (整數),至少為 1。

    執行逾時 (以分鐘為單位)。此為執行在停止並進入 TIMEOUT 狀態前可以消耗資源的最大時間。預設值為 2,880 分鐘 (48 小時)。

  • ClientToken— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    用於冪等性,建議將其設置為隨機 ID(例如 aUUID),以避免創建或啟動同一資源的多個實例。

  • AdditionalRunOptionsDataQualityEvaluationRunAdditionalRunOptions 物件。

    您可以為評估執行指定的其他執行選項。

  • RulesetNames必要:UTF-8 個字串的陣列,不小於 1 個或多於 10 個字串。

    規則集名稱清單。

  • AdditionalDataSources – 金鑰值對的映射陣列。

    每個索引鍵都是 UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    每個值都是 DataSource 物件。

    您可以為評估執行指定的其他資料來源的參考字串映射。

回應
  • RunId— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    與此回合相關聯的唯一回合識別符。

錯誤
  • InvalidInputException

  • EntityNotFoundException

  • OperationTimeoutException

  • InternalServiceException

  • ConflictException

CancelDataQualityRulesetEvaluationRun 動作 (Python: 取消資料品質規則評估執行)

取消正針對資料來源評估規則集的執行。

請求
  • RunId必要:UTF-8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    與此回合相關聯的唯一回合識別符。

回應
  • 無回應參數。

錯誤
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

GetDataQualityRulesetEvaluationRun 操作(Python:獲取數據質量規則評估運行)

擷取針對資料來源評估規則集的特定執行。

請求
  • RunId必要:UTF-8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    與此回合相關聯的唯一回合識別符。

回應
  • RunId— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    與此回合相關聯的唯一回合識別符。

  • DataSourceDataSource 物件。

    與此評估執行相關聯的資料來源 (資料 AWS Glue 表)。

  • Role— UTF -8 個字符串。

    提供 IAM 用來加密執行結果的角色。

  • NumberOfWorkers – 數字 (整數)。

    在執行中使用的 G.1X 工作者數目。預設值為 5。

  • Timeout – 數字 (整數),至少為 1。

    執行逾時 (以分鐘為單位)。此為執行在停止並進入 TIMEOUT 狀態前可以消耗資源的最大時間。預設值為 2,880 分鐘 (48 小時)。

  • AdditionalRunOptionsDataQualityEvaluationRunAdditionalRunOptions 物件。

    您可以為評估執行指定的其他執行選項。

  • Status-UTF -8 字符串(有效值:STARTINGRUNNINGSTOPPING| STOPPED | | SUCCEEDED | FAILED |TIMEOUT)。

    此回合的狀態。

  • ErrorString— UTF -8 個字符串。

    與任務執行相關聯的錯誤字串。

  • StartedOn – 時間戳記。

    此執行開始時的日期和時間。

  • LastModifiedOn – 時間戳記。

    時間戳記。修改此資料品質規則建議執行的最後一個時間點。

  • CompletedOn – 時間戳記。

    此任務執行完成的日期和時間。

  • ExecutionTime – 數字 (整數)。

    執行消耗資源所需的時間 (以秒為單位)。

  • RulesetNames-UTF -8 個字符串的數組,不小於 1 個或多於 10 個字符串。

    執行規則集名稱清單。此參數目前僅採用一個規則集名稱。

  • ResultIds-UTF -8 個字符串的數組,不小於 1 個或多於 10 個字符串。

    執行資料品質結果的結果清單。IDs

  • AdditionalDataSources – 金鑰值對的映射陣列。

    每個索引鍵都是 UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    每個值都是 DataSource 物件。

    您可以為評估執行指定的其他資料來源的參考字串映射。

錯誤
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

ListDataQualityRulesetEvaluationRuns 操作(Python:列表數據質量規則評估運行)

列出符合篩選條件的所有執行,即針對資料來源評估規則集的執行。

請求
  • FilterDataQualityRulesetEvaluationRunFilter 物件。

    篩選條件。

  • NextToken— UTF -8 個字符串。

    位移結果的分頁字符。

  • MaxResults – 數字 (整數),不可小於 1,也不可以大於 1000。

    回傳結果的數量上限。

回應
  • Runs – 一個 DataQualityRulesetEvaluationRunDescription 物件陣列。

    代表資料品質規則集執行的 DataQualityRulesetEvaluationRunDescription 物件清單。

  • NextToken— UTF -8 個字符串。

    如有多個結果可用,即為分頁字符。

錯誤
  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

StartDataQualityRuleRecommendationRun 操作(Python:開始數據質量規則推薦運行)

啟動建議執行,當您不知道要撰寫哪些規則時,用來產生規則。 AWS Glue 資料品質會分析資料,並提出潛在規則集的建議。然後,您可以對規則集進行分類,並根據自己的喜好修改生成的規則集。

系統會在 90 天後自動刪除建議執行。

請求
  • DataSource必要:DataSource 物件。

    與此執行相關聯的資料來源 (AWS Glue 表格)。

  • Role必要:UTF-8 個字串。

    提供 IAM 用來加密執行結果的角色。

  • NumberOfWorkers – 數字 (整數)。

    在執行中使用的 G.1X 工作者數目。預設值為 5。

  • Timeout – 數字 (整數),至少為 1。

    執行逾時 (以分鐘為單位)。此為執行在停止並進入 TIMEOUT 狀態前可以消耗資源的最大時間。預設值為 2,880 分鐘 (48 小時)。

  • CreatedRulesetName— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    規則集的名稱。

  • DataQualitySecurityConfiguration— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    使用資料品質加密選項建立的安全性組態名稱。

  • ClientToken— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    用於冪等性,建議將其設置為隨機 ID(例如 aUUID),以避免創建或啟動同一資源的多個實例。

回應
  • RunId— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    與此回合相關聯的唯一回合識別符。

錯誤
  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

  • ConflictException

CancelDataQualityRuleRecommendationRun 操作(Python:取消數據質量規則推薦運行)

取消用於產生規則的指定建議執行。

請求
  • RunId必要:UTF-8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    與此回合相關聯的唯一回合識別符。

回應
  • 無回應參數。

錯誤
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

GetDataQualityRuleRecommendationRun 操作(Python:獲取數據質量規則推薦運行)

取得用來產生規則的指定建議執行。

請求
  • RunId必要:UTF-8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    與此回合相關聯的唯一回合識別符。

回應
  • RunId— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    與此回合相關聯的唯一回合識別符。

  • DataSourceDataSource 物件。

    與此執行相關聯的資料來源 (資料 AWS Glue 表)。

  • Role— UTF -8 個字符串。

    提供 IAM 用來加密執行結果的角色。

  • NumberOfWorkers – 數字 (整數)。

    在執行中使用的 G.1X 工作者數目。預設值為 5。

  • Timeout – 數字 (整數),至少為 1。

    執行逾時 (以分鐘為單位)。此為執行在停止並進入 TIMEOUT 狀態前可以消耗資源的最大時間。預設值為 2,880 分鐘 (48 小時)。

  • Status-UTF -8 字符串(有效值:STARTINGRUNNINGSTOPPING| STOPPED | | SUCCEEDED | FAILED |TIMEOUT)。

    此回合的狀態。

  • ErrorString— UTF -8 個字符串。

    與任務執行相關聯的錯誤字串。

  • StartedOn – 時間戳記。

    此執行開始時的日期和時間。

  • LastModifiedOn – 時間戳記。

    時間戳記。修改此資料品質規則建議執行的最後一個時間點。

  • CompletedOn – 時間戳記。

    此任務執行完成的日期和時間。

  • ExecutionTime – 數字 (整數)。

    執行消耗資源所需的時間 (以秒為單位)。

  • RecommendedRuleset— UTF -8 個字符串,長度不小於 1 個或超過 65536 個字節。

    當啟動規則建議執行完成時,會建立建議的規則集 (一組規則)。此成員具有資料品質定義語言 (DQDL) 格式的規則。

  • CreatedRulesetName— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    執行建立的規則集的名稱。

  • DataQualitySecurityConfiguration— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    使用資料品質加密選項建立的安全性組態名稱。

錯誤
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

ListDataQualityRuleRecommendationRuns 操作(Python:列表數據質量規則推薦運行)

列出符合篩選條件的建議執行。

請求
  • FilterDataQualityRuleRecommendationRunFilter 物件。

    篩選條件。

  • NextToken— UTF -8 個字符串。

    位移結果的分頁字符。

  • MaxResults – 數字 (整數),不可小於 1,也不可以大於 1000。

    回傳結果的數量上限。

回應
  • Runs – 一個 DataQualityRuleRecommendationRunDescription 物件陣列。

    DataQualityRuleRecommendationRunDescription 物件的清單。

  • NextToken— UTF -8 個字符串。

    如有多個結果可用,即為分頁字符。

錯誤
  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

GetDataQualityResult 操作(Python:獲取數據質量結果)

擷取資料品質規則評估的結果。

請求
  • ResultId必要:UTF-8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    資料品質結果的唯一結果 ID。

回應
  • ResultId— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    資料品質結果的唯一結果 ID。

  • ProfileId— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    資料品質結果的設定檔 ID。

  • Score – 數字 (double),不可大於 1.0。

    彙總資料品質分數。表示通過的規則數目與規則總數的比率。

  • DataSourceDataSource 物件。

    與資料品質結果相關聯的資料表 (若有)。

  • RulesetName— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    與資料品質結果相關聯的規則集名稱。

  • EvaluationContext— UTF -8 個字符串。

    在 AWS Glue Studio 中的工作環境中,畫布中的每個節點通常被分配某種名稱,數據質量節點將具有名稱。如果存在多個節點,evaluationContext 可以區分節點。

  • StartedOn – 時間戳記。

    此資料品質結果執行開始的日期和時間。

  • CompletedOn – 時間戳記。

    此資料品質結果執行完成的日期和時間。

  • JobName— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    與資料品質結果相關聯的任務名稱 (若有)。

  • JobRunId— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    與資料品質結果相關聯的任務執行 ID (若有)。

  • RulesetEvaluationRunId— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    與規則集評估相關聯的唯一執行 ID。

  • RuleResults – 一個 DataQualityRuleResult 物件陣列,不可超過 2000 個結構。

    代表每個規則結果的 DataQualityRuleResult 物件清單。

  • AnalyzerResults – 一個 DataQualityAnalyzerResult 物件陣列,不可超過 2000 個結構。

    代表每個分析器結果的 DataQualityAnalyzerResult 物件清單。

  • ObservationsDataQualityObservation 物件陣列,不可超過 50 個結構。

    代表評估規則和分析器後產生的觀測值的 DataQualityObservation 物件清單。

錯誤
  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

  • EntityNotFoundException

BatchGetDataQualityResult 操作(Python:批處理數據質量結果)

擷取指定結果的資料品質結果清單IDs。

請求
  • ResultIds必要:UTF-8 個字串的陣列,不小於 1 或多於 100 個字串。

    資料品質結IDs果的唯一結果清單。

回應
  • Results必要:一個 DataQualityResult 物件。

    表示資料品質結果的 DataQualityResult 物件清單。

  • ResultsNotFound-UTF -8 個字符串的數組,不小於 1 個或多於 100 個字符串。

    找不到結果IDs的結果清單。

錯誤
  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

ListDataQualityResults 操作(Python:列表數據質量結果)

傳回您帳戶的所有資料品質執行結果。

請求
  • FilterDataQualityResultFilterCriteria 物件。

    篩選條件。

  • NextToken— UTF -8 個字符串。

    位移結果的分頁字符。

  • MaxResults – 數字 (整數),不可小於 1,也不可以大於 1000。

    回傳結果的數量上限。

回應
  • Results必要:一個 DataQualityResultDescription 物件。

    DataQualityResultDescription 物件的清單。

  • NextToken— UTF -8 個字符串。

    如有多個結果可用,即為分頁字符。

錯誤
  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

CreateDataQualityRuleset 動作 (Python: 建立品質規則集)

使用套用至指定 AWS Glue 表格的DQDL規則建立資料品質規則集。

您可以使用資料品質定義語言 (DQDL) 建立規則集。如需詳細資訊,請參閱開 AWS Glue 發人員指南。

請求
  • Name必要:UTF-8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    資料品質規則集的唯一名稱。

  • Description – 描述字串,長度不可超過 2048 個位元組,需符合URI address multi-line string pattern

    資料品質規則集的描述。

  • Ruleset必要:UTF-8 個字串,長度不小於 1 個或超過 65536 個位元組。

    資料品質定義語言 (DQDL) 規則集。如需詳細資訊,請參閱開 AWS Glue 發人員指南。

  • Tags – 金鑰值對的映射陣列,不超過 50 對。

    每個鍵是 UTF -8 個字符串,長度不小於 1 或超過 128 個字節。

    每個值都是 UTF -8 個字串,長度不超過 256 個位元組。

    套用至資料品質規則集的標籤清單。

  • TargetTableDataQualityTargetTable 物件。

    與資料品質規則集關聯的目標資料表。

  • RecommendationRunId— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    建議執行的唯一執行 ID。

  • DataQualitySecurityConfiguration— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    使用資料品質加密選項建立的安全性組態名稱。

  • ClientToken— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    用於冪等性,建議將其設置為隨機 ID(例如 aUUID),以避免創建或啟動同一資源的多個實例。

回應
  • Name— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    資料品質規則集的唯一名稱。

錯誤
  • InvalidInputException

  • AlreadyExistsException

  • OperationTimeoutException

  • InternalServiceException

  • ResourceNumberLimitExceededException

DeleteDataQualityRuleset 動作 (Python: 刪除資料品質規則集)

刪除資料品質規則集。

請求
  • Name必要:UTF-8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    資料品質規則集的名稱。

回應
  • 無回應參數。

錯誤
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

GetDataQualityRuleset 行動(Python:獲取質量規則集)

透過識別符或名稱傳回現有的規則集。

請求
  • Name必要:UTF-8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    規則集的名稱。

回應
  • Name— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    規則集的名稱。

  • Description – 描述字串,長度不可超過 2048 個位元組,需符合URI address multi-line string pattern

    規則群組的描述。

  • Ruleset— UTF -8 個字符串,長度不小於 1 個或超過 65536 個字節。

    資料品質定義語言 (DQDL) 規則集。如需詳細資訊,請參閱開 AWS Glue 發人員指南。

  • TargetTableDataQualityTargetTable 物件。

    目標資料表的名稱和資料庫名稱。

  • CreatedOn – 時間戳記。

    時間戳記。建立此資料品質規則集的時間和日期。

  • LastModifiedOn – 時間戳記。

    時間戳記。修改此資料品質規則集的最後一個時間點。

  • RecommendationRunId— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    從建議執行建立規則集時,會產生此執行 ID 以將兩者連結在一起。

  • DataQualitySecurityConfiguration— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    使用資料品質加密選項建立的安全性組態名稱。

錯誤
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

ListDataQualityRulesets 操作(Python:列表數據質量規則集)

傳回指定表格清單的規則集分頁清單。 AWS Glue

請求
  • NextToken— UTF -8 個字符串。

    位移結果的分頁字符。

  • MaxResults – 數字 (整數),不可小於 1,也不可以大於 1000。

    回傳結果的數量上限。

  • FilterDataQualityRulesetFilterCriteria 物件。

    篩選條件。

  • Tags – 金鑰值對的映射陣列,不超過 50 對。

    每個鍵是 UTF -8 個字符串,長度不小於 1 或超過 128 個字節。

    每個值都是 UTF -8 個字串,長度不超過 256 個位元組。

    鍵/值對標籤清單。

回應
  • Rulesets – 一個 DataQualityRulesetListDetails 物件陣列。

    指定表格清單中規則集的分頁清單。 AWS Glue

  • NextToken— UTF -8 個字符串。

    如有多個結果可用,即為分頁字符。

錯誤
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

UpdateDataQualityRuleset 行動(Python:更新數據質量規則集)

更新指定的資料品質規則集。

請求
  • Name必要:UTF-8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    資料品質規則集的名稱。

  • Description – 描述字串,長度不可超過 2048 個位元組,需符合URI address multi-line string pattern

    規則群組的描述。

  • Ruleset— UTF -8 個字符串,長度不小於 1 個或超過 65536 個字節。

    資料品質定義語言 (DQDL) 規則集。如需詳細資訊,請參閱開 AWS Glue 發人員指南。

回應
  • Name— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    資料品質規則集的名稱。

  • Description – 描述字串,長度不可超過 2048 個位元組,需符合URI address multi-line string pattern

    規則群組的描述。

  • Ruleset— UTF -8 個字符串,長度不小於 1 個或超過 65536 個字節。

    資料品質定義語言 (DQDL) 規則集。如需詳細資訊,請參閱開 AWS Glue 發人員指南。

錯誤
  • EntityNotFoundException

  • AlreadyExistsException

  • IdempotentParameterMismatchException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

  • ResourceNumberLimitExceededException