本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
使用機器學習轉型
您可以使 AWS Glue 用建立可用來清理資料的自訂機器學習轉換。您可以在 AWS Glue 主控台上建立任務時使用這些轉換。
如需如何建立機器學習轉換的資訊,請參閱使用 AWS Lake Formation FindMatches 比對記錄。
轉換屬性
若要檢視現有的機器學習轉換,請登入 AWS Management Console,然後在中開啟AWS Glue主控台https://console.aws.amazon.com/glue/
每個轉換的屬性:
- 轉換名稱
-
建立轉換時授予它的唯一名稱。
- ID
-
轉換的唯一識別符。
- 標籤計數
-
為了協助教導轉換而在標籤檔案中提供的標籤數。
- Status
-
指出轉換為 Ready (準備就緒) 還是 Needs training (需要訓練)。若要在任務中成功執行機器學習轉換,它必須處於就緒。
- 已建立
-
建立轉換的日期。
- 已修改
-
上次更新轉換的日期。
- 描述
-
為轉換提供的描述 (如果已提供)。
- AWS Glue 版本
-
使用的 AWS Glue 版本。
- 執行識別碼
-
建立轉換時授予它的唯一名稱。
- 任務類型
-
機器學習轉換的類型;例如 Find matching records (尋找相符記錄)。
- Status
-
指出任務執行的狀態。可能的狀態包括:
-
啟動
-
執行中
-
正在停止
-
已停止
-
Succeeded
-
失敗
-
逾時
-
- 錯誤
-
如果狀態為「失敗」,會顯示錯誤訊息,說明失敗的原因。
新增和編輯機器學習轉換
您可以在 AWS Glue 主控台上檢視、刪除、設定和教導,或調校轉換。在清單中選取轉換旁邊的核取方塊、選擇 Action (動作),然後選擇您希望採取的動作。
建立新的 ML 轉換
若要新增機器學習轉換,請選擇建立轉換。依照新增任務精靈中的說明來進行操作。如需詳細資訊,請參閱使用 AWS Lake Formation FindMatches 比對記錄。
步驟 1. 設定轉換屬性。
-
輸入名稱和描述 (選用)。
-
或者,設定安全組態。請參閱 使用機器學習轉換的資料加密。
-
或者,進行任務執行設定。任務執行設定可讓您自訂任務的執行方式。選取工作者類型、工作者數量、任務逾時 (以分鐘為單位)、重試次數及 AWS Glue 版本。
-
或者設定標籤。標籤是您可以指派給 AWS 資源的標籤。每個標籤皆包含索引鍵與選用值。標籤可用於搜尋和篩選資源或追蹤 AWS 成本。
步驟 2. 選擇資料表和主索引鍵。
-
選擇 AWS Glue 型錄資料庫和資料表。
-
從選取的資料表中選擇主索引鍵。主索引鍵資料欄通常包含資料來源中每個記錄的唯一識別碼。
步驟 3。選取調整選項。
-
對於取回率與精確度,請選擇調整值來調整轉換,以著重於取回率或精確度。依預設,已選取已平衡,但您可以選擇著重於取回率或精確度,或選擇自訂並輸入介於 0.0 到 1.0 (含) 之間的值。
-
對於低成本與準確度,請選擇調整值以著重於成本或準確度,或選擇自訂並輸入介於 0.0 到 1.0 (含) 之間的值。
-
對於比對強制執行,如果您想要透過強制輸出比對使用的標籤來教導機器學習轉換,請選擇強制輸出以比對標籤。
步驟 4. 檢閱和建立。
-
檢閱步驟 1 至 3 的選項。
-
針對需要修改的任何步驟選擇編輯。選擇建立轉換以完成建立轉換精靈。
使用機器學習轉換的資料加密
將機器學習轉換新增至 AWS Glue,您可以選擇性地指定與資料來源或資料目標相關聯的安全性組態。如果用於存放資料的 Amazon S3 儲存貯體是使用安全組態加密的,請在建立轉換時指定相同的安全組態。
您也可以選擇使用伺服器端加密 AWS KMS (SSE-KMS) 來加密模型和標籤,以防止未經授權的人員檢查模型和標籤。如果您選擇此選項,系統會提示您選擇 AWS KMS key 依名稱,或者您可以選擇 [輸入金鑰] ARN。如果您選擇輸入ARNKMS金鑰,則會出現第二個欄位,您可以在其中輸入KMS金鑰ARN。
注意
目前,下列區域不支援使用自訂加密金鑰的機器學習轉換:
-
亞太區域 (大阪)
ap-northeast-3
檢視轉換詳細資訊
檢視轉換屬性
轉換屬性頁面包含轉換的屬性。它會顯示轉換定義的詳細資訊,例如以下項目:
-
Transform name (轉換名稱) 顯示轉換的名稱。
-
Type (類型) 會列出轉換的類型。
-
Status (狀態) 顯示轉換是否已準備就緒,可在指令碼或任務中使用。
-
Force output to match labels (強制輸出與標籤進行比對) 顯示轉換是否會強制輸出與使用者提供的標籤進行比對。
-
Spark version (Spark 版本) 與您在新增轉換時在 Task run properties (任務執行屬性) 中選擇的 AWS Glue 版本相關。AWS Glue 1.0 和 Spark 2.4 是建議大多數客戶使用的版本。如需詳細資訊,請參閱 AWS Glue 版本。
「歷史記錄」、「預估品質」和「標籤」索引標籤
轉換詳細資訊包含您在建立轉換時所定義的資訊。若要查看轉換詳細資訊,請在 Machine learning transforms (機器學習轉換) 清單中選取轉換,然後在下列標籤上檢閱資訊:
-
歷史記錄
-
Estimate quality (估計品質)
-
標籤
歷史記錄
History (歷史記錄) 標籤會顯示您的轉換任務執行歷史記錄。為了教導轉換,會執行數種類型的任務。針對每個任務,執行指標包含下列項目:
-
Run ID (執行 ID) 是 AWS Glue 在此任務每次執行時所建立的識別符。
-
Task type (任務類型) 顯示任務執行的類型。
-
Status (狀態) 顯示所列出的每個任務是否成功,其中最上方會列出最近的執行。
-
Error (錯誤) 會在執行未成功時,顯示錯誤訊息的詳細資訊。
-
Start time (開始時間) 會顯示任務開始的日期和時間 (本地時間)。
-
結束時間會顯示任務結束的日期和時間 (本地時間)。
-
Logs (日誌) 會連結至此次任務執行時所寫入
stdout
的日誌。日誌鏈接將帶您到 Amazon CloudWatch 日誌。您可以在此檢視中建立之表格的詳細資訊,以 AWS Glue Data Catalog 及遇到的任何錯誤。您可以在 CloudWatch 主控台上管理記錄保留期。預設的日誌保留期間為
Never Expire
。如需有關如何變更保留期的詳細資訊,請參閱 Amazon CloudWatch 日誌使用指南中的變更 CloudWatch 日誌資料保留。 -
標籤檔案會顯示指向所產生標記檔案之 Amazon S3 的連結。
Estimate quality (估計品質)
Estimate quality (估計品質) 標籤會顯示您用來測量轉換品質的指標。透過比較使用標記資料子集轉換比對預測結果與您提供的標籤,來計算預估值。這些預估是近似值。您可以從此標籤呼叫 Estimate quality (估計品質) 任務執行。
Estimate quality (估計品質) 標籤從包括下列屬性的最近一次 Estimate quality (估計品質) 執行顯示指標:
-
Area under the Precision-Recall curve (精確度取回率曲線下方的區域) 是一個單一數字,用來估算轉換的整體品質上限。它獨立於為精確度取回率參數所進行的選擇之外。較高的值表示您有較具吸引力的精確度與取回率取捨。
-
Precision (精確度) 估算轉換正確預測相符項目的頻率。
-
Recall upper limit (取回率上限) 估算針對實際的相符項目,轉換預測為相符的頻率。
-
F1 預估介於 0 和 1 之間轉換的準確度,其中 1 表示最佳準確度。如需詳細資訊,請參閱 Wikipedia 中的 F1 score
。 -
Column importance (欄重要性) 資料表會顯示每個資料行的資料行名稱和重要性分數。欄重要性可協助您了解欄對模型的貢獻方式,藉由識別記錄中的哪些欄比其他欄更重要。此資料可能會提示您新增或變更標籤集,以提高或降低欄的重要性。
[重要性] 欄會提供每個欄的數值分數,表示為不大於 1.0 的小數點。
如需了解品質估計與真實品質的資訊,請參閱質量估計與 end-to-end (真實)質量。
如需調校您轉換的詳細資訊,請參閱在 AWS Glue 中調校機器學習轉換。
質量估計與 end-to-end (真實)質量
AWS Glue 會透過向內部機器學習模型呈現您為其提供比對標籤,但該模型先前從未看過的數組記錄,來預估轉換品質。這些品質估計是機器學習模型的品質函數,會受到您標記以「教導」轉換的記錄數量影響。或 true 調用 (不會由自動計算ML transform
) 也受到篩選機制的影響 end-to-end,該ML transform
過濾機制會提出與機器學習的模型有多種可能的匹配。
您可以指定較低成本-準確度調整值來重點調整此篩選方法。在您將調整值移向準確度一端時,系統會進行更完整且更詳細的搜尋,以尋找可能是相符項目的記錄組。將更多的記錄對輸入到您的機器學習模型中,而您ML transform
的 end-to-end或真實的回收將更接近估計的召回量度。因此,由於比賽的成本/準確度權衡發生變化,比賽 end-to-end 品質的變化通常不會反映在品質估計中。
標籤
標籤是您可以指派給 AWS 資源的標籤。每個標籤皆包含索引鍵與選用值。標籤可用於搜尋和篩選資源或追蹤 AWS 成本。
使用標籤教導轉換
您可以從機器學習轉換詳細資訊頁面選擇教導轉換,以使用標籤 (範例) 教導機器學習轉換。透過提供範例 (稱為標籤) 來教導機器學習演算法時,您可以選擇要使用的現有標籤或建立標記檔案。
![螢幕擷取畫面顯示使用標籤教導轉換的精靈畫面。](images/machine-learning-teach-transform.png)
-
標記:如果您有標籤,請選擇我有標籤。如果沒有標籤,您仍然可以繼續「產生標記檔案」中的下一步。
-
產生標記檔案:AWS Glue 從來源資料中擷取記錄並建議潛在的相符記錄。您可以選擇 Amazon S3 儲存貯體來存放產生的標籤檔案。選擇產生標記檔案以開始該程序。完成後,選擇下載標記檔案。下載的檔案將有一欄標籤,您可以在其中填寫標籤。
-
從 Amazon S3 上傳標籤:從存放標籤檔案的 Amazon S3 儲存貯體中選擇完成的標記檔案。然後,選擇將標籤附加到現有標籤或覆寫現有標籤。選擇從 Amazon S3 上傳標記檔案。