驗證和調整標籤 - Amazon SageMaker
建立驗證與調整標籤工作的需求建立標籤驗證工作 (主控台)建立標籤調整工作 (主控台)啟動標籤驗證或調整工作 (API)輸出資訊清單中的標籤驗證和調整資料注意事項和考量事項

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

驗證和調整標籤

當資料集上的標籤需要驗證時，Amazon SageMaker Ground Truth 會提供功能，讓員工驗證標籤是否正確或調整先前的標籤。

這些類型的工作分為兩個不同的類別：

  • 標籤驗證 — 工作者會指出現有標籤是否正確，或是對其品質評分，並且可以新增評論來解釋原因。工作者無法修改或調整標籤。

    如果您建立 3D 點雲或影片影格標籤調整或驗證工作，您可以選擇允許工作者編輯標籤類別屬性 (不支援 3D 點雲語意分割) 和影格屬性。

  • 標籤調整 — 工作者會調整先前的註釋，如果適用，還可以調整標籤類別和影格屬性以更正它們。

下列 Ground Truth 內建任務類型支援調整和驗證標籤工作：

  • 邊界框

  • 語意分割

  • 3D 點雲物件偵測、3D 點雲物件追蹤，以及 3D 點雲語意分割

  • 所有影片影格物件偵測和影片影格物件追蹤任務類型 — 邊界框、折線、多邊形和關鍵點

提示

對於 3D 點雲和影片影格標籤驗證工作，建議您將新的標籤類別屬性或影格屬性新增至標籤工作。工作者可以使用這些屬性來驗證個別標籤或整個影格。若要進一步了解標籤類別和影格屬性，關於 3D 點雲請參閱工作者使用者界面 (UI)，關於影片影格請參閱工作者使用者介面 (UI)。

您可以使用 SageMaker 控制台或 API 啟動標籤驗證和調整任務。

建立驗證與調整標籤工作的需求

若要建立標籤驗證或調整工作，須符合下列條件。

  • 對於非串流標籤工作：您使用的輸入資訊清單檔案必須包含要調整之標籤的標籤屬性名稱 (LabelAttributeName)。當您串連已順利完成的標籤工作時，輸出資訊清單檔案會成為新的串連工作的輸入資訊清單檔案。若要進一步了解 Ground Truth 針對每個任務類型產生的輸出資訊清單檔案的格式，請參閱輸出資料。

    對於串流標籤工作：您傳送至調整或驗證標籤工作之 Amazon SNS 輸入主題的 Amazon SNS 訊息，必須包含您要調整或驗證之標籤的標籤屬性名稱。若要查看如何使用串流標籤工作建立調整或驗證標籤工作的範例，請參閱中的這個 Jupyter Notebook 範例。 GitHub

  • 驗證或調整標籤工作的任務類型必須與原始工作的任務類型相同，除非您使用 影像標籤驗證 任務類型來驗證邊界框或語意分割影像標籤。如需有關影片影格任務類型需求的更多詳細資訊，請參閱下一個重點。

  • 對於影片影格註釋驗證和調整工作，您必須使用與先前標籤工作建立註釋所用的相同註釋任務類型。例如，如果您建立影片影格物件偵測工作，讓工作者在物件周圍繪製邊界框，然後建立影片物件偵測調整工作，您必須指定邊界框做為註釋任務類型。進一步了解影片影格註釋任務類型，請參閱任務類型。

  • 您為調整或驗證標籤工作選取的任務類型，必須支援稽核工作流程。下列 Ground Truth 內建任務類型支援調整和驗證標籤工作：邊界框、語意分割、3D 點雲物件偵測、3D 點雲物件追蹤和 3D 點雲語意分割，以及所有影片影格物件偵測和影片影格物件追蹤任務類型 — 邊界框、折線、多邊形和關鍵點。

建立標籤驗證工作 (主控台)

在主控台中選擇標籤驗證任務類型，即可建立邊界框和語意分割標籤工作。若要為 3D 點雲和影片影格任務類型建立驗證工作，您必須選擇與原始標籤工作相同的任務類型，並選擇顯示現有標籤。請使用下列其中一個章節，為您的任務類型建立標籤驗證工作。

建立影像標籤驗證工作 (主控台)

依照以下程序使用主控台建立邊界框或語意分割驗證工作。此程序假設您已經建立邊界框或語意分割標籤工作，且其狀態為完成。這是產生您要驗證的標籤的標籤工作。

建立影像標籤驗證工作：

  1. 在 https://console.aws.amazon.com/sagemaker/ 開啟 SageMaker 主控台，然後選擇 [標籤工作]。

  2. 透過串連先前的工作或從頭開始，指定包含已標籤資料物件的輸入資訊清單，以啟動新的標籤工作。

  3. 在任務類型窗格中，選取標籤驗證。

  4. 選擇下一步。

  5. 在工作者區段中，選擇您要使用的人力資源類型。如需人力資源選項的更多詳細資訊，請參閱建立和管理人力。

  6. (選用) 選取人力資源後，請指定任務逾時和任務過期時間。

  7. 在現有標籤顯示選項窗格中，系統會在您的資訊清單中顯示可用的標籤屬性名稱。選擇標籤屬性名稱，以識別您希望工作者驗證的標籤。Ground Truth 會嘗試透過分析資訊清單來偵測並填入這些值，但是您可能需要設定正確的值。

  8. 使用工具設計工具的指示區域，提供先前標籤人員被要求執行的動作，以及目前的驗證者需要檢查的內容。

    您可以新增工作者選擇的新標籤來驗證標籤。例如，您可以要求工作者驗證影像品質，並提供清晰和模糊標籤。工作者還可以選擇新增註解以解釋他們的選擇。

  9. 選擇查看預覽來檢查工具是否正確顯示先前的標籤，並清楚顯示標籤驗證任務。

  10. 選取建立。這將建立並啟動您的標籤工作。

建立點雲或影片影格標籤驗證工作 (主控台)

依照以下程序使用主控台建立 3D 點雲或影片影格驗證工作。此程序假設您已使用任務類型建立標籤工作，該任務類型會產生您要驗證的標籤類型，且其狀態為完成。

建立影像標籤驗證工作：

  1. 在 https://console.aws.amazon.com/sagemaker/ 開啟 SageMaker 主控台，然後選擇 [標籤工作]。

  2. 透過串連先前的工作或從頭開始，指定包含已標籤資料物件的輸入資訊清單，以啟動新的標籤工作。

  3. 在任務類型窗格中，選取與您串連的標籤工作相同的任務類型。例如，如果原始標籤工作是影片影格物件偵測關鍵點標籤工作，請選取該任務類型。

  4. 選擇下一步。

  5. 在工作者區段中，選擇您要使用的人力資源類型。如需人力資源選項的更多詳細資訊，請參閱建立和管理人力。

  6. (選用) 選取人力資源後，請指定任務逾時和任務過期時間。

  7. 開啟顯示現有標籤旁的切換開關。

  8. 選取驗證。

  9. 對於標籤屬性名稱，請從資訊清單中選擇與要顯示的標籤相對應的名稱以進行驗證。您只會看到與您在上一步螢幕上選取的任務類型相符的標籤的標籤屬性名稱。Ground Truth 會嘗試透過分析資訊清單來偵測並填入這些值，但是您可能需要設定正確的值。

  10. 使用工具設計工具的指示區域，提供先前標籤人員被要求執行的動作，以及目前的驗證者需要檢查的內容。

    您無法修改或新增標籤。您可以移除、修改和新增新的標籤類別屬性或影格屬性。建議您將新的標籤類別屬性或影格屬性新增至標籤工作。工作者可以使用這些屬性來驗證個別標籤或整個影格。

    依預設值，工作者無法編輯先前存在的標籤類別屬性和影格屬性。如果您要使標籤類別或影格屬性可編輯，請為該屬性選取允許工作者編輯此屬性的核取方塊。

    若要進一步了解標籤類別和影格屬性，關於 3D 點雲請參閱工作者使用者界面 (UI)，關於影片影格請參閱工作者使用者介面 (UI)。

  11. 選擇查看預覽來檢查工具是否正確顯示先前的標籤，並清楚顯示標籤驗證任務。

  12. 選取建立。這將建立並啟動您的標籤工作。

建立標籤調整工作 (主控台)

請使用下列章節，為您的任務類型建立標籤驗證工作。

建立影像標籤調整工作 (主控台)

依照以下程序使用主控台建立邊界框或語意分割調整標籤工作。此程序假設您已經建立邊界框或語意分割標籤工作，且其狀態為完成。這是產生要調整的標籤的標籤工作。

建立影像標籤調整工作 (主控台)

  1. 在 https://console.aws.amazon.com/sagemaker/ 開啟 SageMaker 主控台，然後選擇 [標籤工作]。

  2. 透過串連先前的工作或從頭開始，指定包含已標籤資料物件的輸入資訊清單，以啟動新的標籤工作。

  3. 選擇與原始標籤工作相同的任務類型。

  4. 選擇下一步。

  5. 在工作者區段中，選擇您要使用的人力資源類型。如需人力資源選項的更多詳細資訊，請參閱建立和管理人力。

  6. (選用) 選取人力資源後，請指定任務逾時和任務過期時間。

  7. 選取標題旁邊的箭頭，展開現有標籤顯示選項。

  8. 勾選我要從這個任務的資料集顯示現有標籤旁邊的方塊。

  9. 對於標籤屬性名稱，從資訊清單中選擇與要顯示的標籤相對應的名稱以進行調整。您只會看到與您在上一步螢幕上選取的任務類型相符的標籤的標籤屬性名稱。Ground Truth 會嘗試透過分析資訊清單來偵測並填入這些值，但是您可能需要設定正確的值。

  10. 使用工具設計工具的指示區域，提供先前標籤人員被賦予執行的任務，以及目前的驗證者需要檢查及調整的內容。

  11. 選擇查看預覽，來檢查工具是否正確顯示先前的標籤，並清楚顯示任務。

  12. 選取建立。這將建立並啟動您的標籤工作。

建立點雲或影片影格標籤調整工作 (主控台)

依照以下程序使用主控台建立 3D 點雲或影片影格調整工作。此程序假設您已使用任務類型建立標籤工作，該任務類型會產生您要驗證的標籤類型，且其狀態為完成。

要建立 3D 點雲或影片影格標籤調整工作 (主控台)

  1. 開啟主 SageMaker 控台：https://console.aws.amazon.com/sagemaker/並選擇 [標籤工作]。

  2. 透過串連先前的工作或從頭開始，指定包含已標籤資料物件的輸入資訊清單，以啟動新的標籤工作。

  3. 選擇與原始標籤工作相同的任務類型。

  4. 開啟顯示現有標籤旁的切換開關。

  5. 選取調整。

  6. 對於標籤屬性名稱，從資訊清單中選擇與要顯示的標籤相對應的名稱以進行調整。您只會看到與您在上一步螢幕上選取的任務類型相符的標籤的標籤屬性名稱。Ground Truth 會嘗試透過分析資訊清單來偵測並填入這些值，但是您可能需要設定正確的值。

  7. 使用工具設計人員指示區域，提供先前標籤人員被要求執行的動作，以及目前的調整者需要檢查的內容。

    您無法移除或修改現有標籤，但您可以新增標籤。您可以移除、修改和新增新的標籤類別屬性或影格屬性。

    根據預設值，預先存在的標籤類別屬性和影格屬性，將可由工作者編輯。如果您要讓標籤類別或影格屬性變成不可編輯，請取消選取該屬性的允許工作者編輯此屬性的核取方塊。

    若要進一步了解標籤類別和影格屬性，關於 3D 點雲請參閱工作者使用者界面 (UI)，關於影片影格請參閱工作者使用者介面 (UI)。

  8. 選擇查看預覽，來檢查工具是否正確顯示先前的標籤，並清楚顯示任務。

  9. 選取建立。這將建立並啟動您的標籤工作。

啟動標籤驗證或調整工作 (API)

啟動標籤驗證或調整工作，方法為串連成功完成的工作，或使用 CreateLabelingJob 作業從頭啟動新工作。該程序與用 CreateLabelingJob 設定新標籤工作幾乎相同，只需進行一些修改。請使用以下各節，了解串連標籤工作以建立調整或驗證標籤工作時，需要進行哪些修改。

使用 Ground Truth API 建立調整或驗證標籤工作時，您必須使用與原始標籤工作不同的 LabelAttributeName。原始標籤工作是用來建立您要調整或驗證之標籤的工作。

重要

您為 CreateLabelingJob 的 LabelCategoryConfigS3Uri 中的調整或驗證工作指定的標籤類別組態檔案，必須包含用於原始標籤工作的相同標籤。您可以新增標籤。對於 3D 點雲和影片影格工作，您還可以再新增標籤類別和影格屬性至標籤類別組態檔案。

邊界框和語意分割

若要建立邊界框或語意分割標籤驗證或調整工作，請使用下列指南來指定 CreateLabelingJob 作業的 API 屬性。

  • 使用 LabelAttributeName 參數，來指定要用於已驗證或已調整標籤的輸出標籤名稱。您必須使用與原始標籤工作所使用者不同的 LabelAttributeName。

  • 如果您正在串連工作，則會在自訂使用者介面範本中指定要調整或驗證之先前標籤工作中的標籤。若要了解如何建立自訂範本，請參閱建立自訂工作者任務範本。

    識別UiTemplateS3Uri參數中 UI 範本的位置。 SageMaker 提供小工具，您可以在自訂範本中使用，以顯示舊標籤。使用下列其中一個 crowd 元素中的 initial-value 屬性來擷取需要驗證或調整的標籤，並將它們包含在您的任務範本中：

    • crowd-semantic-segmentation — 在自訂使用者介面任務範本中請使用此 crowd 元素，來指定需要驗證或調整的語意分割標籤。

    • crowd-bounding-box — 在自訂使用者介面任務範本中請使用此 crowd 元素，來指定需要驗證或調整的邊界框標籤。

  • LabelCategoryConfigS3Uri 參數必須包含與前一個標籤工作相同的標籤類別。

  • 對於 PreHumanTaskLambdaArn 和 AnnotationConsolidationLambdaArn，請使用邊界框或語意分割調整或驗證 lambda ARN：

    • 對於邊界框，調整標籤工作 lambda 函式 ARN 結尾為 AdjustmentBoundingBox，驗證 lambda 函式 ARN 結尾為 VerificationBoundingBox。

    • 對於語意分割，調整標籤工作 lambda 函式 ARN 結尾為 AdjustmentSemanticSegmentation，驗證 lambda 函式 ARN 結尾為 VerificationSemanticSegmentation。

3D 點雲和影片影格

  • 使用 LabelAttributeName 參數，來指定要用於已驗證或已調整標籤的輸出標籤名稱。您必須使用與原始標籤工作所使用者不同的 LabelAttributeName。

  • 您必須使用用於原始標籤工作的人工任務使用者介面 Amazon Resource Name (ARN) (HumanTaskUiArn)。若要查看支援的 ARN，請參閱 HumanTaskUiArn。

  • 在標籤類別組態檔案中，您必須指定先前標籤工作的標籤屬性名稱 (LabelAttributeName)，那是您用來在 auditLabelAttributeName 參數中建立調整或驗證標籤工作的屬性名稱。

  • 您可以使用 LabelCategoryConfigS3Uri 參數識別的標籤類別組態檔案中的 editsAllowed 參數，來指定標籤工作是驗證還是調整標籤工作。

    • 對於驗證標籤工作，您必須使用 editsAllowed 參數來指定所有標籤為無法修改。在 labels 中的每個項目 editsAllowed 必須設定為 "none"。或者，您可以指定工作者是否可以調整標籤類別屬性和影格屬性。

    • 對於調整標籤工作，您可以選擇使用 editsAllowed 參數來指定工作者可以或不可以修改的標籤、標籤類別屬性及影格屬性。如果不使用此參數，則所有所有標籤、標籤類別屬性和影格屬性都將可調整。

    若要進一步了解有關 editsAllowed 參數和設定標籤類別組態檔案，請參閱標籤類別組態檔案結構。

  • 使用 PreHumanTaskLambdaArn 和 AnnotationConsolidationLambdaArn 的 3D 點雲或影片影格調整 lambda ARN 來進行調整和驗證標籤工作：

    • 3D 點雲的調整和驗證標籤工作 lambda 函式 ARN 的結尾為 Adjustment3DPointCloudSemanticSegmentation、Adjustment3DPointCloudObjectTracking，而 3D 點雲語意分割、物件偵測和物件追蹤的調整和驗證標籤工作 lambda 函式 ARN 結尾則為 Adjustment3DPointCloudObjectDetection。

    • 對於影片影格，影片影格物件偵測和物件追蹤的調整和驗證標籤工作 lambda 函式 ARN 的結尾分別為 AdjustmentVideoObjectDetection 和 AdjustmentVideoObjectTracking。

Ground Truth 會將標籤驗證或調整工作的輸出資料儲存在您在 CreateLabelingJob 作業中的 S3OutputPath 參數所指定的 S3 儲存貯體中。如需來自標籤驗證或調整標籤工作之輸出資料的詳細資訊，請參閱輸出資訊清單中的標籤驗證和調整資料。

輸出資訊清單中的標籤驗證和調整資料

Amazon SageMaker Ground Truth 會將標籤驗證資料寫入標籤中繼資料內的輸出資訊清單。它會將兩個屬性新增至中繼資料：

  • type 屬性，其值為 groundtruth/label-verification。

  • worker-feedback 屬性，具有 comment 值的陣列。此屬性是在工作者輸入註解時新增的。如果沒有註解，則欄位不會出現。

下列範例輸出資訊清單顯示標籤驗證資料的出現方式：

{
  "source-ref":"S3 bucket location", 
  "verify-bounding-box":"1",    
  "verify-bounding-box-metadata":  
  {
    "class-name": "bad", 
    "confidence": 0.93, 
    "type": "groundtruth/label-verification", 
    "job-name": "verify-bounding-boxes",
    "human-annotated": "yes",
    "creation-date": "2018-10-18T22:18:13.527256",
    "worker-feedback": [
      {"comment": "The bounding box on the bird is too wide on the right side."},
      {"comment": "The bird on the upper right is not labeled."}
    ]
  }
}

調整任務的工作者輸出類似於原始任務的工作者輸出，只是它會包含調整的值和其值為 adjusted 或 unadjusted 的 adjustment-status 屬性，指出是否已進行調整。

如需更多不同任務的輸出範例，請參閱輸出資料。

注意事項和考量事項

若要在建立標籤驗證或調整工作時取得預期的行為，請仔細驗證您的輸入資料。

  • 如果您是使用影像資料，請驗證您的資訊清單檔案是否包含十六進位 RGB 顏色資訊。

  • 若要節省處理成本，請篩選資料以確保標籤工作輸入資訊清單中未包括不需要的物件。

  • 新增必要的 Amazon S3 許可，以確保正確處理您的輸入資料。

使用 Ground Truth API 建立調整或驗證標籤工作時，您必須使用與原始標籤工作不同的 LabelAttributeName。

語意分割工作的顏色資訊需求

若要在驗證或調整任務中正確重現色彩資訊，此工具需要資訊清單中的十六進位 RGB 色彩資訊 (例如，#FFFFFF 代表白色)。在設定語意分割驗證或調整工作時，工具會檢查資訊清單，以判斷這項資訊是否存在。如果找不到它，Amazon SageMaker Ground Truth 會顯示一條錯誤消息並結束任務設置。

在先前的語意分割工具反覆運算中，類別色彩資訊不會以十六進位 RGB 格式輸出至輸出資訊清單。在引入驗證和調整工作流程的同時，該功能也被引入到輸出資訊清單中。因此，較舊的輸出資訊清單與這個新的工作流程不相容。

在啟動工作之前篩選資料

Amazon SageMaker Ground Truth 處理輸入清單中的所有對象。如果您有部分的標籤資料集，則可能想要在輸入資訊清單上使用 Amazon S3 Select 查詢，來建立自訂資訊清單。未標籤的物件會個別失敗，但它們不會導致工作失敗，而且可能會產生處理成本。篩選掉不想驗證的物件會降低成本。

如果您使用主控台建立驗證工作，則可以使用該處提供的篩選工具。如果您使用 API 建立工作，請視需要將資料篩選納入工作流程。