整合標註 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

整合標註

「標註」是單一工作者之標記任務的結果。「標註整合」會為您的資料物件,將兩個以上的工作者標註合併成單一標籤。指派給資料集中每個物件的標籤,是真實標籤應該是什麼的概率估計值。資料集中的每個物件通常有多個標註,但只有一個標籤或一組標籤。

您可以決定要讓多少工作者標註您資料集中的每個物件。投入越多的工作者可以提高您標記的準確性,但也會增加標記的成本。若要進一步了解 Ground Truth 定價,請參閱 Amazon SageMaker Ground Truth 定價

如果您使用 Amazon SageMaker 主控台建立標籤任務,則可註解物件的工作者數量的預設值如下:

  • 文字分類 - 3 個工作者

  • 影像分類 — 3 個工作者

  • 週框方塊 - 5 個工作者

  • 語義分隔 - 3 個工作者

  • 具名實體辨識 — 3 個工作者

使用 CreateLabelingJob 操作時,您會設定多少個工作者,使用 NumberOfHumanWorkersPerDataObject 參數標註每個資料物件。您可以使用主控台或 CreateLabelingJob 操作,覆寫標註資料物件的預設工作者數目。

Ground Truth 可為每個預先定義的標記任務提供標註整合函數:週框方塊、影像分類、名稱實體辨識、語義分隔及文字分類。有以下函數:

  • 影像和文字分類的多類別標註整合會使用不同的最大期望值算法來進行標註。它會估計每個工作者的參數,並根據個別工作者的類別標註,使用貝氏推論來估計真正的類別。

  • 週框方塊標註整合多個工作者的週框方塊。此函數會根據方塊的雅卡爾指數 (Jaccard index) 或聯集上的交集並平均它們,從不同工作者中尋找最相似的方塊。

  • 語意分段標註整合將單一影像中的每個像素視為一個多類別分類。此函數會將平滑化函數套用至影像,納入周圍像素的更多資訊,而將工作者的像素標註視為「選票」。

  • 具名實體辨識會依 Jaccard 相似度來叢集文字選取項目,並基於模式來計算選取項目界限,或如果不確定模式,則取中間值。標籤會解析為叢集中指派最多的實體標籤,並依隨機選取項目來中斷連結。

您可以使用其他演算法來整合標註。如需相關資訊,請參閱 建立您自己的標註整合函數

建立您自己的標註整合函數

您可以選擇使用自己的標註整合函數,來決定所標記物件的最終標籤。有許多撰寫函數的可行方法,以及您可以根據要整合之標註的性質採取的方法。廣義來說,整合函數會查看工作者的標註、測量它們之間的相似性,然後使用某種形式的機率性判斷來決定最可能的標籤為何。

如果想要使用其他演算法來建立標註整合函數,則您可以在將任務輸出導引至其中之 Amazon S3 儲存貯體的 [project-name]/annotations/worker-response 資料夾中找到工作者回應。

評估相似性

若要評估標籤之間的相似性,您可以使用下列其中一個策略,或是使用符合您資料標記需求的策略:

  • 針對由離散、互斥類別組成的標籤空間 (例如多類別分類),評估相似度的過程可以相當直接。離散標籤不是相符就是不相符。

  • 針對沒有離散值的標籤空間,例如週框方塊標註,請尋找廣泛的相似性量值。針對週框方塊,雅卡爾指數 (Jaccard index) 就是這樣的量值。它會使用方塊間的聯集測量兩個方塊交集的比率,評估其相似度。例如,如果有三個標註,則可能有一個函數會決定哪些標註代表相同的物件,而應該整合。

評估最可能的標籤

考量先前詳述的其中一種策略,做一下機率性判斷,找出何者為整合標籤。針對離散、互斥的類別,這項過程可以相當直接。其中一個執行此作業的常見方式,便是採取標註之間佔大多數選票的結果。這會平均加權標註。

有些方法會嘗試估計不同標註工具的準確度,根據其正確性的機率,按比例加權它們的標註。例如,多類別標註的預設 Ground Truth 整合函數中所使用的最大期望法。

如需有關建立標註整合函數的詳細資訊,請參閱步驟 3:使用 AWS Lambda