Amazon SageMaker
開発者ガイド

注釈統合

注釈統合は、2 つ以上のワーカーの注釈を組み合わせて、データオブジェクトの単一のラベルに統合します。注釈は、単一のワーカーの結果です。注釈統合は、さまざまなワーカーからの複数の注釈を組み合わせて、実際のラベルが何になるかについて確率的推定を導き出します。ラベルは、データセットの各オブジェクトに割り当てられます。データセットの各オブジェクトには、複数の注釈が付きますが、ラベルまたはラベルセットは 1 つのみです。

データセットの各オブジェクトに注釈を付けるワーカーの数を決定できます。より多くのワーカーがラベルの精度を高めることができますが、データのラベリングコストも増加します。Amazon SageMaker Ground Truth は、Amazon SageMaker コンソールの次のデフォルトを使用します。CreateLabelingJob オペレーションを使用する場合、NumberOfHumanWorkersPerDataObject パラメータを使用する各データオブジェクトに注釈を付けるワーカーの数を設定します。

  • テキスト分類—3 ワーカー

  • イメージ分類 — 3 ワーカー

  • 境界ボックス — 5 ワーカー

  • 意味論的なセグメント化—3 ワーカー

コンソールまたは CreateLabelingJob オペレーションを使用して、データオブジェクトにラベルを付けるデフォルトのワーカーの数を上書きできます。

Ground Truth は、その事前定義済みの各ラベリングタスク (境界ボックス、イメージ分類、意味論的なセグメント化、テキスト分類) に対して、注釈統合関数を提供します。

  • イメージ分類とテキスト分類の複数クラスの注釈統合では、期待値最大化のアプローチのバリアントを使用して注釈を付けます。各ワーカーのパラメータを推定し、個々のワーカーのクラス注釈に基づいて、ベイズ推定で実際のクラスを推定します。

  • 境界ボックスの注釈は、ボックスとその平均化の Jaccard インデックス、つまり Intersection-over-Union (IoU) に基づいて、さまざまなワーカーから最も似ているワーカーを見つけることで、複数のワーカーの境界ボックスを統合します。

  • 意味論的なセグメント化注釈統合では、単一のイメージで各ピクセルを複数クラス分類として扱います。また、イメージにスムージング機能を適用することで組み込まれた周囲のピクセルからの追加情報により、ワーカーからのピクセル注釈を「投票」として扱います。

独自の注釈統合関数の作成

注釈統合関数を記述する方法は複数あります。統合する注釈の性質によって、取るべき方法が異なります。大まかに言うと、統合関数は、ワーカーからの注釈を参照してその類似性を測定し、何らかの形式の確率的判断を使用して、最も可能性の高いラベルが何であるかを判断します。

類似度の評価

ラベル間の類似度を評価するには、次の戦略の 1 つを使用するか、またはデータラベリングのニーズを満たすものを使用します。

  • 複数クラス分類といった、個別の相互排他なカテゴリで構成されるラベルスペースについては、簡単に類似度を評価できます。離散ラベルが一致するか、一致しないかのいずれかです。

  • 境界ボックス注釈など、離散値を持たないラベルスペースについては、より広範な類似度の測定基準を見つける必要があります。境界ボックスの場合、そうした測定基準の 1 つが Jaccard インデックスです。これは、ボックスの統合により 2 つのボックスの交差の比率を測定し、どの程度類似しているかを評価します。たとえば、3 つのアノテーターがある場合、どのボックスが同じオブジェクトを表し、統合されるのかを判断するため、類似度に基づく、いくつかの関数が必要です。

最も可能性の高いラベルの評価

次に、統合ラベルが何であるかについて、何らかの確率的判断を行う必要があります。個別の相互排他なカテゴリの場合、これは簡単です。これを行う最も一般的な方法の 1 つは、注釈間の多数決方式の結果を採用することです。これにより、注釈が均等に加重されます。

デフォルトの Ground Truth 統合関数で使用される期待値最大化法といった、より洗練されたアプローチでは、さまざまなアノテーターの精度を予測し、正しいことの可能性に比例して注釈を加重するよう試行します。

注釈統合関数の作成の詳細については、「ステップ 3: AWS Lambda を使用した処理」を参照してください。

このページの内容: