Amazon SageMaker
開発者ガイド

注釈統合

注釈統合は、2 つ以上のワーカーの注釈を組み合わせて、データオブジェクトの単一のラベルに統合します。注釈は、単一のワーカーの結果です。注釈統合は、さまざまなワーカーからの複数の注釈を組み合わせて、実際のラベルが何になるかについて確率的推定を導き出します。ラベルは、データセットの各オブジェクトに割り当てられます。データセットの各オブジェクトには、複数の注釈が付きますが、ラベルまたはラベルセットは 1 つのみです。

データセットの各オブジェクトに注釈を付けるワーカーの数を決定できます。ワーカーが増えればラベルの精度を高めることができますが、データのラベリングコストも増加します。Amazon SageMaker Ground Truth では、Amazon SageMaker コンソールの次のデフォルトを使用します。CreateLabelingJob オペレーションを使用する場合は、NumberOfHumanWorkersPerDataObject パラメータを使用する各データオブジェクトに注釈を付けるワーカーの数を設定します。

  • テキスト分類—3 ワーカー

  • イメージ分類 — 3 ワーカー

  • 境界ボックス — 5 ワーカー

  • 意味論的なセグメント化—3 ワーカー

コンソールまたは CreateLabelingJob オペレーションを使用して、データオブジェクトにラベルを付けるデフォルトのワーカーの数を上書きできます。

Ground Truth は、その事前定義済みの各ラベリングタスク (境界ボックス、イメージ分類、意味論的なセグメント化、テキスト分類) に対して、注釈統合関数を提供します。関数を以下に示します。

  • イメージ分類とテキスト分類の複数クラスの注釈統合では、期待値最大化のアプローチのバリアントを使用して注釈を付けます。各ワーカーのパラメータを推定し、個々のワーカーのクラス注釈に基づいて、ベイズ推定で実際のクラスを推定します。

  • 境界ボックスの注釈では、複数のワーカーの境界ボックスを統合します。この関数は、箱の Jaccard インデックス、または和集合の交差に基づいて、さまざまなワーカーから最も類似した箱を見つけ、それらを平均化します。

  • セマンティックセグメンテーションの注釈の統合は、単一画像内の各ピクセルをマルチクラス分類として扱います。また、イメージにスムージング機能を適用することで組み込まれた周囲のピクセルからの追加情報により、ワーカーからのピクセル注釈を「投票」として扱います。

独自の注釈統合関数の作成

注釈統合関数を記述する方法は複数あります。統合する注釈の性質によって、取るべき方法が異なります。大まかに言うと、統合関数は、ワーカーからの注釈を参照してその類似性を測定し、何らかの形式の確率的判断を使用して、最も可能性の高いラベルが何であるかを判断します。

類似度の評価

ラベル間の類似度を評価するには、次の戦略の 1 つを使用するか、またはデータラベリングのニーズを満たすものを使用します。

  • 複数クラス分類といった、個別の相互排他なカテゴリで構成されるラベルスペースについては、簡単に類似度を評価できます。離散ラベルが一致するか、一致しないかのいずれかです。

  • 境界ボックス注釈など、離散値を持たないラベルスペースについては、より広範な類似度の測定基準を見つけます。境界ボックスの場合、そうした測定基準の 1 つが Jaccard インデックスです。これは、ボックスの統合により 2 つのボックスの交差の比率を測定し、どの程度類似しているかを評価します。例えば、3 つの注釈がある場合、同じオブジェクトを表している注釈を判断する関数があり、その関数を統合する必要があります。

最も可能性の高いラベルの評価

上記の戦略のいずれかを念頭に置いて、統合ラベルが何であるかについて、何らかの確率的判断を行います。個別の相互排他なカテゴリの場合、これは簡単です。これを行う最も一般的な方法の 1 つは、注釈間の多数決方式の結果を採用することです。これにより、注釈が均等に加重されます。

アプローチによっては、さまざまなアノテーターの精度を予測し、正しいことの可能性に比例して注釈を加重するよう試行します。一例として、マルチクラスの注釈でデフォルトの Ground Truth 統合関数で使用される期待値最大化法があります。

注釈統合関数の作成の詳細については、「ステップ 3: AWS Lambda を使用した処理」を参照してください。

このページの内容: