注釈統合 - Amazon SageMaker

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

注釈統合

注釈は、単一のワーカーのラベル付けタスクの結果です。注釈統合は、複数のワーカーの注釈を組み合わせることで、データオブジェクトの単一のラベルを作成します。ラベルは、データセット内の各オブジェクトに割り当てられ、実際のラベルの確率的推定に使用されます。通常、データセットの各オブジェクトには、複数の注釈が付きますが、ラベルまたはラベルセットは 1 つのみです。

データセットの各オブジェクトに注釈を付けるワーカーの数を決定します。より多くのワーカーを使用するとラベルの精度が向上しますが、ラベル付けのコストも増えます。Ground Truth の料金の詳細については、「Amazon SageMaker Ground Truth の料金」を参照してください。

Amazon SageMaker コンソールを使用してラベル付けジョブを作成する場合、オブジェクトに注釈を付けることができるワーカー数のデフォルトは次のとおりです。

  • テキスト分類 - 3 ワーカー

  • イメージ分類 - 3 ワーカー

  • 境界ボックス - 5 ワーカー

  • セマンティックセグメンテーション - 3 ワーカー

  • 固有表現認識 - 3 ワーカー

CreateLabelingJob オペレーションを使用する場合は、NumberOfHumanWorkersPerDataObject パラメータを使用して各データオブジェクトに注釈を付けるワーカーの数を設定します。データオブジェクトにラベルを付けるワーカーのデフォルト数は、コンソールまたは CreateLabelingJob オペレーションを使用して上書きできます。

Ground Truth は、その事前定義済みの各ラベル付けタスク (境界ボックス、イメージ分類、セマンティックセグメンテーション、テキスト分類) に対して、注釈統合関数を提供します。関数を以下に示します。

  • イメージ分類とテキスト分類の複数クラスの注釈統合では、注釈に対する期待値の最大化アプローチのバリアントを使用します。各ワーカーのパラメータを推定し、個々のワーカーのクラス注釈に基づいて、ベイズ推定で実際のクラスを推定します。

  • 境界ボックスの注釈では、複数のワーカーの境界ボックスを統合します。この関数は、ボックスの Jaccard インデックス (和集合における共通部分の割合) に基づいて、さまざまなワーカーから最も類似したボックスを見つけ、それらを平均化します。

  • セマンティックセグメンテーションの注釈の統合は、単一画像内の各ピクセルをマルチクラス分類として扱います。また、イメージにスムージング機能を適用することで組み込まれた周囲のピクセルからの追加情報により、ワーカーからのピクセル注釈を「投票」として扱います。

  • 固有表現認識は、Jaccard の類似性によってテキスト選択をクラスタリングし、モードに基づいて選択境界を計算します。モードが明確でない場合は中央値を計算します。ラベルは、クラスター内で最も割り当てられたエンティティラベルに解決され、ランダムな選択によって関係が破壊されます。

注釈を統合するには、他のアルゴリズムを使用できます。詳細については、独自の注釈統合関数の作成 を参照してください。

独自の注釈統合関数の作成

独自の注釈統合関数を使用して、ラベル付けしたオブジェクトの最終的なラベルを決定できます。関数を記述するアプローチは複数あり、どのアプローチを採用するかは、統合する注釈の性質によります。大まかに言うと、統合関数は、ワーカーからの注釈を参照してその類似性を測定し、何らかの形式の確率的判断を使用して、最も可能性の高いラベルが何であるかを判断します。

他のアルゴリズムを使用して注釈統合関数を作成する場合は、ジョブの出力先とする Amazon S3 バケットの [project-name]/annotations/worker-response フォルダでワーカーの応答を参照できます。

類似度の評価

ラベル間の類似度を評価するには、次のいずれかの戦略を使用するか、データのラベル付けニーズを満たす特定の戦略を使用できます。

  • 複数クラス分類といった、個別の相互排他なカテゴリで構成されるラベルスペースについては、簡単に類似度を評価できます。離散ラベルが一致するか、一致しないかのいずれかです。

  • 境界ボックス注釈など、離散値を持たないラベルスペースについては、より広範な類似度の測定基準を見つけます。境界ボックスの場合、そうした測定基準の 1 つが Jaccard インデックスです。これは、ボックスの統合により 2 つのボックスの交差の比率を測定し、どの程度類似しているかを評価します。例えば、3 つの注釈がある場合、同じオブジェクトを表している注釈を判断する関数があり、その関数を統合する必要があります。

最も可能性の高いラベルの評価

前のセクションの戦略の詳細のいずれかを念頭に置いて、統合ラベルが何であるかについて、何らかの確率的判断を行います。個別の相互排他なカテゴリの場合、これは簡単です。これを行う最も一般的な方法の 1 つは、注釈間の多数決方式の結果を採用することです。これにより、注釈が均等に加重されます。

アプローチによっては、さまざまなアノテーターの精度を予測し、正しいことの可能性に比例して注釈を加重するよう試行します。一例として、マルチクラスの注釈でデフォルトの Ground Truth 統合関数で使用される期待値最大化法があります。

注釈統合関数の作成の詳細については、「ステップ 3: で処理する AWS Lambda」を参照してください。