3D 点群オブジェクト検出

このタスクタイプは、オブジェクトの周囲に 3D 直方体を描き、3D 点群内のオブジェクトを分類する場合に使用します。例えば、このタスクタイプを使用して、車、自転車、歩行者など、点群のさまざまなタイプのオブジェクトを識別するようにワーカーに依頼できます。

このタスクタイプでは、ワーカーがラベルを付けるデータオブジェクトは、単一ポイントの点群フレームです。Ground Truth は、指定した点群データを使用して 3D 点群をレンダリングします。また、カメラのデータを用意することで、ワーカーにフレームのシーンに関する視覚的な情報をより多く提供したり、ワーカーがオブジェクトの周囲に 3D の直方体を描画しやすくしたりすることもできます。

Ground Truth は、3D シーンと投影されたサイドビュー (上面、 側面、背面) の両方で、3 次元に 9 つの自由度 ( x、y、z、rx、ry、rz、l、w、h ) を有するオブジェクトに注釈を行うツールを提供します。センサーフュージョン情報 (カメラデータなど) を提供すると、ワーカーが 3D 点群オブジェクトを識別するために直方体を追加した際に、直方体が表示され、2D イメージで修正することができます。直方体を追加した後、2D または 3D シーンでその直方体に対して行われた編集のすべてが、他のビューに投影されます。

3D 点群オブジェクト検出調整タスクタイプを使用して、3D 点群オブジェクト検出ラベル付けジョブで作成された注釈の調整を行うジョブを作成できます。

Ground Truth の 3D 点群のラベル付けモダリティを初めて使用する場合は、3D 点群のラベル付けジョブの概要 を確認することをお勧めします。このラベル付けモダリティは、他の Ground Truth タスクタイプとは異なります。このページでは、3D 点群のラベル付けジョブを作成するときに注意すべき重要事項の概要を説明します。

ワーカータスクインターフェイスの表示

Ground Truth は、3D 点群オブジェクト検出注釈タスクを実行するためのウェブポータルとツールを提供します。ラベル付けジョブを作成する場合は、事前構築済みの Ground Truth ワーカー UI の Amazon リソースネーム (ARN) を HumanTaskUiArn パラメータで指定します。コンソールでこのタスクタイプを使用してラベル付けジョブを作成すると、そのワーカーの UI が自動的に使用されます。コンソールでラベル付けジョブを作成するときに、ワーカー UI のプレビューと操作ができます。初めて使用する場合は、コンソールを使用してラベル付けジョブを作成し、ラベルの属性、点群フレーム、画像 (該当する場合) が期待したとおりに表示されているかを確認することをお勧めします。

3D 点群オブジェクト検出のワーカータスクインターフェイスの GIF 画像 を次に示します。ワールド座標系でセンサーフュージョン用のカメラデータを提供すると、画像は点群フレームのシーンに合致します。これらの画像は、次の GIF 画像に示すように、ワーカーポータルに表示されます。

キーボードとマウスを使用して 3D シーン内を移動操作できます。次の操作が可能です。

• 点群内の特定のオブジェクトをダブルクリックして、ズームインする。

• マウスホイールまたはタッチパッドを使用して、点群を拡大または縮小する。

• キーボードの矢印キーと、 [Q]、[E]、[A]、[D] キーの両方を使用して、上下左右に移動する。キーボードの [W] と [S] キーを使用して、拡大または縮小します。

3D シーンに直方体を配置すると、側面ビューの一面が 3 つの投影された側面ビュー (上面、側面、底面) とともに表示されます。これらの側面ビューは、配置された直方体内とその周辺の点を表示し、その領域の直方体境界をより容易に絞り込めるようにします。ワーカーは、マウスを使用して、これらの各側面ビューをズームインまたはズームアウトできます。

次の動画は、3D 点群の周囲と側面から見た動きを示しています。

その他の表示オプションと機能は、ワーカー UI の [表示] メニューから使用できます。ワーカー UI の全体的な説明については、ワーカー向け指示書のページを参照してください。

ラベル付け支援ツール

Ground Truth は、機械学習とコンピュータビジョンを活用した、3D 点群オブジェクト追跡タスク用のラベル付け支援ツールによって、ワーカーが3D 点群により早く正確に注釈を行えるようにします。このタスクタイプでは、次のラベル付け支援ツールを使用できます。

• スナップ - オブジェクトの周囲に直方体を追加し、キーボードショートカットまたはメニューオプションを使用して、Ground Truth の自動調整ツールによって直方体を物体の周囲にきっちりとスナップさせることができます。

• 地面に設置 - 3D シーンに直方体を追加した後、直方体が自動的に地面にスナップされるようにします。この機能を使用して、例えば、シーン内の道路または歩道に直方体をスナップさせることができます。

• マルチビューラベル付け - 3D シーンに 3D 直方体を追加すると、サイドパネルに正面、側面、上面が表示されるため、オブジェクトの周囲に合わせて直方体をきっちりと調整できるようになります。これらのすべてのビューで、オブジェクトの方向または見出しを示す矢印が直方体に付いています。ワーカーが直方体を調整すると、調整はすべてのビュー (3D、上面、側面、前面) にリアルタイムで表示されます。

• センサーフュージョン - センサーフュージョン用のデータを提供すると、ワーカーは 3D シーンと 2D 画像で注釈の調整を行うことができます。また、注釈はリアルタイムで他のビューに投影されます。さらに、ワーカーは、カメラが向いている方向とカメラのフラスタムを表示することもできます。

• 表示オプション - 直方体、ラベル文字、地面のメッシュ、色や明暗度などのその他の点属性を簡単に非表示または表示することができます。透視投影と正投影のいずれかを選択することもできます。

3D 点群オブジェクト検出ラベル付けジョブの作成

SageMaker コンソールまたは API オペレーション を使用して、3D 点群のラベル付けジョブを作成できますCreateLabelingJob。このタスクタイプのラベル付けジョブを作成するには、次のものが必要です。

• 単一フレームの入力マニフェストファイル。このタイプのマニフェストファイルを作成する方法については、「点群フレーム入力マニフェストファイルの作成」を参照してください。Ground Truth 3D 点群のラベル付けモダリティを初めて使用する場合は、使用できる 3D の raw データ形式 を確認することをお勧めします 。

• 自社またはベンダーのスタッフで構成された作業チーム。Amazon Mechanical Turk をビデオフレームラベル付けジョブに使用することはできません。ワークフォースと作業チームの作成方法については、「ワークフォースの作成と管理」を参照してください。

また、「Ground Truth を使用するための IAM アクセス権限を割り当てる」を確認し、記載されている要件を満たすようにしてください 。

コンソールまたは API を使用してラベル付けジョブを作成する方法については、次のセクションのいずれかを参照してください。

ラベル付けジョブの作成 (コンソール)

SageMaker コンソールラベル付けジョブの作成 (コンソール)で 3D 点群オブジェクト検出ラベル付けジョブを作成する方法については、「」の手順に従います。ラベル付けジョブを作成するときは、次の点に注意してください。

• 入力マニフェストファイルは、単一フレームのマニフェストファイルである必要があります。詳細については、「点群フレーム入力マニフェストファイルの作成」を参照してください。

• 必要に応じて、ラベルカテゴリとフレーム属性を指定できます。ワーカーは、これらの属性の 1 つ以上を注釈に割り当てて、そのオブジェクトに関する詳細情報を提供できます。例えば、occluded 属性を使用して、オブジェクトが部分的に遮られたときにワーカーが識別できるようにできます。

• 3D 点群のラベル付けタスクでは、データの自動データラベリングと注釈の統合はサポートされていません。

• 3D 点群オブジェクト検出ラベル付けジョブは、完了までに数時間かかることがあります。作業チームを選択するときに、これらのラベル付けジョブにさらに長い制限時間を指定できます (最大 7 日間、または 604,800 秒まで)。

ラベル付けジョブを作成 (API)

このセクションでは、 SageMaker API オペレーション を使用してラベル付けジョブを作成するときに知っておく必要がある詳細について説明しますCreateLabelingJob。この API は、すべての AWS SDKsに対してこのオペレーションを定義します。このオペレーションでサポートされている言語固有の SDK のリストを確認するには、CreateLabelingJob の「以下の資料も参照してください」セクションを確認してください。

「ラベル付けジョブを作成 (API)」では、CreateLabelingJob のオペレーションの概要を説明しています。リクエストを設定する際には、それらの指示に従ったうえで、以下のことを実行してください。

• HumanTaskUiArn の ARN を入力する必要があります。arn:aws:sagemaker:<region>:394669845002:human-task-ui/PointCloudObjectDetection を使用します。<region> を、ラベル付けジョブを作成している AWS のリージョンに置き換えます。

  UiTemplateS3Uri パラメータには値を入力しないでください。

• 入力マニフェストファイルは、単一フレームのマニフェストファイルである必要があります。詳細については、「点群フレーム入力マニフェストファイルの作成」を参照してください。

• ラベル、ラベルカテゴリ、フレーム属性、ワーカー向け指示書は、ラベルカテゴリ設定ファイルで指定します。このファイルを作成する方法については、「ラベルカテゴリとフレーム属性を含むラベル付けカテゴリ設定ファイルを作成する」を参照してください。

• 注釈前および注釈後 (ACS) の Lambda 関数には、事前定義済みの ARN を指定する必要があります。これらの ARN は、ラベル付けジョブの作成に使用する AWS リージョンに固有です。

  • 注釈前の Lambda ARN を確認するには、「PreHumanTaskLambdaArn」を参照してください。ラベル付けジョブを作成するリージョンに基づいて、適切な ARN を見つけます。例えば、us-east-1 でラベル付けジョブを作成する場合、ARN は arn:aws:lambda:us-east-1:432418664414:function:PRE-3DPointCloudObjectDetection になります。

  • 注釈後の Lambda ARN を確認するには、「AnnotationConsolidationLambdaArn」を参照してください。ラベル付けジョブを作成するリージョンに基づいて、適切な ARN を見つけます。例えば、us-east-1 でラベル付けジョブを作成する場合、ARN は arn:aws:lambda:us-east-1:432418664414:function:ACS-3DPointCloudObjectDetection になります。

• NumberOfHumanWorkersPerDataObject で指定するワーカーの数は 1 である必要があります 。

• 3D 点群のラベル付けジョブでは、自動データラベリングはサポートされていません。LabelingJobAlgorithmsConfig では、パラメータの値を指定しないでください。

• 3D 点群オブジェクト検出ラベル付けジョブは、完了までに数時間かかることがあります。このようなラベル付けジョブには、TaskTimeLimitInSeconds で制限時間を長く指定することができます (最長 7 日、つまり 604,800 秒)。

3D 点群オブジェクト検出の調整または検証ラベル付けジョブを作成する

Ground Truth コンソールまたは CreateLabelingJob API を使用して、調整または検証ラベル付けジョブを作成できます。調整と検証のラベル付けジョブの詳細と作成方法については、「ラベルの検証と調整」を参照してください。

調整ラベル付けジョブを作成する場合、ラベル付けジョブへの入力データには、ラベルと、以前のラベル付けジョブまたは外部ソースからのヨー、ピッチ、ロールの測定値を含めることができます。調整ジョブでは、ピッチとロールがワーカー UI で視覚化されますが、変更することはできません。ヨーは調節可能です。

Ground Truth は、次の固有の回転で Tait-Bryan 角度を使用して、ワーカー UI でヨー、ピッチ、ロールを視覚化します。まず、Z 軸 (ヨー) に従って車両に回転が適用されます。次に、回転した車両は、固有のY軸 (ピッチ) に従って回転します。最後に、車両は固有の x 軸 (ロール) に従って回転します。

出力データ形式

3D 点群オブジェクト検出ラベル付けジョブを作成すると、タスクはワーカーに送信されます。タスクを受け取ったワーカーがタスクを完了すると、ラベル付けジョブの作成時に指定した Amazon S3 バケットにラベルが書き込まれます。出力データ形式によって、ラベル付けジョブのステータス (LabelingJobStatus) が の場合に Amazon S3 バケットに表示される内容が決まりますCompleted。

Ground Truth を初めて使用する場合は、 出力データ形式の詳細について「出力データ」を参照してください。3D 点群オブジェクト検出の出力データ形式については、「3D 点群オブジェクト検出の出力」を参照してください。