3D 點雲物件追蹤

如果您希望工作者新增 3D 立方體來圍住物件，以在 3D 點雲影格之間追蹤物件的移動情形，請使用此任務類型。例如，您可以使用此任務類型，要求工作者在多個點雲影格之間追蹤車輛的移動情形。

對於此任務類型，工作者所標記的資料物件是一系列點雲影格。序列定義為一系列瞬間的點雲影格。Ground Truth 使用您提供的序列來呈現一系列的 3D 點雲視覺化效果，而工作者可以在工作者任務界面中，在這些 3D 點雲影格之間切換。

Ground Truth 提供工具，讓工作者在 3D 場景和投影側視圖中 (上視圖、側視圖和後視圖)，以三維 9 個自由度 (x、y、z、rx、ry、rz、l、w、h) 來標註物件。當工作者在物件周圍繪製立方體時，該立方體會獲得唯一的 ID，例如 Car:1 代表序列中的一輛車，Car:2 代表另一輛車。工作者使用該 ID 在多個影格中標記相同的物件。

您也可以提供相機資料，以提供有關影格中各場景的更多視覺化資訊給工作者，協助工作者在物件周圍繪製 3D 立方體。當工作者新增 3D 立方體在 2D 影像或 3D 點雲中識別物件時，該立方體會顯現在另一個視圖中。

您可以使用 3D 點雲物件追蹤調整任務類型，以調整 3D 點雲物件偵測標記任務中建立的註釋。

如果您是 Ground Truth 3D 點雲標記模式的新使用者，我們建議您檢閱 3D 點雲標記任務概觀。此標記模式與其他 Ground Truth 任務類型不同，此頁面概述建立 3D 點雲標記任務時，應注意的重要細節。

檢視工作者任務界面

Ground Truth 為工作者提供 Web 入口網站和工具，以完成 3D 點雲物件追蹤註釋任務。建立標記任務時，請在 HumanTaskUiArn 參數中提供預先建置的 Ground Truth UI 的 Amazon Resource Name (ARN)。當您在主控台使用此任務類型建立標記任務時，自動會使用此 UI。在主控台建立標記任務時，您可以預覽工作者 UI 並與之互動。如果您是新使用者，建議使用主控台建立標記任務，以確保標籤屬性、點雲影格及 (如適用) 影像正常顯示。

以下是 3D 點雲物件追蹤工作者任務界面的 GIF，示範工作者如何導覽序列中的點雲影格。註釋工具是工作者任務介面的一環。工具不適用於預覽介面。

當工作者新增立方體後，該立方體會複寫到序列中具有相同 ID 的所有影格。當工作者在另一個影格中調整立方體後，Ground Truth 會插補該物件的移動，並在手動調整的影格之間調整所有立方體。下列 GIF 示範此插補功能。在左下方的導覽列中，紅色區域表示手動調整的影格。

如果您為感應器融合提供攝影機資料，則影像會與點雲影格中的場景配對。這些影像會出現在工作者入口網站中，如下列 GIF 所示。

工作者可以使用鍵盤和滑鼠在 3D 場景中導覽。他們可以：

• 在點雲中按兩下特定物件以放大。

• 使用滑鼠滾輪或觸控板來放大和縮小點雲。

• 同時按下鍵盤方向鍵和 Q、E、A、D 鍵，以向上、向下、向左、向右移動。使用鍵盤按鍵 W 和 S 來放大和縮小。

當工作者在 3D 場景中放置立方體後，將會出現側視圖，其中包含三個投影側視圖：上視圖、側視圖和後視圖。這些側視圖會顯示所放入立方體內部和周圍的點，以協助工作人員美化該區域內的立方體邊界。工作者可以使用滑鼠來放大和縮小這些側視圖。

以下影片示範在 3D 點雲和側視圖中來回移動。

還有其他檢視選項和功能可用。如需工作者 UI 的全方位概觀，請參閱工作者指示頁面。

工作者工具

工作者可以透過放大和縮小來瀏覽 3D 點雲，也可使用滑鼠和鍵盤快速鍵在點雲中四處移動。如果工作者按一下點雲中的點，UI 會自動放大該區域。工作者可以使用各種工具在物件周圍繪製 3D 立方體。如需詳細資訊，請參閱〈輔助標記工具〉。

工作者在點雲中放置 3D 立方體後，就可以使用各種視圖，將這些立方體調整到緊密貼合汽車：直接在 3D 立方體中、在側視圖中 (方塊周圍有三個放大的點雲透視圖)，或直接在 2D 影像中 (如果您包含感應器融合的影像)。

檢視選項，可讓工作者輕鬆隱藏或檢視標籤文字、地面網線和其他點屬性。工作者也可以在透視投影和正投影之間選擇。

輔助標記工具

Ground Truth 協助工作者在 3D 點雲物件追蹤任務中，使用 UX、機器學習和電腦視覺技術輔助標記工具，更快、更準確地標註 3D 點雲。下列輔助標記工具適用於此任務類型：

• 標籤自動填入 – 工作者將立方體新增至影格時，具備相同維度和方向的立方體會自動新增至序列中的所有影格。

• 標籤插補 – 工作者在兩個影格中標記單一物件後，Ground Truth 會使用這些註釋，在這兩個影格之間插補該物件的移動情形。標籤插補可開啟及關閉。

• 大量標籤和屬性管理 –工作者可以大量新增、刪除及重新命名註釋、標籤類別屬性和影格屬性。

  • 工作者可以刪除特定物件在影格之前或之後的註釋。例如，如果物件不再位於第 10 個影格之後的場景中，工作者可以刪除物件在該影格之後的所有標籤。

  • 如果工作者意外大量刪除物件的所有註釋，則可以重新加回來。例如，如果工作者刪除物件在第 100 個影格之前的所有註釋，則可以將註釋大量新增至那些影格。

  • 工作者可以在一個影格中重新命名標籤，在所有影格中，將會以新名稱更新所有指派該標籤的 3D 立方體。

  • 工作者可以使用大量編輯功能，在多個影格新增或編輯標籤類別屬性和影格屬性。

• 貼齊 – 工作者可以在物件周圍新增立方體，並使用鍵盤快速鍵或選單選項，以 Ground Truth 自動調整工具將立方體緊貼物件的邊界。

• 調整到地面 – 當工作者將立方體新增至 3D 場景後，工作者可以自動將立方體貼齊地面。例如，工作者可以使用此功能，將立方體貼齊場景中的道路或人行道。

• 多視角標記 – 工作者將 3D 立方體新增至 3D 場景後，側面板會顯示正面透視圖和兩個側面透視圖，協助工作者調整立方體，緊密貼合物件周圍。工作者可以在側面板中調整 3D 點雲的註釋，而調整會即時出現在其他視圖中。

• 感應器融合 – 如果您提供感應器融合的資料，則工作者可以在 3D 場景和 2D 影像中調整註釋，而註釋會即時投影到其他視圖。

• 自動合併立方體 – 如果工作者確定具有不同標籤的兩個立方體實際上代表單一物件，則可以在所有影格上自動合併立方體。

• 檢視選項 –可讓工作者輕鬆隱藏或檢視標籤文字、地面網線和其他點屬性，例如顏色或濃度。工作者也可以在透視投影和正投影之間選擇。

建立 3D 點雲物件追蹤標記任務

您可以使用 SageMaker 主控台或 API 作業建立 3D 點雲標示工作CreateLabelingJob。若要為此任務類型建立標記任務，您需要下列項目：

• 序列輸入資訊清單檔案。若要了解如何建立這種資訊清單檔案，請參閱建立點雲序列輸入資訊清單。如果您是 Ground Truth 3D 點雲標記模式的新使用者，我們建議您檢閱 接受的原始 3D 資料格式。

• 由私人或廠商員工組成的工作團隊。您不能使用 Amazon Mechanical Turk 來處理 3D 點雲標記任務。若要了解如何建立人力和工作團隊，請參閱建立和管理人力。

此外，請確定您已檢閱且符合 指派 IAM 許可以使用 Ground Truth。

若要了解如何使用主控台或 API 建立標記任務，請參閱下列各節。

建立標記任務 (API)

本節涵蓋使用 SageMaker API 作業建立標籤工作時需要瞭解的詳細資訊CreateLabelingJob。此 API 為所有 AWS SDK 定義此操作。若要查看這項操作支援的特定語言 SDK 清單，請參閱 CreateLabelingJob 的〈另請參閱〉一節。

建立標記任務 (API) 提供 CreateLabelingJob 操作的概觀。設定請求時，請遵循這些指示並執行下列動作：

• 您必須在 HumanTaskUiArn 中輸入 ARN。請使用 arn:aws:sagemaker:<region>:394669845002:human-task-ui/PointCloudObjectTracking。將 <region> 替換成您建立標記任務所在的 AWS 區域。

  請勿輸入 UiTemplateS3Uri 參數。

• LabelAttributeName 的結尾必須是 -ref。例如 ot-labels-ref。

• 輸入資訊清單檔案必須是點雲影格序列資訊清單檔案。如需詳細資訊，請參閱 建立點雲序列輸入資訊清單。

• 請在標籤類別組態檔案中指定標籤、標籤類別、影格屬性和工作者指示。如需詳細資訊，請參閱使用標籤類別和影格屬性建立標記類別組態檔案，以了解如何建立此檔案。

• 您需要為註釋前和註釋後 (ACS) Lambda 函數提供預先定義的 ARN。這些 ARN 專屬於您用來建立標記任務的 AWS 區域。

  • 若要尋找註釋前 Lambda ARN，請參閱 PreHumanTaskLambdaArn。使用您建立標記任務所在的區域，找出結尾是 PRE-3DPointCloudObjectTracking 的正確 ARN。

  • 若要尋找註釋後 Lambda ARN，請參閱 AnnotationConsolidationLambdaArn。使用您建立標記任務所在的區域，找出結尾是 ACS-3DPointCloudObjectTracking 的正確 ARN。

• NumberOfHumanWorkersPerDataObject 中指定的工作者數目應該為 1。

• 3D 點雲標記任務不支援自動標記資料。請勿在 LabelingJobAlgorithmsConfig 中指定參數的值。

• 3D 點雲物件追蹤標記任務可能需要數小時才能完成。您可以在 TaskTimeLimitInSeconds 中為這些標記任務指定更長的時間限制 (最多 7 天，即 604,800 秒)。

建立標記任務 (主控台)

您可以按照指示學習如何建立標記任務 (主控台)在 SageMaker 主控台中建立 3D 點雲物件追蹤標示工作。建立標記任務時，請注意下列事項：

• 輸入資訊清單檔案必須是序列資訊清單檔案。如需詳細資訊，請參閱 建立點雲序列輸入資訊清單。

• 或者，您也可以提供標籤類別屬性。工作者可以將其中一個或多個屬性指派給註釋，以提供有關該物件的更多資訊。例如，您可以使用 occluded 屬性，讓工作者知道物件有一部分被遮住。

• 3D 點雲標記任務不支援自動標記資料和註釋合併。

• 3D 點雲物件追蹤標記任務可能需要數小時才能完成。當您選取工作團隊，您可以為這些標記任務指定更長的時間限制 (最多 7 天，即 604800 秒)。

建立 3D 點雲物件追蹤調整或驗證標記任務

您可以使用 Ground Truth 主控台或 CreateLabelingJob API 來建立調整和驗證標記任務。若要進一步了解調整和驗證標記任務，以及了解如何建立，請參閱 驗證和調整標籤。

建立調整標記任務時，您輸入至標記任務的資料可以包含標籤，以及前一個標記任務或外部來源的坡度、偏離角和滾動量值。在調整任務中，坡度和滾動將在工作者 UI 中視覺化，但無法修改。偏離角是可調整的。

Ground Truth 使用 Tait-Bryan 角度搭配以下內部函數輪換，在工作者 UI 中視覺化偏離角、坡度和滾動。首先，根據 Z 軸 (偏離角) 將輪換套用至車輛。接著，輪換的車輛根據內部函數 Y 軸 (坡度) 輪換。最後，車輛根據內部函數 X 軸（滾動）輪換。

輸出資料格式

當您建立 3D 點雲物件追蹤標記任務時，任務會傳送給工作者。這些工作者完成任務時，註釋會寫入您建立標記任務時指定的 Amazon S3 儲存貯體。輸出資料格式決定當標籤任務狀態 (LabelingJobStatus) 為時，您在 Amazon S3 儲存貯體中看到的內容Completed。

如果您是 Ground Truth 的新使用者，請參閱 輸出資料，以進一步了解 Ground Truth 輸出資料格式。若要了解 3D 點雲物件追蹤輸出資料格式，請參閱 3D 點雲物件追蹤輸出。