3D 點雲語意分割 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

3D 點雲語意分割

語意分割涉及將 3D 點雲的個別點劃分為預先指定的類別。當您希望工作者為 3D 點雲建立點層級語意分割遮罩時,請使用此任務類型。例如,假設您指定 carpedestrianbike 類別、工作者一次選取一個類別,並將點雲中所有套用此類別的點都塗上相同的顏色。

對於此任務類型,工作者所標記的資料物件是單一點雲影格。Ground Truth 會使用您提供的點雲資料產生 3D 點雲視覺效果。您也可以提供相機資料,以提供有關影格中各場景的更多視覺化資訊給工作者,協助工作者給物件上色。當工作者在 2D 影像或 3D 點雲中給物件上色時,顏色會顯現在另一個視圖中。

您可以使用 3D 點雲語意分割調整任務類型,以調整 3D 點雲物件偵測標記任務中建立的註釋。

如果您是 Ground Truth 3D 點雲標記模式的新使用者,我們建議您檢閱 3D 點雲標記任務概觀。此標記形式與其他 Ground Truth 任務類型不同,本主題概述建立 3D 點雲標記任務時,應注意的重要細節。

檢視工作者任務界面

Ground Truth 為工作者提供 Web 入口網站和工具,以完成 3D 點雲語意分割註釋任務。建立標記任務時,請在 HumanTaskUiArn 參數中提供預先建置的 Ground Truth UI 的 Amazon Resource Name (ARN)。當您在主控台使用此任務類型建立標記任務時,自動會使用此 UI。在主控台建立標記任務時,您可以預覽工作者 UI 並與之互動。如果您是新使用者,建議使用主控台建立標記任務,以確保標籤屬性、點雲影格及 (如適用) 影像正常顯示。

以下是 3D 點雲語意分割工作者任務界面的 GIF。如果您為感應器融合提供相機資料,則影像與點雲影格中的場景一致。工作者可以在 3D 點雲或 2D 影像中給物件上色,而顏色會顯現在其他媒體中對應的位置。這些影像會出現在工作者入口網站中,如下列 GIF 所示。

工作者可以使用鍵盤和滑鼠在 3D 場景中導覽。他們可以:

  • 在點雲中按兩下特定物件以放大。

  • 使用滑鼠滾輪或觸控板來放大和縮小點雲。

  • 同時按下鍵盤方向鍵和 Q、E、A、D 鍵,以向上、向下、向左、向右移動。使用鍵盤按鍵 W 和 S 來放大和縮小。

以下影片示範在 3D 點雲中來回移動。工作者可以隱藏和重新展開所有側視圖和功能表。在這個 GIF 中,側視圖和功能表已折疊。

下列 GIF 示範工作者如何快速標記多個物件、使用 [Unpaint (取消塗色)] 選項來美化已上色的物件,然後只檢視已上色的點。

還有其他檢視選項和功能可用。如需工作者 UI 的全方位概觀,請參閱工作者指示頁面

工作者工具

工作者可以透過放大和縮小來瀏覽 3D 點雲,也可使用滑鼠和鍵盤快速鍵在點雲中四處移動。當您建立語意分割任務時,工作者有下列工具可用:

  • 筆刷,給物件上色和取消塗色。工作者給物件上色時是先選取標籤類別,然後在 3D 點雲中塗色。工作者將物件去色時,需要先從標籤類別功能表中選取 [Unpaint (取消塗色)] 選項,然後使用筆刷擦去顏色。

  • 多邊形工具,可讓工作者選取點雲中的區域來上色。

  • 背景繪圖工具,可讓工作人員給已標註的背後物件上色,而不會改變原始註釋。例如,工作人員給道路上的所有汽車上色之後,可以使用此工具給道路上色。

  • 檢視選項,可讓工作者輕鬆隱藏或檢視標籤文字、地面網線和其他點屬性,例如顏色或濃度。工作者也可以在透視投影和正投影之間選擇。

建立 3D 點雲語意分割標記任務

您可以使用 SageMaker 主控台或 API 作業建立 3D 點雲標示工作CreateLabelingJob。若要為此任務類型建立標記任務,您需要下列項目:

此外,請確定您已檢閱且符合 指派 IAM 許可以使用 Ground Truth

請參閱下列其中一節,以了解如何使用主控台或 API 建立標記任務。

建立標記任務 (主控台)

您可以按照說明學習如何建立標記任務 (主控台)在 SageMaker 主控台中建立 3D 點雲語意分割標記工作。建立標記任務時,請注意下列事項:

  • 輸入資訊清單檔案必須是單一影格資訊清單檔案。如需更多資訊,請參閱 建立點雲影格輸入資訊清單檔案

  • 3D 點雲標記任務不支援自動標記資料和註釋合併。

  • 3D 點雲語意分割標記任務可能需要數小時才能完成。當您選取工作團隊,您可以為這些標記任務指定更長的時間限制 (最多 7 天,即 604800 秒)。

建立標記任務 (API)

本節涵蓋使用 SageMaker API 作業建立標籤工作時需要瞭解的詳細資訊CreateLabelingJob。此 API 為所有 AWS SDK 定義此操作。若要查看這項操作支援的特定語言 SDK 清單,請參閱 CreateLabelingJob〈另請參閱〉一節。

建立標記任務 (API) 頁面提供 CreateLabelingJob 操作的概觀。設定請求時,請遵循這些指示並執行下列動作:

  • 您必須在 HumanTaskUiArn 中輸入 ARN。請使用 arn:aws:sagemaker:<region>:394669845002:human-task-ui/PointCloudSemanticSegmentation。將 <region> 替換成您建立標記任務所在的 AWS 區域。

    請勿輸入 UiTemplateS3Uri 參數。

  • LabelAttributeName 的結尾必須是 -ref。例如 ss-labels-ref

  • 輸入資訊清單檔案必須是單一影格資訊清單檔案。如需詳細資訊,請參閱 建立點雲影格輸入資訊清單檔案

  • 請在標籤類別組態檔案中指定標籤和工作者指示。若要了解如何建立此檔案,請參閱使用標籤類別和影格屬性建立標記類別組態檔案

  • 您需要為註釋前和註釋後 (ACS) Lambda 函數提供預先定義的 ARN。這些 ARN 專屬於您用來建立標記任務的 AWS 區域。

    • 若要尋找註釋前 Lambda ARN,請參閱 PreHumanTaskLambdaArn。使用您建立標記任務所在的區域,找出正確的 ARN。例如,如果您在 us-east-1 中建立標記任務,則 ARN 為 arn:aws:lambda:us-east-1:432418664414:function:PRE-3DPointCloudSemanticSegmentation

    • 若要尋找註釋後 Lambda ARN,請參閱 AnnotationConsolidationLambdaArn。使用您建立標記任務所在的區域,找出正確的 ARN。例如,如果您在 us-east-1 中建立標記任務,則 ARN 為 arn:aws:lambda:us-east-1:432418664414:function:ACS-3DPointCloudSemanticSegmentation

  • NumberOfHumanWorkersPerDataObject 中指定的工作者數目應該為 1

  • 3D 點雲標記任務不支援自動標記資料。請勿在 LabelingJobAlgorithmsConfig 中指定參數的值。

  • 3D 點雲語意分割標記任務可能需要數小時才能完成。您可以在 TaskTimeLimitInSeconds 中為這些標記任務指定更長的時間限制 (最多 7 天,即 604800 秒)。

建立 3D 點雲語義分隔調整或驗證標記任務

您可以使用 Ground Truth 主控台或 CreateLabelingJob API 來建立調整和驗證標記任務。若要進一步了解調整和驗證標記任務,以及了解如何建立標記任務,請參閱 驗證和調整標籤

輸出資料格式

當您建立 3D 點雲語意分割標記任務時,任務會傳送給工作者。當這些工作者完成任務時,註釋會寫入您建立標記任務時指定的 Amazon S3 儲存貯體。輸出資料格式決定當標籤任務狀態 (LabelingJobStatus) 為時,您在 Amazon S3 儲存貯體中看到的內容Completed

如果您是 Ground Truth 的新使用者,請參閱 輸出資料,進一步了解 Ground Truth 輸出資料格式。若要了解 3D 點雲物件偵測輸出資料格式,請參閱 3D 點雲語意分割輸出