3D 포인트 클라우드 객체 추적

작업자가 3D 포인트 클라우드 프레임에서의 이동을 추적하기 위해 객체 주위에 3D 입방체를 추가하고 맞추려는 경우 이 태스크 유형을 사용합니다. 예를 들어 이 태스크 유형을 사용하여 작업자에게 여러 포인트 클라우드 프레임에서 차량의 이동을 추적하도록 요청할 수 있습니다.

이 태스크 유형의 경우 작업자가 레이블을 지정하는 데이터 객체는 포인트 클라우드 프레임의 시퀀스입니다. 시퀀스는 일련의 임시 포인트 클라우드 프레임으로 정의됩니다. Ground Truth는 사용자가 제공한 시퀀스를 사용하여 일련의 3D 포인트 클라우드 시각화를 렌더링하고, 작업자는 작업자 태스크 인터페이스에서 이러한 3D 포인트 클라우드 프레임 간에 전환을 할 수 있습니다.

Ground Truth는 3D 장면과 투영된 측면 보기(상단, 측면 및 뒷면) 모두에서 3개 차원에서 9개의 자유도(x, y, z, rx, ry, rz, l, w, h)를 사용하여 객체에 주석을 달 수 있는 도구를 제공합니다. 작업자가 객체 주위에 입방체를 그릴 때 해당 입방체에는 고유한 ID가 지정됩니다(예: 시퀀스의 한 자동차에는 Car:1가, 또 다른 자동차에는 Car:2이 지정). 작업자는 이 ID를 사용하여 여러 프레임에서 동일한 객체에 레이블을 지정합니다.

또한 카메라 데이터를 제공하여 작업자에게 프레임의 장면에 대한 자세한 시각적 정보를 제공하고 작업자가 객체 주위에 3D 입방체를 그리는 데 도움을 줄 수도 있습니다. 작업자가 3D 이미지 또는 2D 포인트 클라우드에서 객체를 식별하기 위해 3D 입방체를 추가하면 다른 보기에 해당 입방체가 표시됩니다.

3D 포인트 클라우드 객체 추적 조정 태스크 유형을 사용하여 3D 포인트 클라우드 객체 감지 레이블 지정 작업 시 생성된 주석을 조정할 수 있습니다.

Ground Truth 3D 포인트 클라우드 레이블 지정 양식을 처음 사용하는 경우에는 3D 포인트 클라우드 레이블 지정 작업 개요을 검토하는 것이 좋습니다. 이 레이블 지정 양식은 다른 Ground Truth 태스크 유형과 다르며, 이 페이지에서는 3D 포인트 클라우드 레이블 지정 작업을 생성할 때 알아야 할 중요한 세부 정보에 대한 개요를 제공합니다.

작업자 태스크 인터페이스 조회

Ground Truth는 작업자에게 3D 포인트 클라우드 객체 추적 주석 태스크를 완료할 수 있는 웹 포털 및 도구를 제공합니다. 레이블 지정 작업을 생성할 때 HumanTaskUiArn 파라미터에서 미리 빌드된 Ground Truth UI에 대한 Amazon 리소스 이름(ARN)을 제공합니다. 콘솔에서 이 태스크 유형을 사용하여 레이블 지정 작업을 생성할 때 이러한 UI가 자동으로 사용됩니다. 콘솔에서 레이블 지정 작업을 생성할 때 작업자 UI를 미리 보고 상호 작용할 수 있습니다. 새 사용자인 경우 콘솔을 사용하여 레이블 지정 작업을 생성함으로써 레이블 속성, 포인트 클라우드 프레임 및 이미지(해당되는 경우)가 예상대로 나타나도록 하는 것이 좋습니다.

다음은 3D 포인트 클라우드 객체 추적 작업자 태스크 인터페이스의 GIF로서, 작업자가 시퀀스에서 포인트 클라우드 프레임을 탐색하는 방법을 보여줍니다. 주석 달기 도구는 작업자 태스크 인터페이스의 일부입니다. 미리 보기 인터페이스에서는 사용할 수 없습니다.

작업자가 단일 입방체를 추가하면 해당 입방체가 동일한 ID를 가진 시퀀스의 모든 프레임에 복제됩니다. 작업자가 다른 프레임에서 입방체를 조정하면 Ground Truth는 해당 객체의 이동을 보간하고 수동으로 조정된 프레임 간에 모든 입방체를 조정합니다. 다음 GIF에서는 이러한 보간 기능을 보여 줍니다. 왼쪽 아래의 탐색 모음에서 빨간색 영역은 수동으로 조정된 프레임을 나타냅니다.

센서 융합을 위해 카메라 데이터를 제공하면 이미지가 포인트 클라우드 프레임의 장면과 일치됩니다. 이러한 이미지는 다음 GIF에서와 같이 작업자 포털에 나타납니다.

작업자는 키보드와 마우스를 사용하여 3D 장면에서 탐색을 할 수 있습니다. 다음과 같은 작업이 가능합니다.

• 포인트 클라우드의 특정 객체를 두 번 클릭하여 확대합니다.

• 마우스 스크롤러나 트랙패드를 사용하여 포인트 클라우드를 확대 및 축소할 수 있습니다.

• 키보드 화살표 키와 Q, E, A 및 D 키를 모두 사용하여 위, 아래, 왼쪽, 오른쪽으로 이동합니다. 키보드 키 W 및 S를 사용하여 확대 및 축소합니다.

작업자가 3D 장면에 입방체를 배치하면 3개의 투영된 측면 보기(상단, 측면 및 뒷면)와 함께 측면 보기가 나타납니다. 이러한 측면 보기는 배치된 입방체 안과 주위의 포인트를 보여 주며, 작업자가 해당 영역에서 입방체 경계를 조정할 수 있도록 도와줍니다. 작업자는 마우스를 사용하여 각각의 측면 보기를 확대 및 축소할 수 있습니다.

다음 비디오에서는 3D 포인트 클라우드 주위와 측면 보기에서의 이동을 보여줍니다.

추가 보기 옵션 및 기능을 사용할 수 있습니다. 작업자 UI에 대한 포괄적인 개요는 작업자 지침 페이지를 참조하십시오.

작업자 도구

작업자는 마우스 및 키보드 단축키를 사용하여 확대/축소하고 클라우드 주위의 모든 방향으로 이동하여 3D 포인트 클라우드를 탐색할 수 있습니다. 작업자가 포인트 클라우드에서 한 포인트를 클릭하면 UI에서 자동으로 해당 영역이 확대됩니다. 작업자는 다양한 도구를 사용하여 객체 주위에 3D 입방체를 그릴 수 있습니다. 자세한 내용은 보조 레이블 지정 도구를 참조하십시오.

작업자는 포인트 클라우드에 3D 입방체를 배치한 후, 3D 입방체에서 직접, 상자 주위의 포인트 클라우드에 대한 세 가지 확대 기능을 채용한 측면 보기를 통해, 또는 2D 이미지에서 직접(센서 융합을 위한 이미지가 포함된 경우) 등 다양한 보기를 사용하여 자동차 주위에 꼭 맞도록 이러한 입방체를 조정할 수 있습니다.

작업자가 레이블 텍스트, 지상 메시 및 추가 포인트 속성을 손쉽게 숨기거나 볼 수 있게 해주는 보기 옵션입니다. 작업자는 원근 투영 및 직교 투영 중에서 선택할 수도 있습니다.

보조 레이블 지정 도구

Ground Truth는 작업자가 3D 포인트 클라우드 객체 추적 작업을 위해 기계 학습 및 컴퓨터 비전 기반의 보조 레이블 지정 도구를 사용하여 3D 포인트 클라우드에 더 빠르고 정확하게 주석을 달 수 있도록 지원합니다. 이 태스크 유형에서는 다음과 같은 보조 레이블 지정 도구를 사용할 수 있습니다.

• 레이블 자동 채우기 – 작업자가 프레임에 입방체를 추가하면 동일한 차원 및 방향을 가진 입방체가 시퀀스의 모든 프레임에 자동으로 추가됩니다.

• 레이블 보간 – 작업자가 두 프레임에서 단일 객체에 레이블을 지정하면 Ground Truth는 이러한 주석을 사용하여 이 두 개의 프레임 사이에서 해당 객체의 이동을 보간합니다. 레이블 보간을 켜고 끌 수 있습니다.

• 대량 레이블 및 속성 관리 — 작업자는 주석, 레이블 범주 속성 및 프레임 속성을 대량으로 추가, 삭제 및 이름을 변경할 수 있습니다.

  • 작업자는 프레임 전후에 지정된 객체에 대한 주석을 수동으로 삭제할 수 있습니다. 예를 들어 해당 프레임 이후의 장면에 객체가 더 이상 없는 경우, 작업자는 프레임 10 이후의 객체에 대한 모든 레이블을 삭제할 수 있습니다.

  • 작업자가 실수로 객체에 대한 모든 주석을 대량으로 삭제한 경우 해당 주석을 다시 추가할 수 있습니다. 예를 들어 작업자가 프레임 100 이전의 객체에 대한 모든 주석을 삭제하면 해당 프레임에 주석을 대량으로 추가할 수 있습니다.

  • 작업자는 한 프레임에서 레이블의 이름을 바꿀 수 있으며 해당 레이블이 지정된 모든 3D 입면체는 모든 프레임에서 새 이름으로 업데이트됩니다.

  • 작업자는 일괄 편집을 사용하여 여러 프레임에서 레이블 범주 속성 및 프레임 속성을 추가하거나 편집할 수 있습니다.

• 스냅 – 작업자는 객체 주위에 입방체를 추가하고 키보드 단축키 또는 메뉴 옵션을 사용하여 Ground Truth의 자동 맞춤 도구가 객체 주위에 입방체를 단단히 스냅하도록 할 수 있습니다.

• 지면에 맞춤 – 작업자는 입방체를 3D 장면에 추가한 후에 해당 입방체를 지면에 자동으로 스냅할 수 있습니다. 예를 들어 작업자는 이 기능을 사용하여 장면의 도로 또는 인도에 입방체를 스냅할 수 있습니다.

• 다중 보기 레이블 지정 – 작업자가 3D 장면에 3D 입방체를 추가한 후, 측면 패널에 전면, 두 측면 원근이 표시되어 작업자가 객체 주위의 입방체를 조정하는 데 도움이 됩니다. 작업자는 3D 포인트 클라우드에 주석을 추가할 수 있으며, 측면 패널과 조정 내용이 실시간으로 다른 보기에 표시됩니다.

• 센서 융합 - 센서 융합을 위한 데이터를 제공하는 경우 작업자는 3D 장면과 2D 이미지에서 주석을 조정할 수 있으며, 주석은 실시간으로 다른 보기에 투사됩니다.

• 입방체 자동 병합 – 작업자는 레이블이 서로 다른 입방체가 실제로는 단일 객체를 나타낸다고 판단되는 경우에 모든 프레임에서 두 개의 입방체를 자동으로 병합할 수 있습니다.

• 보기 옵션 – 작업자가 레이블 텍스트, 지상 메시 및 추가 포인트 속성(예: 색상이나 강도)을 손쉽게 숨기거나 표시할 수 있습니다. 작업자는 원근 투영 및 직교 투영 중에서 선택할 수도 있습니다.

3D 포인트 클라우드 객체 추적 레이블 지정 작업 생성

SageMaker 콘솔 또는 API 작업을 사용하여 3D 포인트 클라우드 레이블 지정 작업을 생성할 수 CreateLabelingJob있습니다. 이 태스크 유형에 대한 레이블 지정 작업을 생성하려면 다음이 필요합니다.

• 시퀀스 입력 매니페스트 파일. 이러한 유형의 매니페스트 파일을 생성하는 방법은 포인트 클라우드 시퀀스 입력 매니페스트 생성 단원을 참조하십시오. Ground Truth3D 포인트 클라우드 레이블 지정 양식을 처음 사용하는 경우에는 허용되는 원시 3D 데이터 형식을 검토하는 것이 좋습니다.

• 개인 또는 공급업체 인력으로 구성된 작업 팀. 3D 포인트 클라우드 레이블 지정 작업에는 Amazon Mechanical Turk를 사용할 수 없습니다. 인력 및 작업 팀을 생성하는 방법에 대한 자세한 내용은 작업 인력 생성 및 관리 단원을 참조하십시오.

또한 Ground Truth 사용을 위한 IAM 권한 할당를 검토하여 이를 충족했는지 확인합니다 .

콘솔 또는 API를 이용해 레이블 지정 작업을 생성하는 방법은 다음 단원들을 참조하십시오.

레이블 지정 작업 생성(API)

이 섹션에서는 SageMaker API 작업을 사용하여 라벨링 작업을 생성할 때 알아야 할 세부 정보를 다룹니다CreateLabelingJob. 이 API는 모든 AWS SDK에 대해 이 작업을 정의합니다. 이 연산에 지원되는 언어별 SDK 목록을 보려면 CreateLabelingJob의 관련 항목 섹션을 검토하십시오.

레이블 지정 작업 생성(API)에서는 CreateLabelingJob 연산에 대한 개요를 제공합니다. 다음 지침에 따라 요청을 구성하는 동안 다음을 수행합니다.

• HumanTaskUiArn에 대한 ARN을 입력해야 합니다. arn:aws:sagemaker:<region>:394669845002:human-task-ui/PointCloudObjectTracking를 사용합니다. 레이블 지정 작업을 생성 중인 AWS 리전으로 <region>을 대체합니다.

  UiTemplateS3Uri 파라미터에 대한 입력값이 없어야 합니다.

• LabelAttributeName가 -ref에서 끝나야 합니다. 예를 들어 ot-labels-ref입니다.

• 입력 매니페스트 파일은 포인트 클라우드 프레임 시퀀스 매니페스트 파일이어야 합니다. 자세한 설명은 포인트 클라우드 시퀀스 입력 매니페스트 생성 섹션을 참조하세요.

• 레이블 범주 구성 파일에서 레이블, 레이블 범주와 프레임 속성 및 작업자 지침을 지정합니다. 이 파일을 생성하는 방법에 대한 자세한 내용은 레이블 범주 및 프레임 속성을 사용하여 레이블 범주 구성 파일 생성 단원을 참조하세요.

• 사전 주석 및 사후 주석(ACS) Lambda 함수에 대해 미리 정의된 ARN을 제공해야 합니다. 이러한 ARN은 레이블 지정 작업을 생성하는 데 사용되는 AWS 리전에 따라 다릅니다.

  • 사전 주석 Lambda ARN을 찾는 방법은 PreHumanTaskLambdaArn 섹션을 참고하십시오. 레이블 지정 작업을 생성 중인 리전을 사용하여 PRE-3DPointCloudObjectTracking로 끝나는 올바른 ARN을 찾습니다.

  • 사후 주석 Lambda ARN을 찾는 방법은 AnnotationConsolidationLambdaArn 섹션을 참고하십시오. 레이블 지정 작업을 생성 중인 리전을 사용하여 ACS-3DPointCloudObjectTracking로 끝나는 올바른 ARN을 찾습니다.

• NumberOfHumanWorkersPerDataObject에 지정된 작업자 수는 1이어야 합니다 .

• 3D 포인트 클라우드 레이블 지정 작업에서는 자동 데이터 레이블 지정이 지원되지 않습니다. LabelingJobAlgorithmsConfig에서 파라미터의 값을 지정하면 안 됩니다.

• 3D 포인트 클라우드 객체 추적 레이블 지정 작업을 완료하는 데 몇 시간이 걸릴 수 있습니다. TaskTimeLimitInSeconds에서 이러한 레이블 지정 작업에 대해 더 긴 시간 제한을 지정할 수 있습니다(최대 7일 또는 604800초).

레이블 지정 작업 생성(콘솔)

지침에 따라 레이블 지정 작업 생성(콘솔) SageMaker 콘솔에서 3D 포인트 클라우드 객체 추적 라벨링 작업을 생성하는 방법을 배울 수 있습니다. 레이블 지정 작업을 생성하는 동안 다음 사항에 유의하십시오.

• 입력 매니페스트 파일은 시퀀스 프레임 매니페스트 파일이어야 합니다. 자세한 설명은 포인트 클라우드 시퀀스 입력 매니페스트 생성 섹션을 참조하세요.

• 선택에 따라 레이블 범주 속성을 제공할 수 있습니다. 작업자는 이러한 속성 중 하나 이상을 주석에 할당하여 해당 객체에 대한 추가 정보를 제공할 수 있습니다. 예를 들어 occluded 속성을 사용하여 객체가 부분적으로 방해되었을 때 작업자가 이를 식별하도록 할 수 있습니다.

• 3D 포인트 클라우드 레이블 지정 작업에는 자동화된 데이터 레이블 지정 및 주석 통합이 지원되지 않습니다.

• 3D 포인트 클라우드 객체 추적 레이블 지정 작업을 완료하는 데 몇 시간이 걸릴 수 있습니다. 작업 팀을 선택할 때 이러한 레이블 지정 작업에 대해 더 긴 시간 제한을 지정할 수 있습니다(최대 7일 또는 604800초).

3D 포인트 클라우드 객체 추적 조정 또는 검증 레이블 지정 작업 생성

Ground Truth 콘솔 또는 CreateLabelingJob API를 사용하여 조정 및 확인 레이블 지정 작업을 생성할 수 있습니다. 조정 및 확인 레이블 지정 작업에 대해 자세히 알아보고 작업 생성 방법을 알아보려면 레이블 확인 및 조정 단원을 참조하세요.

조정 레이블 지정 작업을 생성할 때 레이블 지정 작업에 대한 입력 데이터에는 레이블과 이전 레이블 지정 작업 또는 외부 소스의 요, 피치, 롤 측정값이 포함될 수 있습니다. 조정 작업에서 피치 및 롤은 작업자 UI에 시각화되지만 수정할 수는 없습니다. 요는 조정 가능합니다.

Ground Truth는 다음과 같은 내부 회전이 있는 Tait-Bryan 각도를 사용하여 작업자 UI에서 요, 피치, 롤을 시각화합니다. 먼저 z축(요)에 따라 차량에 회전이 적용됩니다. 그 다음에는 회전된 차량이 내부 y'축(피치)에 따라 회전합니다. 마지막으로, 이 차량이 내부 x''축(롤)에 따라 회전합니다.

출력 데이터 형식

3D 포인트 클라우드 객체 추적 레이블 지정 작업을 생성하면 작업자에게 태스크가 전송됩니다. 작업자가 태스크를 완료하면 레이블 지정 작업을 생성할 때 지정한 Amazon S3 버킷에 레이블이 기록됩니다. 출력 데이터 형식은 레이블 지정 작업 상태 (LabelingJobStatus) 일 때 Amazon S3 버킷에 표시되는 내용을 결정합니다Completed.

Ground Truth의 신규 사용자인 경우에는 출력 데이터에서 Ground Truth 출력 데이터 형식에 대한 자세한 내용을 참조하세요. 3D 포인트 클라우드 객체 추적 출력 데이터 형식에 대한 자세한 내용은 3D 포인트 클라우드 객체 추적 출력 단원을 참조하십시오.