비디오 프레임 객체 추적

비디오 프레임 객체 추적 작업 유형을 사용하면 작업자가 경계 상자, 폴리라인, 다각형 또는 키포인트 주석 도구를 사용하여 일련의 비디오 프레임(비디오에서 추출된 이미지)에서 객체의 움직임을 추적하도록 할 수 있습니다. 선택한 도구에 따라 생성하는 비디오 프레임 작업 유형이 정의됩니다. 예를 들어 바운딩 박스 비디오 프레임 객체 추적 작업 유형을 사용하면 작업자 주위에 상자를 그려 자동차, 자전거, 보행자와 같은 객체의 움직임을 추적하도록 작업자에게 요청할 수 있습니다.

범주 목록을 제공하면 작업자가 비디오 프레임에 추가하는 각 주석이 인스턴스 ID를 사용하여 해당 범주의 인스턴스로 식별됩니다. 예를 들어, 레이블 카테고리 자동차를 제공하면 작업자가 주석을 다는 첫 번째 자동차에는 인스턴스 ID car:1이 됩니다. 작업자가 주석을 다는 두 번째 자동차에는 인스턴스 ID 카드:2가 표시됩니다. 객체의 움직임을 추적하기 위해 작업자는 모든 프레임의 객체 주위에 동일한 인스턴스 ID와 관련된 주석을 추가합니다.

Amazon SageMaker Ground Truth 콘솔, SageMaker API 및 언어별 AWS SDK를 사용하여 비디오 프레임 객체 추적 레이블 지정 작업을 생성할 수 있습니다. 자세한 내용은 비디오 프레임 객체 감지 라벨링 작업 생성을 참조하여 원하는 방법을 선택하세요. 라벨링 작업을 생성할 때 선택할 수 있는 주석 도구에 대한 자세한 내용은 태스크 유형를 참조하세요.

Ground Truth는 작업자 UI 미리 보기 라벨링 작업을 완료하기 위한 작업자 UI와 도구를 제공합니다.

비디오 객체 감지 조정 태스크 유형을 사용하여 비디오 객체 감지 레이블 지정 작업 시 생성한 주석을 조정하는 작업을 생성할 수 있습니다. 자세한 내용은 비디오 프레임 객체 감지 조정 또는 검증 라벨링 작업 생성 단원을 참조하세요.

작업자 UI 미리 보기

Ground Truth는 작업자에게 비디오 프레임 객체 추적 주석 작업을 완료할 수 있는 웹 사용자 인터페이스 (UI) 를 제공합니다. 콘솔에서 레이블 지정 작업을 생성할 때 작업자 UI를 미리 보고 상호 작용할 수 있습니다. 신규 사용자의 경우 작은 입력 데이터 세트를 사용하여 콘솔을 통해 레이블 지정 작업을 생성하여 작업자 UI를 미리 보고 동영상 프레임, 레이블, 레이블 속성이 예상대로 나타나는지 확인하는 것이 좋습니다.

UI는 작업자에게 다음과 같은 보조 레이블 지정 도구를 제공하여 객체 추적 작업을 완료할 수 있도록 합니다.

• 모든 작업에 대해 작업자는 다음으로 복사 및 모든 항목으로 복사 기능을 사용하여 동일한 고유 ID가 있는 주석을 각각 다음 프레임 또는 모든 후속 프레임에 복사할 수 있습니다.

• 경계 상자 도구가 포함된 작업의 경우 작업자는 다음 예측 기능을 사용하여 단일 프레임에 경계 상자를 그린 다음 Ground Truth가 다른 모든 프레임에서 동일한 고유 ID를 가진 상자의 위치를 예측하도록 할 수 있습니다. 그러면 작업자가 조정하여 예측된 상자 위치를 수정할 수 있습니다.

다음 동영상은 작업자가 바운딩 박스 도구와 함께 작업자 UI를 사용하여 객체 추적 작업을 완료하는 방법을 보여줍니다.

비디오 프레임 객체 추적 라벨링 작업 생성

SageMaker 콘솔 또는 API 작업을 사용하여 비디오 프레임 객체 추적 레이블 지정 작업을 생성할 수 있습니다. CreateLabelingJob

이 섹션에서는 비디오 프레임 레이블 지정 작업 개요을 검토하고 사용 중인 입력 데이터 유형과 입력 데이터 세트 연결을 선택했다고 가정합니다.

레이블 지정 작업 생성(콘솔)

의 지침에 따라 SageMaker 콘솔에서 비디오 프레임 객체 추적 작업을 만드는 레이블 지정 작업 생성(콘솔) 방법을 배울 수 있습니다. 10단계에서 작업 범주 드롭다운 목록에서 비디오 - 객체 추적을 선택합니다. 작업 선택에서 카드 중 하나를 선택하여 원하는 작업 유형을 선택합니다.

레이블 지정 작업 생성(API)

SageMaker API 작업을 사용하여 개체 추적 레이블 지정 작업을 생성합니다CreateLabelingJob. 이 API는 모든 AWS SDK에 대해 이 연산을 정의합니다. 이 연산에 지원되는 언어별 SDK 목록을 보려면 CreateLabelingJob의 관련 항목 섹션을 검토하세요.

레이블 지정 작업 생성(API)에서는 CreateLabelingJob 연산에 대한 개요를 제공합니다. 다음 지침에 따라 요청을 구성하는 동안 다음을 수행합니다.

• HumanTaskUiArn에 대한 ARN을 입력해야 합니다. arn:aws:sagemaker:<region>:394669845002:human-task-ui/VideoObjectTracking를 사용합니다. <region>을 레이블 지정 작업을 생성 중인 AWS 리전으로 바꿉니다.

  UiTemplateS3Uri 파라미터의 값을 포함하지 마세요.

• LabelAttributeName가 -ref에서 끝나야 합니다. 예를 들어 ot-labels-ref입니다.

• 입력 매니페스트 파일은 비디오 프레임 시퀀스 매니페스트 파일이어야 합니다. SageMaker 콘솔을 사용하여 이 매니페스트 파일을 생성하거나 수동으로 생성하여 Amazon S3에 업로드할 수 있습니다. 자세한 정보는 입력 데이터 설정을 참조하세요. 스트리밍 레이블 지정 작업을 생성하는 경우 입력 매니페스트 파일은 선택 사항입니다.

• 개인 또는 공급업체 작업 팀만 사용하여 비디오 프레임 객체 감지 레이블 지정 작업을 생성할 수 있습니다.

• 레이블 범주 구성 파일에서 레이블, 레이블 범주와 프레임 속성, 작업 유형, 작업자 지침을 지정합니다. 레이블 범주 구성 파일에서 annotationType를 사용하여 작업 유형(경계 상자, 폴리라인, 다각형 또는 키포인트)을 지정합니다. 이 파일을 생성하는 방법에 대한 자세한 내용은 레이블 범주 및 프레임 속성을 사용하여 레이블 범주 구성 파일 생성 단원을 참조하세요.

• 사전 주석 및 사후 주석(ACS) Lambda 함수에 대해 미리 정의된 ARN을 제공해야 합니다. 이러한 ARN은 라벨링 작업을 생성하는 데 사용하는 AWS 지역에 따라 다릅니다.

  • 사전 주석 Lambda ARN을 찾는 방법은 PreHumanTaskLambdaArn 섹션을 참조하세요. 레이블 지정 작업을 생성 중인 리전을 사용하여 PRE-VideoObjectTracking로 끝나는 올바른 ARN을 찾습니다.

  • 사후 주석 Lambda ARN을 찾는 방법은 AnnotationConsolidationLambdaArn 섹션을 참조하세요. 레이블 지정 작업을 생성 중인 리전을 사용하여 ACS-VideoObjectTracking로 끝나는 올바른 ARN을 찾습니다.

• NumberOfHumanWorkersPerDataObject에 지정된 작업자 수는 1이어야 합니다.

• 비디오 프레임 레이블 지정 작업에서는 자동 데이터 레이블 지정이 지원되지 않습니다. LabelingJobAlgorithmsConfig에서 파라미터의 값을 지정하지 마세요.

• 비디오 프레임 객체 추적 레이블 지정 작업을 완료하는 데 몇 시간이 걸릴 수 있습니다. TaskTimeLimitInSeconds에서 이러한 레이블 지정 작업에 대해 더 긴 시간 제한을 지정할 수 있습니다(최대 7일 또는 604800초).

다음은 미국 동부(버지니아 북부) 리전에 레이블 지정 작업을 생성하는 AWS Python SDK(Boto3) 요청의 예시입니다.

response = client.create_labeling_job(
    LabelingJobName='example-video-ot-labeling-job,
    LabelAttributeName='label',
    InputConfig={
        'DataSource': {
            'S3DataSource': {
                'ManifestS3Uri': 's3://DOC-EXAMPLE-BUCKET/path/video-frame-sequence-input-manifest.json'
            }
        },
        'DataAttributes': {
            'ContentClassifiers': [
                'FreeOfPersonallyIdentifiableInformation'|'FreeOfAdultContent',
            ]
        }
    },
    OutputConfig={
        'S3OutputPath': 's3://DOC-EXAMPLE-BUCKET/prefix/file-to-store-output-data',
        'KmsKeyId': 'string'
    },
    RoleArn='arn:aws:iam::*:role/*,
    LabelCategoryConfigS3Uri='s3://bucket/prefix/label-categories.json',
    StoppingConditions={
        'MaxHumanLabeledObjectCount': 123,
        'MaxPercentageOfInputDatasetLabeled': 123
    },
    HumanTaskConfig={
        'WorkteamArn': 'arn:aws:sagemaker:us-east-1:*:workteam/private-crowd/*',
        'UiConfig': {
            'HumanTaskUiArn: 'arn:aws:sagemaker:us-east-1:394669845002:human-task-ui/VideoObjectTracking'
        },
        'PreHumanTaskLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:PRE-VideoObjectTracking',
        'TaskKeywords': [
            'Video Frame Object Tracking,
        ],
        'TaskTitle': 'Video frame object tracking task',
        'TaskDescription': Tracking the location of objects and people across video frames',
        'NumberOfHumanWorkersPerDataObject': 123,
        'TaskTimeLimitInSeconds': 123,
        'TaskAvailabilityLifetimeInSeconds': 123,
        'MaxConcurrentTaskCount': 123,
        'AnnotationConsolidationConfig': {
            'AnnotationConsolidationLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:ACS-VideoObjectTracking'
        },
    Tags=[
        {
            'Key': 'string',
            'Value': 'string'
        },
    ]
)

비디오 프레임 객체 추적 조정 또는 검증 라벨링 작업 생성

Ground Truth 콘솔 또는 CreateLabelingJob API를 사용하여 조정 및 확인 라벨링 작업을 생성할 수 있습니다. 조정 및 검증 레이블 지정 작업의 세부 정보와 해당 작업의 생성 방법을 알아보려면 레이블 확인 및 조정을(를) 참조하세요.

출력 데이터 형식

비디오 프레임 객체 추적 레이블 지정 작업을 생성하면 작업자에게 태스크가 전송됩니다. 작업자가 태스크를 완료하면 레이블 지정 작업을 생성할 때 지정한 Amazon S3 출력 위치에 레이블이 기록됩니다. 비디오 프레임 객체 추적 출력 데이터 형식에 대한 자세한 내용은 동영상 프레임 객체 추적 출력 단원을 참조하세요. Ground Truth의 신규 사용자인 경우에는 출력 데이터에서 Ground Truth 출력 데이터 형식에 대한 자세한 내용을 참조하세요.