影片影格物件偵測

您可以使用影片影格物件偵測任務類型，讓工作者使用邊界框、折線、多邊形或關鍵點註釋工具，在影片影格序列 (從影片擷取的影像) 中識別和定位物件。您選擇的工具會定義您建立的影片影格任務類型。例如，您可以使用邊界框影片影格物件偵測任務類型工作者來識別一系列影片影格中的各種物件，例如汽車、自行車和行人，並進行本地化。

您可以使用 Amazon SageMaker Ground Truth 主控台、 SageMaker API 和特定語言 AWS 開發套件，建立視訊影格物件偵測標記任務。如需進一步了解，請參閱建立影片影格物件偵測標籤工作並選取您偏好的方法。請參閱任務類型，以進一步了解有關在建立標籤工作時可以選擇的註釋工具資訊。

Ground Truth 提供了一個工作者使用者介面和工具來完成您的標籤工作任務：預覽工作者使用者介面。

您可以使用影片物件偵測調整任務類型來建立工作，以調整在影片物件偵測標籤工作中建立的註釋。如需進一步了解，請參閱建立影片影格物件偵測調整或驗證標籤工作。

預覽工作者使用者介面

Ground Truth 為工作者提供了一個 Web 使用者介面 (UI)，以完成您的影片影格物件偵測註釋任務。在主控台建立標籤工作時，您可以預覽工作者使用者介面並與之互動。如果您是新使用者，建議您使用小型輸入資料集，透過主控台建立標籤工作，以預覽工作者使用者介面，並確保影片影格、標籤和標籤屬性如預期般顯示。

使用者介面為工作者提供下列輔助標籤工具，以完成您的物件偵測任務：

• 對於所有任務，工作者可以使用複製到下一個和複製到所有功能，將註釋分別複製到下一個影格或所有後續影格。

• 對於包含邊界框工具的任務，工作者可以使用預測下一個功能，在單一影格中繪製邊界框，然後讓 Ground Truth 預測所有其他影格中具有相同標籤之方框的位置。然後，工作者可以進行調整以修正預測的方框位置。

下列影片顯示工作者如何使用工作者使用者介面搭配邊界框工具來完成物件偵測任務。

建立影片影格物件偵測標籤工作

您可以使用 SageMaker 主控台或 CreateLabelingJobAPI 作業建立視訊畫面物件偵測標記工作。

本節假設您已檢閱影片影格標籤工作概觀並選擇輸入資料的類型和您正在使用的輸入資料集連線。

建立標籤工作 (主控台)

您可以按照中的說明進行操作，建立標記任務 (主控台)以了解如何在 SageMaker 主控台中建立視訊影格物件追蹤工作。在步驟 10 中，從任務類別下拉式清單中選擇影片 - 物件偵測。在任務選擇中選取其中一張卡片，以選取您想要的任務類型。

建立標籤工作 (API)

您可以使用 SageMaker API 作業建立物件偵測標籤工作CreateLabelingJob。此 API 為所有 AWS SDK 定義此作業。若要查看這項作業支援的特定語言 SDK 清單，請參閱 CreateLabelingJob 的另請參閱章節。

建立標記任務 (API)提供 CreateLabelingJob 作業的概觀。設定請求時，請遵循這些指示並執行下列動作：

• 您必須在 HumanTaskUiArn 中輸入 ARN。請使用 arn:aws:sagemaker:<region>:394669845002:human-task-ui/VideoObjectDetection。將 <region> 取代為您建立標籤工作所在的 AWS 區域。

  請勿包含 UiTemplateS3Uri 參數的項目。

• LabelAttributeName 的結尾必須是 -ref。例如 video-od-labels-ref。

• 輸入資訊清單檔案必須是影片影格序列資訊清單檔案。您可以使用 SageMaker 主控台建立此資訊清單檔案，或手動建立資訊清單檔案並將其上傳到 Amazon S3。如需詳細資訊，請參閱 輸入資料設定。

• 您只能使用私有或廠商工作團隊來建立影片影格物件偵測標籤工作。

• 請在標籤類別組態檔案中指定標籤、標籤類別、影格屬性、任務類型和工作者指示。在標籤類別組態檔案中使用 annotationType，以指定任務類型 (邊界框、折線、多邊形或關鍵點)。如需詳細資訊，請參閱使用標籤類別和影格屬性建立標記類別組態檔案，以了解如何建立此檔案。

• 您必須為註釋前和註釋後 (ACS) Lambda 函式提供預先定義的 ARN。這些 ARN 專屬於您用來建立標籤工作的 AWS 區域。

  • 若要尋找註釋前 Lambda ARN，請參閱 PreHumanTaskLambdaArn。使用您建立標籤工作所在的區域，找出結尾為 PRE-VideoObjectDetection 的正確 ARN。

  • 若要尋找註釋後 Lambda ARN，請參閱 AnnotationConsolidationLambdaArn。使用您建立標籤工作所在的區域，找出結尾為 ACS-VideoObjectDetection 的正確 ARN。

• NumberOfHumanWorkersPerDataObject 中指定的工作者數目必須為 1。

• 影片影格標籤工作不支援自動資料標籤。請勿在 LabelingJobAlgorithmsConfig 中指定參數的值。

• 影片影格物件追蹤標籤工作可能需要數小時才能完成。您可以在 TaskTimeLimitInSeconds 中為這些標籤工作指定更長的時間限制 (最多 7 天，即 604,800 秒)。

下列是用 AWS Python SDK (Boto3) 請求在美國東部 (維吉尼亞北部) 區域建立標籤工作的範例。

response = client.create_labeling_job(
    LabelingJobName='example-video-od-labeling-job,
    LabelAttributeName='label',
    InputConfig={
        'DataSource': {
            'S3DataSource': {
                'ManifestS3Uri': 's3://DOC-EXAMPLE-BUCKET/path/video-frame-sequence-input-manifest.json'
            }
        },
        'DataAttributes': {
            'ContentClassifiers': [
                'FreeOfPersonallyIdentifiableInformation'|'FreeOfAdultContent',
            ]
        }
    },
    OutputConfig={
        'S3OutputPath': 's3://DOC-EXAMPLE-BUCKET/prefix/file-to-store-output-data',
        'KmsKeyId': 'string'
    },
    RoleArn='arn:aws:iam::*:role/*,
    LabelCategoryConfigS3Uri='s3://bucket/prefix/label-categories.json',
    StoppingConditions={
        'MaxHumanLabeledObjectCount': 123,
        'MaxPercentageOfInputDatasetLabeled': 123
    },
    HumanTaskConfig={
        'WorkteamArn': 'arn:aws:sagemaker:us-east-1:*:workteam/private-crowd/*',
        'UiConfig': {
            'HumanTaskUiArn: 'arn:aws:sagemaker:us-east-1:394669845002:human-task-ui/VideoObjectDetection'
        },
        'PreHumanTaskLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:PRE-VideoObjectDetection',
        'TaskKeywords': [
            'Video Frame Object Detection',
        ],
        'TaskTitle': 'Video frame object detection task',
        'TaskDescription': 'Classify and identify the location of objects and people in video frames',
        'NumberOfHumanWorkersPerDataObject': 123,
        'TaskTimeLimitInSeconds': 123,
        'TaskAvailabilityLifetimeInSeconds': 123,
        'MaxConcurrentTaskCount': 123,
        'AnnotationConsolidationConfig': {
            'AnnotationConsolidationLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:ACS-VideoObjectDetection'
        },
    Tags=[
        {
            'Key': 'string',
            'Value': 'string'
        },
    ]
)

建立影片影格物件偵測調整或驗證標籤工作

您可以使用 Ground Truth 主控台或 CreateLabelingJob API 來建立調整和驗證標籤工作。若要進一步了解調整和驗證標籤工作，以及了解如何建立標籤工作，請參閱驗證和調整標籤。

輸出資料格式

當您建立影片影格物件偵測標籤工作時，任務會傳送至工作者。當這些工作者完成其任務時，標籤會寫入您建立標籤工作時指定的 Amazon S3 輸出位置。若要了解影片影格物件偵測輸出資料格式，請參閱影片影格物件偵測輸出。如果您是 Ground Truth 的新使用者，請參閱輸出資料，進一步了解 Ground Truth 輸出資料格式。