Présentation de la tâche d'étiquetage de trame vidéo - Amazon SageMaker

Présentation de la tâche d'étiquetage de trame vidéo

Utilisez cette page pour en savoir plus sur les tâches d'étiquetage de trame vidéo pour la détection et le suivi d'objets. Les informations de cette page s'appliquent à ces deux types de tâches intégrés.

La tâche d'étiquetage de trame vidéo est unique pour les raisons suivantes :

  • Vous pouvez soit fournir des objets de données prêts à être annotés (images vidéo), soit fournir des fichiers vidéo et laisser le Ground Truth extraire automatiquement les trames vidéo.

  • Les employés ont la possibilité de sauvegarder leur travail au fur et à mesure.

  • Vous ne pouvez pas utiliser la main-d'œuvre Amazon Mechanical Turk pour effectuer vos tâches d'étiquetage.

  • Ground Truth fournit une interface utilisateur pour les employés, ainsi que des outils d'assistance et d'étiquetage de base, pour les aider à accomplir vos tâches. Il n'est pas nécessaire de fournir un modèle de tâche de l'employé.

Utilisez les rubriques suivantes pour en savoir plus.

Données d'entrée

La tâche d'étiquetage des trames vidéo utilise des séquences de trames vidéo. Une séquence unique est une série d'images qui ont été extraites d'une seule vidéo. Vous pouvez soit fournir vos propres séquences de trames vidéo, soit demander à Ground Truth d'extraire automatiquement les séquences de trames vidéo de vos fichiers vidéo. Pour en savoir plus, consultez Fournir des fichiers vidéo.

Ground Truth utilise des fichiers de séquence pour identifier toutes les images d'une même séquence. Toutes les séquences que vous voulez inclure dans une seule tâche d'étiquetage sont identifiées dans un fichier manifeste source. Chaque séquence est utilisée pour créer une seule tâche employé. Vous pouvez créer automatiquement des fichiers de séquence et un fichier manifeste source à l'aide de la configuration automatique des données Ground Truth. Pour en savoir plus, consultez Configuration automatisée des données source de trame vidéo.

Pour apprendre comment créer manuellement des fichiers de séquence et un fichier manifeste source, veuillez consulter Création d'un fichier manifeste source de trame vidéo.

Durée de la tâche

Les tâches d'étiquetage des vidéos et de trames vidéo peuvent prendre des heures aux employés. Vous pouvez définir la durée totale pendant laquelle les collaborateurs peuvent travailler sur chaque tâche lors de la création d'une tâche d'étiquetage. La durée maximale que vous pouvez définir pour le travail des collaborateurs sur des tâches est de 7 jours. La valeur par défaut est de 3 jours.

Il est fortement recommandé de créer des tâches que les employés pourront effectuer en 12 heures maximum. Les collaborateurs doivent garder l'interface utilisateur de travail ouverte pendant qu'ils travaillent sur une tâche. Ils peuvent enregistrer leur travail au fur et à mesure et Ground Truth enregistre leur travail toutes les 15 minutes.

Lorsque vous utilisez l'opération CreateLabelingJob de l'API SageMaker, définissez la durée totale de disponibilité d'une tâche pour les employés dans le paramètre TaskTimeLimitInSeconds de HumanTaskConfig.

Lorsque vous créez une tâche d'étiquetage dans la console, vous pouvez spécifier cette limite de temps lorsque vous sélectionnez votre type de main-d'œuvre et votre équipe de travail.

Types de tâche

Lorsque vous créez une tâche d'étiquetage de suivi d'objet vidéo ou de détection d'objet vidéo, vous spécifiez le type d'annotation que vous voulez que les employés créent tout en travaillant sur votre tâche d'étiquetage. Le type d'annotation détermine le type de données de sortie renvoyées par Ground Truth et définit le Type de tâche pour votre tâche d'étiquetage.

Si vous créez une tâche d'étiquetage à l'aide de l'opération API CreateLabelingJob, vous spécifiez le type de tâche à l'aide du paramètre annotationType du fichier de configuration de catégorie d'étiquette. Pour en savoir plus, consultez Créer un fichier de configuration de catégorie d'étiquetage avec les attributs de catégorie d'étiquette et de trame.

Les types de tâches suivants sont disponibles pour les tâches d'étiquetage de suivi d'objets vidéo ou de détection d'objets vidéo :

  • Cadre de délimitation – Les employés disposent d'outils pour créer des annotations de cadre de délimitation. Un cadre de délimitation est une boîte qu'un employé dessine autour d'un objet pour identifier la position des pixels et l'étiquette de cet objet dans l'image.

  • Polyligne – Les employés disposent d'outils pour créer des annotations par polylignes. Une polyligne est définie par une série de coordonnées x, y ordonnées. Chaque point ajouté à la polyligne est relié au point précédent par une ligne. La polyligne n'a pas besoin d'être fermée (le point de départ et le point final ne doivent pas être les mêmes) et il n'y a pas de restrictions sur les angles formés entre les lignes.

  • Polygone – Les employés disposent d'outils pour créer des annotations par polygones. Un polygone est une forme fermée définie par une série de coordonnées x, y ordonnées. Chaque point ajouté au polygone est relié au point précédent par une ligne et il n'y a aucune restriction sur les angles formés entre les lignes. Deux lignes (côtés) du polygone ne peuvent pas se croiser. Le point de départ et final d'un polygone doivent être identiques.

  • Point clé – Les employés disposent d'outils pour créer des annotations par point clé. Un point clé est un point unique associé à une coordonnée x, y dans la trame vidéo.

Main-d'œuvre

Lorsque vous créez une tâche d'étiquetage de trame vidéo, vous devez spécifier une équipe de travail pour effectuer vos tâches d'annotation. Vous pouvez choisir une équipe de travail parmi la main-d'œuvre privée (vos propres employés) ou parmi la main-d'œuvre d'un fournisseur que vous sélectionnez dans le AWS Marketplace. Vous ne pouvez pas utiliser la main-d'œuvre Amazon Mechanical Turk pour les tâches d'étiquetage de trame vidéo.

Pour en savoir plus sur la main-d'œuvre provenant d'un fournisseur, veuillez consulter Gestion des mains-d'œuvre de fournisseurs.

Pour savoir comment créer et gérer une main-d'œuvre privée, veuillez consulter Utilisation d'une main-d'œuvre privée.

Interface utilisateur (UI) de travail

Ground Truth fournit une interface utilisateur (UI), des outils et des fonctions d'aide à l'étiquetage pour aider les employés à réaliser vos tâches d'étiquetage vidéo. Vous pouvez prévisualiser l'interface utilisateur de travail lorsque vous créez une tâche d'étiquetage dans la console.

Lorsque vous créez une tâche d'étiquetage en utilisant l'opération API CreateLabelingJob, vous devez fournir un ARN fourni par Ground Truth dans le paramètre HumanTaskUiArn afin de spécifier l'interface utilisateur employé pour votre type de tâche. Vous pouvez utiliser HumanTaskUiArn avec l'opération RenderUiTemplate de l'API SageMaker pour prévisualiser l'interface utilisateur employé.

Vous fournissez des instructions aux employés, des étiquettes et, éventuellement, des attributs que ceux-ci peuvent utiliser pour fournir plus d'informations sur les étiquettes et les trames vidéo. Ces attributs sont désignés respectivement comme étant de catégorie, d'étiquette et de trame. Ils sont tous affichés dans l'interface utilisateur employé.

Catégorie d'étiquette et attributs de trame

Lorsque vous créez une tâche d'étiquetage de suivi d'objets vidéo ou de détection d'objets vidéo, vous pouvez ajouter un ou plusieurs attributs de catégorie d'étiquette et attributs de trame :

  • Attribut de catégorie d'étiquette – Liste d'options (chaînes), zone de texte libre ou champ numérique associé à une ou plusieurs étiquettes. Il est utilisé par les employés pour fournir des métadonnées sur une étiquette.

  • Attribut Frame – Liste d'options (chaînes), zone de texte libre ou champ numérique qui apparaît sur chaque trame vidéo qu'un employé doit annoter. Il est utilisé par les employés pour fournir des métadonnées sur les trames vidéo.

En outre, vous pouvez utiliser les attributs d'étiquette et de trame pour que les employés vérifient les étiquettes dans une tâche de vérification des étiquettes de trame vidéo.

Utilisez les sections suivantes pour en savoir plus sur ces attributs. Pour savoir comment ajouter des catégories d'étiquettes et des attributs de trame à une tâche d'étiquetage, utilisez les sections Create Labeling Job (Créer une tâche d'étiquetage) de la page de type de tâche de votre choix.

Attributs de catégorie d'étiquette

Ajoutez des attributs de catégorie d'étiquette aux étiquettes pour donner aux employés la possibilité de fournir plus d'informations sur les annotations qu'ils créent. Un attribut de catégorie d'étiquette est ajouté à une étiquette individuelle ou à toutes les étiquettes. Lorsqu'un attribut de catégorie d'étiquette est appliqué à toutes les étiquettes, il est appelé attribut de catégorie d'étiquette global.

Par exemple, si vous ajoutez l'étiquette catégorie voiture, vous pourriez également vouloir capturer des données supplémentaires sur vos voitures étiquetées, telles que le fait qu'elles soient masquées ou la taille de la voiture. Vous pouvez capturer ces métadonnées à l'aide des attributs de catégorie d'étiquette. Dans cet exemple, si vous avez ajouté l'attribut occluded à la catégorie d'étiquette voiture, vous pouvez affecter les attributs partial, completely ou no à l'attribut occluded et permettre aux employés de sélectionner l'une de ces options.

Lorsque vous créez une tâche de vérification d'étiquette, vous ajoutez des attributs de catégorie d'étiquettes à chaque étiquette que les employés doivent vérifier.

Attributs au niveau de la trame

Ajoutez des attributs de trame pour donner aux employés la possibilité de fournir plus d'informations sur les trames vidéo individuelles. Chaque attribut de trame que vous ajoutez apparaît sur toutes les trames.

Par exemple, vous pouvez ajouter un attribut nombre-trame pour que les employés identifient le nombre d'objets qu'ils voient dans une trame particulière.

Dans un autre exemple, vous pouvez fournir une zone de texte libre pour donner aux employés la possibilité de fournir une réponse à une question.

Lorsque vous créez une tâche de vérification d'étiquette, vous pouvez ajouter un ou plusieurs attributs de trame pour demander aux employés de fournir des commentaires sur toutes les étiquettes d'une trame vidéo.

Instructions de travail

Vous pouvez fournir des instructions aux employés pour les aider à accomplir leurs tâches d'étiquetage de trames vidéo. Vous pouvez aborder les rubriques suivantes lors de la rédaction de vos instructions :

  • Bonnes pratiques et choses à éviter lors de l'annotation d'objets.

  • Les attributs de catégories d'étiquettes fournis (pour les tâches de détection et de suivi d'objets) et la manière de les utiliser.

  • Comment gagner du temps lors de l'étiquetage en utilisant des raccourcis clavier.

Vous pouvez ajouter vos instructions employé à l'aide de la console SageMaker lors de la création d'une tâche d'étiquetage. Si vous créez une tâche d'étiquetage à l'aide de l'opération d'API CreateLabelingJob, vous spécifiez les instructions de travail dans votre fichier de configuration de catégorie d'étiquette.

Outre vos instructions, Ground Truth fournit un lien pour aider les employés à naviguer dans le portail d'employé et à l'utiliser. Affichez ces instructions en sélectionnant le type de tâche sur Instructions de travail.

Refus de tâches

Les employés peuvent refuser des tâches.

Les employés refusent une tâche si les instructions ne sont pas claires, les données source ne s'affichent pas correctement ou s'ils rencontrent un autre problème avec la tâche. Si la tâche est refusée par le nombre d'employés par objet du jeu de données (NumberOfHumanWorkersPerDataObject), l'objet de données est marqué comme expiré et ne sera pas envoyé à d'autres employés.

Exigences d'autorisation de tâche de trame vidéo

Lorsque vous créez une tâche d'étiquetage de trames vidéo, outre les exigences en matière d'autorisation décrites dans Attribuer des autorisations IAM pour utiliser Ground Truth, vous devez ajouter une stratégie CORS à votre compartiment S3 qui contient votre fichier manifeste source.

Ajouter une stratégie d'autorisation CORS à un compartiment S3

Lorsque vous créez une tâche d'étiquetage de trame vidéo, vous spécifiez des compartiments dans S3 où se trouvent vos données et le fichier manifeste source et où seront stockées vos données de sortie. Ces compartiments peuvent être les mêmes. Vous devez attacher la stratégie CORS (Cross-Origin Resource Sharing) suivante à vos compartiments source et de sortie. Si vous utilisez la console Amazon S3 pour ajouter la stratégie à votre compartiment, vous devez utiliser le format JSON.

JSON

[ { "AllowedHeaders": [ "*" ], "AllowedMethods": [ "GET", "HEAD", "PUT" ], "AllowedOrigins": [ "*" ], "ExposeHeaders": [ "Access-Control-Allow-Origin" ], "MaxAgeSeconds": 3000 } ]

xml

<?xml version="1.0" encoding="UTF-8"?> <CORSConfiguration xmlns="http://s3.amazonaws.com/doc/2006-03-01/"> <CORSRule> <AllowedOrigin>*</AllowedOrigin> <AllowedMethod>GET</AllowedMethod> <AllowedMethod>HEAD</AllowedMethod> <AllowedMethod>PUT</AllowedMethod> <MaxAgeSeconds>3000</MaxAgeSeconds> <ExposeHeader>Access-Control-Allow-Origin</ExposeHeader> <AllowedHeader>*</AllowedHeader> </CORSRule> </CORSConfiguration>

Pour savoir comment ajouter une politique CORS à un compartiment S3, veuillez consulter Comment ajouter le partage de ressources interdomaines avec CORS ? dans le Guide de l'utilisateur Amazon Simple Storage Service.