TwelveLabs Pegasus 1.2

Le TwelveLabs Pegasus 1.2 modèle fournit des fonctionnalités complètes de compréhension et d'analyse vidéo. Il peut analyser le contenu vidéo et générer des descriptions textuelles, des informations et des réponses aux questions concernant la vidéo.

Utilisez ces informations pour effectuer des appels d'inférence vers TwelveLabs des modèles avec InvokeModel les opérations InvokeModelWithResponseStream (streaming).

• Fournisseur — TwelveLabs

• Catégories — Compréhension des vidéos, analyse de contenu

• Identifiant du modèle — twelvelabs.pegasus-1-2-v1:0

• Modalité de saisie — Vidéo

• Modalité de sortie — Texte

• Taille maximale de la vidéo : vidéo d'une heure (taille de fichier inférieure à 2 Go)

TwelveLabs Pegasus 1.2paramètres de demande

Le tableau suivant décrit les paramètres d'entrée du TwelveLabs Pegasus 1.2 modèle :

TwelveLabs Pegasus 1.2paramètres de demande

Champ	Type	Obligatoire	Description
inputPrompt	chaîne	Oui	Vous êtes invité à analyser la vidéo. Maximum : 2000 jetons.
temperature	double	Non	Température du modèle. Contrôle le caractère aléatoire de la sortie. Par défaut : 0,2, Min : 0, Max : 1.
responseFormat	Objet	Non	Permet aux utilisateurs de définir le format de sortie structuré. Supporte actuellement uniquement json_schema.
mediaSource	objet	Oui	Décrit la source multimédia. L'un base64String ou l'autre s3Location doit être fourni.
mediaSource.base64String	chaîne	Non	Chaîne d'octets codée en Base64 pour la vidéo. Maximum : 36 Mo.
mediaSource.s3Location.uri	chaîne	Non	URI S3 à partir duquel la vidéo peut être téléchargée. Durée maximale : vidéo d'une heure (taille de fichier inférieure à 2 Go).
mediaSource.s3Location.bucketOwner	chaîne	Non	ID de compte AWS du propriétaire du compartiment.
maxOutputTokens	entier	Non	Le nombre maximum de jetons à générer. Maximum : 4096.

TwelveLabs Pegasus 1.2 Champs de réponse

Le tableau suivant décrit les champs de sortie du TwelveLabs Pegasus 1.2 modèle :

TwelveLabs Pegasus 1.2 Champs de réponse

Champ	Type	Description
message	chaîne	Message de sortie contenant l'analyse de la vidéo par le modèle.
finishReason	chaîne	Raison d'arrêt qui décrit la raison pour laquelle la sortie s'est terminée. Valeurs valides : stop (l'API a renvoyé les complétions complètes sans atteindre aucune limite), length (la génération a dépassé la limite max_tokens).

TwelveLabs Pegasus 1.2demande et réponse

Les exemples suivants montrent comment utiliser le TwelveLabs Pegasus 1.2 modèle avec différentes sources d'entrée.

Request

Les exemples suivants montrent les formats de demande pour le TwelveLabs Pegasus 1.2 modèle.

Utilisation d'une vidéo codée en base64 :

{
  "inputPrompt": "tell me about the video",
  "mediaSource": {
      "base64String": "<BASE64 STRING OF VIDEO FILE>"
  },
  "temperature": 0
}

Utilisation de la vidéo stockée dans S3 :

{
    "inputPrompt": "Tell me about this video",
    "mediaSource": {
        "s3Location": {
            "uri": "s3://path-to-video-object-in-s3",
            "bucketOwner": "bucket-owner-account-id"
        }
    },
    "temperature": 0
}

Utilisation d'un format de sortie structuré :

{
    "inputPrompt": "Analyze this video and provide a structured summary",
    "mediaSource": {
        "s3Location": {
            "uri": "s3://path-to-video-object-in-s3",
            "bucketOwner": "bucket-owner-account-id"
        }
    },
    "temperature": 0.2,
    "maxOutputTokens": 2048,
    "responseFormat": {
        "type": "json_schema",
        "json_schema": {
            "name": "video_analysis",
            "schema": {
                "type": "object",
                "properties": {
                    "summary": {"type": "string"},
                    "key_scenes": {"type": "array", "items": {"type": "string"}},
                    "duration": {"type": "string"}
                },
                "required": ["summary", "key_scenes"]
            }
        }
    }
}

Response

Les exemples suivants montrent les formats de réponse du TwelveLabs Pegasus 1.2 modèle.

Réponse standard :

{
  "message": "This video shows a person walking through a park during sunset. The scene includes trees, a walking path, and golden lighting from the setting sun. The person appears to be enjoying a peaceful evening stroll.",
  "finishReason": "stop"
}

Réponse avec sortie structurée :

{
  "message": "{\"summary\": \"A peaceful evening walk through a park at sunset\", \"key_scenes\": [\"Person entering the park\", \"Walking along tree-lined path\", \"Sunset lighting through trees\", \"Person sitting on bench\"], \"duration\": \"Approximately 2 minutes\"}",
  "finishReason": "stop"
}

Réponse lorsque le nombre maximum de jetons est atteint :

{
  "message": "This video contains multiple scenes showing various activities. The first scene shows...",
  "finishReason": "length"
}