TwelveLabs Pegasus 1.2

Das TwelveLabs Pegasus 1.2 Modell bietet umfassende Funktionen zum Verständnis und zur Analyse von Videos. Es kann Videoinhalte analysieren und Textbeschreibungen, Einblicke und Antworten auf Fragen zum Video generieren.

Verwenden Sie diese Informationen, um mit den Operationen, InvokeModelWithResponseStream (Streaming) Rückschlüsse auf TwelveLabs InvokeModel Modelle zu ziehen.

• Anbieter — TwelveLabs

• Kategorien — Verständnis von Videos, Inhaltsanalyse

• Modell-ID — twelvelabs.pegasus-1-2-v1:0

• Eingabemodalität — Video

• Ausgabemodalität — Text

• Maximale Videogröße — 1 Stunde langes Video (< 2 GB Dateigröße)

TwelveLabs Pegasus 1.2Parameter anfordern

In der folgenden Tabelle werden die Eingabeparameter für das TwelveLabs Pegasus 1.2 Modell beschrieben:

TwelveLabs Pegasus 1.2Anforderungsparameter

Feld	Typ	Erforderlich	Beschreibung
inputPrompt	Zeichenfolge	Ja	Aufforderung zur Analyse des Videos. Maximal: 2000 Tokens.
temperature	double	Nein	Temperatur für das Modell. Steuert die Zufälligkeit in der Ausgabe. Standard: 0,2, Min: 0, Max: 1.
responseFormat	Object	Nein	Ermöglicht Benutzern die Angabe des strukturierten Ausgabeformats. Unterstützt derzeit nur json_schema.
mediaSource	object	Ja	Beschreibt die Medienquelle. Entweder base64String oder s3Location muss angegeben werden.
mediaSource.base64String	Zeichenfolge	Nein	Base64-codierte Bytezeichenfolge für das Video. Maximal: 36 MB.
mediaSource.s3Location.uri	Zeichenfolge	Nein	S3-URI, von der das Video heruntergeladen werden konnte. Max. 1 Stunde langes Video (< 2 GB Dateigröße).
mediaSource.s3Location.bucketOwner	Zeichenfolge	Nein	AWS-Konto-ID des Bucket-Besitzers.
maxOutputTokens	Ganzzahl	Nein	Die maximale Anzahl der zu generierenden Token. Maximal: 4096.

TwelveLabs Pegasus 1.2-Antwortfelder

In der folgenden Tabelle werden die Ausgabefelder für das TwelveLabs Pegasus 1.2 Modell beschrieben:

TwelveLabs Pegasus 1.2-Antwortfelder

Feld	Typ	Beschreibung
message	Zeichenfolge	Ausgabenachricht, die die Analyse des Videos durch das Modell enthält.
finishReason	Zeichenfolge	Grund für den Stopp, der beschreibt, warum die Ausgabe beendet wurde. Gültige Werte: stop (Die API hat die vollständige Fertigstellung zurückgegeben, ohne dass irgendwelche Grenzwerte erreicht wurden), length (die Generierung hat das max_tokens-Limit überschritten).

TwelveLabs Pegasus 1.2Anfrage und Antwort

Die folgenden Beispiele zeigen, wie das TwelveLabs Pegasus 1.2 Modell mit verschiedenen Eingabequellen verwendet wird.

Request

Die folgenden Beispiele zeigen Anforderungsformate für das TwelveLabs Pegasus 1.2 Modell.

Verwenden von Base64-codiertem Video:

{
  "inputPrompt": "tell me about the video",
  "mediaSource": {
      "base64String": "<BASE64 STRING OF VIDEO FILE>"
  },
  "temperature": 0
}

Verwenden von in S3 gespeichertem Video:

{
    "inputPrompt": "Tell me about this video",
    "mediaSource": {
        "s3Location": {
            "uri": "s3://path-to-video-object-in-s3",
            "bucketOwner": "bucket-owner-account-id"
        }
    },
    "temperature": 0
}

Verwenden des strukturierten Ausgabeformats:

{
    "inputPrompt": "Analyze this video and provide a structured summary",
    "mediaSource": {
        "s3Location": {
            "uri": "s3://path-to-video-object-in-s3",
            "bucketOwner": "bucket-owner-account-id"
        }
    },
    "temperature": 0.2,
    "maxOutputTokens": 2048,
    "responseFormat": {
        "type": "json_schema",
        "json_schema": {
            "name": "video_analysis",
            "schema": {
                "type": "object",
                "properties": {
                    "summary": {"type": "string"},
                    "key_scenes": {"type": "array", "items": {"type": "string"}},
                    "duration": {"type": "string"}
                },
                "required": ["summary", "key_scenes"]
            }
        }
    }
}

Response

Die folgenden Beispiele zeigen Antwortformate aus dem TwelveLabs Pegasus 1.2 Modell.

Standardantwort:

{
  "message": "This video shows a person walking through a park during sunset. The scene includes trees, a walking path, and golden lighting from the setting sun. The person appears to be enjoying a peaceful evening stroll.",
  "finishReason": "stop"
}

Antwort mit strukturierter Ausgabe:

{
  "message": "{\"summary\": \"A peaceful evening walk through a park at sunset\", \"key_scenes\": [\"Person entering the park\", \"Walking along tree-lined path\", \"Sunset lighting through trees\", \"Person sitting on bench\"], \"duration\": \"Approximately 2 minutes\"}",
  "finishReason": "stop"
}

Antwort, wenn die maximale Anzahl an Tokens erreicht wurde:

{
  "message": "This video contains multiple scenes showing various activities. The first scene shows...",
  "finishReason": "length"
}