TwelveLabs Pegasus 1.2

O TwelveLabs Pegasus 1.2 modelo fornece recursos abrangentes de compreensão e análise de vídeo. Ele pode analisar o conteúdo do vídeo e gerar descrições textuais, insights e respostas para perguntas sobre o vídeo.

Use essas informações para fazer chamadas de inferência para TwelveLabs modelos com as operações InvokeModel, InvokeModelWithResponseStream (streaming).

• Fornecedor — TwelveLabs

• Categorias — Compreensão de vídeo, análise de conteúdo

• ID do modelo — twelvelabs.pegasus-1-2-v1:0

• Modalidade de entrada — Vídeo

• Modalidade de saída — Texto

• Tamanho máximo do vídeo — vídeo de 1 hora (tamanho de arquivo < 2GB)

TwelveLabs Pegasus 1.2parâmetros de solicitação

A tabela a seguir descreve os parâmetros de entrada para o TwelveLabs Pegasus 1.2 modelo:

TwelveLabs Pegasus 1.2parâmetros de solicitação

Campo	Tipo	Obrigatório	Descrição
inputPrompt	string	Sim	Solicite a análise do vídeo. Máximo: 2000 fichas.
temperature	double	Não	Temperatura para o modelo. Controla a aleatoriedade na saída. Padrão: 0,2, Mín: 0, Máx: 1.
responseFormat	Objeto	Não	Permite que os usuários especifiquem o formato de saída estruturado. Atualmente, suporta somente json_schema.
mediaSource	objeto	Sim	Descreve a fonte de mídia. base64StringOu s3Location deve ser fornecido.
mediaSource.base64String	string	Não	Cadeia de bytes codificada em Base64 para o vídeo. Máximo: 36 MB.
mediaSource.s3Location.uri	string	Não	URI do S3 de onde o vídeo pode ser baixado. Máximo: vídeo de 1 hora (tamanho de arquivo < 2 GB).
mediaSource.s3Location.bucketOwner	string	Não	ID da conta da AWS do proprietário do bucket.
maxOutputTokens	integer	Não	O número máximo de tokens a serem gerados. Máximo: 4096.

Campos de resposta TwelveLabs Pegasus 1.2

A tabela a seguir descreve os campos de saída do TwelveLabs Pegasus 1.2 modelo:

Campos de resposta TwelveLabs Pegasus 1.2

Campo	Tipo	Descrição
message	string	Mensagem de saída contendo a análise do vídeo pelo modelo.
finishReason	string	Pare o motivo que descreve por que a saída terminou. Valores válidos: stop (A API retornou as conclusões completas sem atingir nenhum limite), length (a geração excedeu o limite de max_tokens).

TwelveLabs Pegasus 1.2solicitação e resposta

Os exemplos a seguir mostram como usar o TwelveLabs Pegasus 1.2 modelo com diferentes fontes de entrada.

Request

Os exemplos a seguir mostram os formatos de solicitação para o TwelveLabs Pegasus 1.2 modelo.

Usando vídeo codificado em base64:

{
  "inputPrompt": "tell me about the video",
  "mediaSource": {
      "base64String": "<BASE64 STRING OF VIDEO FILE>"
  },
  "temperature": 0
}

Usando vídeo armazenado em S3:

{
    "inputPrompt": "Tell me about this video",
    "mediaSource": {
        "s3Location": {
            "uri": "s3://path-to-video-object-in-s3",
            "bucketOwner": "bucket-owner-account-id"
        }
    },
    "temperature": 0
}

Usando o formato de saída estruturado:

{
    "inputPrompt": "Analyze this video and provide a structured summary",
    "mediaSource": {
        "s3Location": {
            "uri": "s3://path-to-video-object-in-s3",
            "bucketOwner": "bucket-owner-account-id"
        }
    },
    "temperature": 0.2,
    "maxOutputTokens": 2048,
    "responseFormat": {
        "type": "json_schema",
        "json_schema": {
            "name": "video_analysis",
            "schema": {
                "type": "object",
                "properties": {
                    "summary": {"type": "string"},
                    "key_scenes": {"type": "array", "items": {"type": "string"}},
                    "duration": {"type": "string"}
                },
                "required": ["summary", "key_scenes"]
            }
        }
    }
}

Response

Os exemplos a seguir mostram os formatos de resposta do TwelveLabs Pegasus 1.2 modelo.

Resposta padrão:

{
  "message": "This video shows a person walking through a park during sunset. The scene includes trees, a walking path, and golden lighting from the setting sun. The person appears to be enjoying a peaceful evening stroll.",
  "finishReason": "stop"
}

Resposta com saída estruturada:

{
  "message": "{\"summary\": \"A peaceful evening walk through a park at sunset\", \"key_scenes\": [\"Person entering the park\", \"Walking along tree-lined path\", \"Sunset lighting through trees\", \"Person sitting on bench\"], \"duration\": \"Approximately 2 minutes\"}",
  "finishReason": "stop"
}

Resposta quando o máximo de tokens for atingido:

{
  "message": "This video contains multiple scenes showing various activities. The first scene shows...",
  "finishReason": "length"
}