Schema completo delle richieste

Lo schema di richiesta è quasi identico tra l'API Invoke (streaming e non streaming) e l'API Converse. Esistono sottili differenze relative alla codifica del payload di immagini e video. Poiché Amazon Nova Micro non supporta immagini o video come input, queste parti dello schema di richiesta non si applicano ad Amazon Nova Micro. Altrimenti, lo schema di richiesta è lo stesso per tutti i modelli di comprensione di Amazon Nova.

Importante

Il periodo di timeout per le chiamate di inferenza verso Amazon Nova è di 60 minuti. Per impostazione predefinita, i client AWS SDK scadono dopo 1 minuto. Ti consigliamo di aumentare il periodo di timeout di lettura del tuo client AWS SDK ad almeno 60 minuti. Ad esempio, nell'SDK botocore di AWS Python, modifica il valore del read_timeout campo in botocore.config ad almeno 3600.

client = boto3.client(
    "bedrock-runtime",
    region_name="us-east-1",
    config=Config(
        connect_timeout=3600,  # 60 minutes
        read_timeout=3600,     # 60 minutes
        retries={'max_attempts': 1}
    )
)

{
  "system": [
    {
      "text": "string"
    }
  ],
  "messages": [
    {
      "role": "user", //first turn should always be the user turn
      "content": [
        {
          "text": "string"
        },
        {
          "image": {
            "format": "jpeg" | "png" | "gif" | "webp",
            "source": {
              "bytes": image // Binary array (Converse API) or Base64-encoded string (Invoke API)
            }
          }
        },
        {
          "video": {
            "format": "mkv" | "mov" | "mp4" | "webm" | "three_gp" | "flv" | "mpeg" | "mpg" | "wmv",
            "source": {
              // Option 1: Sending a S3 location 
              "s3Location": {
                "uri": "string", // example: s3://my-bucket/object-key
                "bucketOwner": "string" // (Optional) example: "123456789012"
              },
              // Option 2: Sending file bytes 
              "bytes": video // Binary array (Converse API) or Base64-encoded string (Invoke API)
            }
          }
        }
      ]
    },
    {
      "role": "assistant",
      "content": [
        {
          "text": "string" //prefilling assistant turn
        }
      ]
    }
  ],
 "inferenceConfig":{ // all Optional, Invoke parameter names used in this example
    "maxTokens": int, // greater than 0, equal or less than 5k (default: dynamic*)
    "temperature": float, // greater than 0 and less than 1.0 (default: 0.7)
    "topP": float, // greater than 0, equal or less than 1.0 (default: 0.9)
    "topK": int, // 0 or greater (default: 50)
    "stopSequences": ["string"]
  },
  "toolConfig": { // all Optional
        "tools": [
            {
                "toolSpec": {
                    "name": "string", //meaningful tool name (Max char: 64)
                    "description": "string", //meaningful description of the tool
                    "inputSchema": {
                        "json": { // The JSON schema for the tool. For more information, see JSON Schema Reference
                            "type": "object",
                            "properties": {
                                "arg1": { //arguments 
                                    "type": "string", //argument data type
                                    "description": "string" //meaningful description
                                }
                            },
                            "required": [
                                "string" //args
                            ]
                        }
                    }
                }
            }
        ],
    },
    "toolChoice": {
      "auto": {}
    } //Amazon Nova models ONLY support tool choice of "auto"
}

I seguenti sono parametri obbligatori:

• system— (Facoltativo) Il prompt di sistema per la richiesta.

  Un prompt di sistema è un modo per fornire contesto e istruzioni ad Amazon Nova, ad esempio per specificare un obiettivo o un ruolo particolare.

• messages— (Obbligatorio) I messaggi di input.

  • role— Il ruolo del turno di conversazione. I valori validi sono user e assistant.

  • content— (obbligatorio) Un elenco di ContentBlockoggetti che contengono contenuti per la conversazione. Ogni oggetto contiene una chiave che specifica il tipo di contenuto (text,image, ovideo). Il valore dell'oggetto dipende dal tipo di chiave. Per la chiave sono supportati i seguenti tipi:

    • text— Esegue il mapping su un oggetto contenente un singolo campotext, il cui valore è il prompt testuale per il turno di conversazione. Se il turno di conversazione include anche un video oggetto image or, l'textoggetto viene interpretato come un messaggio di testo che accompagna l'immagine o il video.

    • image— (Non supportato per Amazon Nova Micro) Esegue il mapping su un oggetto che rappresenta il contenuto dell'immagine e contiene i seguenti campi:

      • format— (obbligatorio) Il formato dell'immagine. È possibile specificare i seguenti formati di immagine:

        • jpeg

        • png

        • webp

        • gif

      • source— (obbligatorio) I dati dell'immagine. Per l'API Invoke, deve essere una stringa di immagine con codifica Base64. Per l'API Converse, deve essere un array di byte.

      • bytes— (obbligatorio) I dati dell'immagine. Per l'API Invoke, deve essere una stringa di immagine con codifica Base64. Per l'API Converse, deve essere un array di byte.

    • video— (Non supportato per Amazon Nova Micro) Esegue il mapping su un oggetto che rappresenta contenuti video e contiene i seguenti campi:

      • format— (obbligatorio) Il formato video. Puoi specificare le seguenti valori:

        • mkv

        • mov

        • mp4

        • webm

        • three_gp

        • flv

        • mpeg

        • mpg

        • wmv

      • source— (richiesto) La fonte dei dati video. Puoi specificare un URI Amazon S3 o i byte del file video nella richiesta.

        • uri— (obbligatorio) L'URI Amazon S3 del file video. Ad esempio, “s3://my-bucket/object-key”

        • bucketOwner— (opzionale) L'ID dell'account proprietario del bucket. Usalo se stai richiamando il modello da un account separato.

        • bytes— (obbligatorio) I dati dell'immagine. Per l'API Invoke, deve essere una stringa di immagine con codifica Base64. Per l'API Converse, deve essere un array di byte.

• inferenceConfig:Si tratta di valori di configurazione di inferenza che possono essere passati in inferenza.

  • maxTokens— (Facoltativo) Il numero massimo di token da generare prima dell'interruzione.

    Tieni presente che i modelli Amazon Nova potrebbero interrompere la generazione di token prima di raggiungere il valore dimaxTokens. Il valore massimo consentito per i nuovi token è 5K.

  • temperature— (Facoltativo) La quantità di casualità iniettata nella risposta. I valori validi sono compresi tra 0,00001 e 1, inclusi. Il valore predefinito è 0,7.

  • topP— (Facoltativo) Utilizzate il campionamento del nucleo.

    Amazon Nova calcola la distribuzione cumulativa di tutte le opzioni per ogni token successivo in ordine di probabilità decrescente e la interrompe quando raggiunge una particolare probabilità specificata da. topP È necessario modificare uno dei duetopP, ma non entrambitemperature. I valori validi sono compresi tra 0 e 1, inclusi. Il valore predefinito è 0,9.

  • topK— (Facoltativo) Esempio solo tra le prime K opzioni per ogni token successivo.

    Utilizzate il topK parametro per rimuovere le risposte a coda lunga e a bassa probabilità. I valori validi sono compresi tra 0 e 128. Il valore predefinito è che questo parametro non viene utilizzato.

    Nota

    Quando si utilizza l'API Converse con il topK parametro, è necessario includere un inferenceConfig parametro aggiuntivo in un additionalModelRequestFields campo. Vedi un Utilizzo dell'API Converse esempio di come vengono passati questi parametri.

  • stopSequences— (Facoltativo) Matrice di stringhe contenenti sequenze di interruzioni. Se il modello genera una di queste stringhe, la generazione si interromperà e la risposta verrà restituita fino a quel momento.

  Parametro	Valore predefinito	Intervallo
  temperature	0.7	0,00001-1
  topP	0.9	0-1
  topK	Non utilizzato	0-128

• toolConfig— (Facoltativo) Oggetto JSON che segue ToolConfig lo schema, contenente le specifiche e la scelta dell'utensile. Questo schema è lo stesso seguito dall'API Converse