Risoluzione dei problemi delle chiamate agli strumenti

Potresti riscontrare errori diversi quando lavori con strumenti e modelli Amazon Nova. Ecco alcuni esempi e suggerimenti per aiutarti a risolvere i problemi.

Eccezione di errore del modello

An error occurred (ModelErrorException) when calling the Converse operation: The model produced an invalid sequence as part of ToolUse. Please refer to the model tool use troubleshooting guide.

Convalida i tuoi parametri di inferenza: i modelli Amazon Nova utilizzano strumenti di chiamata più efficaci quando utilizzano una decodifica avida. Per abilitare la decodifica greedy, imposta i parametri di temperatura su 0.

inferenceConfig={
    "temperature": 0
}

additionalModelRequestFields={"inferenceConfig": {"topK": 1}}

Aumentate il numero massimo di token: è normale che gli output degli strumenti richiedano un output di token di grandi dimensioni, assicuratevi che il numero massimo di token impostato sia sufficientemente grande da contenere lo schema di ritorno previsto. Se la risposta del modello è maggiore del numero massimo di token, attiverà un'eccezione. Puoi impostare il numero massimo di token nel inferenceConfig parametro:

inferenceConfig={
    "maxTokens": 3000
}

Esamina il prompt di sistema: per migliorare la precisione della chiamata allo strumento, Amazon Nova utilizza il chain-of-thought ragionamento quando chiama uno strumento. <thinking>Vedrai questo risultato nella risposta nei tag. Non è consigliabile provare a rimuovere questa funzionalità. Ti consigliamo invece di eliminare l'output se non ne hai bisogno nell'applicazione.

Eccezione per convalida

An error occurred (ValidationException) when calling the Converse operation

La configurazione dello strumento passata non è conforme alle convenzioni richieste. Fai riferimento alle specifiche dell'API Converse per le specifiche di tutti i parametri.

Uno strumento non viene restituito quando previsto

Se sembra che gli strumenti vengano ignorati dal modello, assicurati di seguire lo schema JSON corretto per la configurazione dello strumento:

• Lo schema di primo livello deve essere di tipo Object

• In Object di primo livello sono supportati solo tre campi type (deve essere impostato su «object»)properties, e required

• I campi comuni non supportati di livello superiore sono:$schema,,description, e title additionalProperties

Se uno strumento non viene restituito quando previsto, si consiglia di utilizzare il parametro tool_choice API.

• Strumento: lo strumento specificato verrà chiamato una volta.

  {
     "toolChoice": {
          "tool": {
              "name": "name_of_tool"
          }
      }
  }

• Qualsiasi: uno degli strumenti forniti verrà chiamato almeno una volta.

  {
     "toolChoice": {
          "any": {}
      }
  }