Valutazione del modello di ragionamento

Panoramica di

Il supporto del modello di ragionamento consente la valutazione con modelli Nova compatibili con il ragionamento che eseguono un ragionamento interno esplicito prima di generare risposte finali. Questa funzionalità utilizza il controllo a livello di API tramite il reasoning_effort parametro per abilitare o disabilitare dinamicamente la funzionalità di ragionamento, migliorando potenzialmente la qualità della risposta per attività analitiche complesse.

Modelli supportati

• amazon.nova-2-lite-v 1:0:256k

Configurazione della ricetta

Abilita il ragionamento aggiungendo il reasoning_effort parametro alla inference sezione della tua ricetta:

run:  
  name: reasoning-eval-job-name                          # [MODIFIABLE] Unique identifier for your evaluation job  
  model_type: amazon.nova-2-lite-v1:0:256k               # [FIXED] Must be a reasoning-supported model  
  model_name_or_path: nova-lite-2/prod                   # [FIXED] Path to model checkpoint or identifier  
  replicas: 1                                            # [MODIFIABLE] Number of replicas for SageMaker Training job  
  data_s3_path: ""                                       # [MODIFIABLE] Leave empty for SageMaker Training job; optional for SageMaker HyperPod job  
  output_s3_path: ""                                     # [MODIFIABLE] Output path for SageMaker HyperPod job (not compatible with SageMaker Training jobs)  
  
evaluation:  
  task: mmlu                                             # [MODIFIABLE] Evaluation task  
  strategy: zs_cot                                       # [MODIFIABLE] Evaluation strategy  
  metric: accuracy                                       # [MODIFIABLE] Metric calculation method  
  
inference:  
  reasoning_effort: high                                 # [MODIFIABLE] Enables reasoning mode; options: low/high or null to disable  
  max_new_tokens: 32768                                  # [MODIFIABLE] Maximum tokens to generate, recommended value when reasoning_effort set to high  
  top_k: -1                                              # [MODIFIABLE] Top-k sampling parameter  
  top_p: 1.0                                             # [MODIFIABLE] Nucleus sampling parameter  
  temperature: 0                                         # [MODIFIABLE] Sampling temperature (0 = deterministic)

Utilizzo del parametro reasoning_effort

Il reasoning_effort parametro controlla il comportamento di ragionamento per i modelli in grado di ragionare.

Prerequisiti

• Compatibilità tra modelli: viene impostata reasoning_effort solo quando model_type specifica un modello in grado di ragionare (attualmente) amazon.nova-2-lite-v1:0:256k

• Gestione degli errori: l'utilizzo reasoning_effort con modelli non supportati avrà esito negativo con ConfigValidationError: "Reasoning mode is enabled but model '{model_type}' does not support reasoning. Please use a reasoning-capable model or disable reasoning mode."

Opzioni disponibili

Opzione	Comportamento	Limite di token	Caso d’uso
null (impostazione predefinita)	Disattiva la modalità di ragionamento	N/D	Valutazione standard senza sovraccarico di ragionamento
low	Consente il ragionamento con vincoli	4.000 token per il ragionamento interno	Scenari che richiedono un ragionamento conciso; ottimizza velocità e costi
high	Consente il ragionamento senza vincoli	Nessun limite simbolico al ragionamento interno	Problemi complessi che richiedono analisi e step-by-step ragionamenti approfonditi

Metodo di addestramento	Opzioni disponibili	Come configurare
SFT (regolazione fine supervisionata)	Solo High o Off	Usa reasoning_enabled: true (high) o reasoning_enabled: false (off)
RFT (Reinforcement Fine-Tuning)	Basso, Alto o Disattivato	Usa reasoning_effort: low o reasoning_effort: high. Ometti il campo da disabilitare.
Valutazione	Basso, Alto o Disattivato	Usa reasoning_effort: low o reasoning_effort: high. Usa null per disabilitare.

Quando abilitare il ragionamento

Usa la modalità di ragionamento (lowo) per high

• Compiti complessi di risoluzione di problemi (matematica, puzzle logici, programmazione)

• Domande analitiche in più fasi che richiedono un ragionamento intermedio

• Attività in cui spiegazioni o riflessioni dettagliate migliorano la precisione step-by-step

• Scenari in cui la qualità della risposta è prioritaria rispetto alla velocità

Usa la modalità non ragionamento (nullo ometti il parametro) per

• Domande e risposte semplici o domande fattuali

• Attività di scrittura creativa

• Quando i tempi di risposta più rapidi sono fondamentali

• Analisi comparativa delle prestazioni in cui è necessario escludere il sovraccarico di ragionamento

• L'ottimizzazione dei costi quando il ragionamento non migliora le prestazioni delle attività

risoluzione dei problemi

Errore: «La modalità di ragionamento è abilitata ma il modello non supporta il ragionamento»

Causa: il reasoning_effort parametro è impostato su un valore diverso da nullo, ma quello specificato model_type non supporta il ragionamento.

Risoluzione:

• Verifica che il tipo di modello sia amazon.nova-2-lite-v1:0:256k

• Se utilizzi un modello diverso, passa a un modello in grado di ragionare o rimuovi il reasoning_effort parametro dalla tua ricetta