Completamento di una risposta del modello Amazon Bedrock con uno strumento di utilizzo del computer

L’utilizzo del computer è una funzionalità del modello Anthropic Claude (in versione beta) disponibile solo con Anthropic Claude 3.7 Sonnet e Claude 3.5 Sonnet v2. Con l’utilizzo del computer, Claude può aiutarti ad automatizzare le attività tramite azioni GUI di base.

avvertimento

La funzionalità di utilizzo del computer è resa disponibile come “Servizio Beta”, come definito nei Termini di servizio di AWS. È soggetto al Contratto con AWS e ai Termini di servizio di AWS e all’EULA del modello applicabile. L’utilizzo del computer comporta rischi unici che sono diversi da quelli legati alle funzionalità API standard o alle interfacce di chat. Questi rischi aumentano quando si utilizza l’API Computer Use per interagire con Internet. Per ridurre al minimo i rischi, puoi prendere alcune precauzioni, ad esempio:

• Esegui la funzionalità di utilizzo del computer in una macchina virtuale o in un container dedicato con privilegi minimi per prevenire attacchi diretti al sistema o incidenti.

• Per prevenire il furto di informazioni, evita di concedere all’API di utilizzo del computer l’accesso ad account o dati sensibili.

• Limita l’accesso a Internet delle API di utilizzo del computer ai soli domini necessari, per ridurre l’esposizione a contenuti dannosi.

• Per garantire un’adeguata supervisione, mantieni un intervento di tipo HITL per le attività sensibili (come prendere decisioni che potrebbero avere conseguenze significative nel mondo reale) e per qualsiasi attività che richieda un consenso esplicito (come accettare i cookie, eseguire transazioni finanziarie o accettare i termini di servizio).

Qualsiasi contenuto reso disponibile a Claude per la visualizzazione o l’accesso può interferire con le istruzioni oppure causare errori o l’esecuzione di azioni indesiderate da parte di Claude. Adottare le dovute precauzioni, ad esempio isolare Claude dalle superfici sensibili, è essenziale, anche per evitare i rischi legati all’iniezione di prompt. Prima di abilitare o richiedere le autorizzazioni necessarie per attivare le funzionalità di utilizzo del computer nei tuoi prodotti, informa gli utenti finali di eventuali rischi pertinenti e ottieni il loro consenso, se appropriato.

L’API Computer USE mette a tua disposizione diversi strumenti predefiniti per l’utilizzo del computer (computer_20241022, bash_20241022 e text_editor_20241022). Puoi quindi creare un prompt con la tua richiesta, ad esempio “invia un’e-mail a Ben con le note della mia ultima riunione” e uno screenshot (quando richiesto). La risposta contiene un elenco di azioni tool_use in formato JSON (ad esempio, scroll_down, left_button_press, screenshot). Il codice esegue le azioni del computer e fornisce a Claude screenshot che mostrano gli output (quando richiesto).

Il parametro strumenti è stato aggiornato in modo da accettare tipi di strumenti polimorfici ed è stata aggiunta una nuova proprietà tool.type per distinguerli. type è facoltativo: se viene omesso, si presume che lo strumento sia personalizzato (in precedenza, l’unico tipo di strumento supportato). È stato inoltre aggiunto un nuovo parametro, anthropic_beta, con un valore enum corrispondente: computer-use-2024-10-22. Solo le richieste effettuate con questo parametro ed enum possono ricorrere ai nuovi strumenti di utilizzo del computer. È possibile specificarle come segue: "anthropic_beta": ["computer-use-2024-10-22"] .

Per ricorrere all’utilizzo del computer con Anthropic Claude 3.5 Sonnet v2, puoi scegliere l’API Converse (Converse o ConverseStream). Indica i campi specifici per l’utilizzo del computer nel campo additionalModelRequestFields. Per informazioni sulla chiamata dell’API Converse, consulta Avvio di una conversazione con le operazioni dell’API Converse.

È possibile utilizzare strumenti con le operazioni di inferenza di base (InvokeModel o InvokeModelWithResponseStream). Per trovare i parametri di inferenza da passare nel corpo della richiesta, consulta API Messages di Anthropic Claude.

Per ulteriori informazioni, consulta Utilizzo del computer (beta) nella documentazione di Anthropic.

Codice di esempio

Il codice seguente mostra come chiamare l’API di utilizzo del computer. L’input è un’immagine della console AWS.

with open('test_images/console.png', 'rb') as f:
        png = f.read()

    response = bedrock.converse(
        modelId='anthropic.claude-3-5-sonnet-20241022-v2:0',
        messages=[
            {
                'role': 'user',
                'content': [
                    {
                        'text': 'Go to the bedrock console'
                    },
                    {
                        'image': {
                            'format': 'png',
                            'source': {
                                'bytes': png
                            }
                        }
                    }
                ]
            }
        ],
        additionalModelRequestFields={
            "tools": [
                {
                    "type": "computer_20241022",
                    "name": "computer",
                    "display_height_px": 768,
                    "display_width_px": 1024,
                    "display_number": 0
                },
                {
                    "type": "bash_20241022",
                    "name": "bash",

                },
                {
                    "type": "text_editor_20241022",
                    "name": "str_replace_editor",
                }
            ],
            "anthropic_beta": ["computer-use-2024-10-22"]
        },
        toolConfig={
            'tools': [
                {
                    'toolSpec': {
                        'name': 'get_weather',
                        'inputSchema': {
                            'json': {
                                'type': 'object'
                            }
                        }
                    }
                }
            ]
        })

    print(json.dumps(response, indent=4))

Risposta di esempio

Il codice di esempio emette un output è simile al seguente.

{
   "id": "msg_bdrk_01Ch8g9MF3A9FTrmeywrwfMZ",
   "type": "message",
   "role": "assistant",
   "content": [
        {
            "type": "text",
            "text": "I can see from the screenshot that we're already in the AWS Console. To go to the Amazon Bedrock console specifically, I'll click on the Amazon Bedrock service from the \"Recently Visited\" section."
        },
        {
            "type": "tool_use",
            "id": "toolu_bdrk_013sAzs1gsda9wLrfD8bhYQ3",
            "name": "computer",
            "input": {
                "action": "screenshot"
            }
        }
   ],
   "stop_reason": "tool_use",
   "stop_sequence": null,
   "usage": {
       "input_tokens": 3710,
       "output_tokens": 97
   }
}