Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
# Llama 3.1 405B Instruct
##  Meta — Llama 3.1 405B Instruct
## Dettagli del modello
Llama 3.1 405B Instruct è il più grande modello aperto di Meta con 405 miliardi di parametri e una finestra di contesto di 128K, che supporta l'uso degli strumenti e le attività multilingue. Per ulteriori informazioni sullo sviluppo e sulle prestazioni del modello, consulta la scheda. [ model/service ](https://www.llama.com/docs/model-cards-and-prompt-formats/llama3_1/)
+ **Data di lancio del modello: 23 ** luglio 2024
+ **Data EOL del modello: ** Legacy: 7 luglio 2026
+ **Contratti di licenza con l'utente finale e condizioni d'uso: Visualizza ** [https://github.com/meta-llama/llama-models/blob/main/models/llama3_1/LICENSE](https://github.com/meta-llama/llama-models/blob/main/models/llama3_1/LICENSE)
+ **Ciclo di vita del modello: Legacy **
+ **Finestra contestuale: 128K token **
+ **Token di uscita massimi: 4K **
+ **Chiusura delle conoscenze: dicembre 2023 **
| **Modalità di input ** | **Modalità di output ** | **[API supportate ](bedrock/latest/userguide/apis.html) ** | **[Endpoint supportati ](bedrock/latest/userguide/endpoints.html) ** |
| --- | --- | --- | --- |
| Audio | Incorporamento |  Responses |  bedrock-runtime |
| Immagine | Immagine |  Chat Completions |  bedrock-mantle |
| Discorso | Discorso |  Invoke | |
| Testo | Testo |  Converse | |
| Video | Video | | |
**Suggerimento**
Quando possibile, consigliamo di utilizzare l'`bedrock-runtime`endpoint per nuove applicazioni. Per informazioni dettagliate, vedi [Endpoint supportati da Amazon Bedrock](endpoints.md).
## Funzionalità e caratteristiche
***Caratteristiche di Bedrock * **
**Funzionalità supportate tramite endpoint `bedrock-runtime` **
| **Supportato ** | **Non supportato ** |
| --- | --- |
| + [Streaming di risposta ](bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html)
+ [Guardrail ](bedrock/latest/userguide/guardrails.html)
+ [Client-side chiamata agli strumenti ](bedrock/latest/userguide/tool-use.html)
+ [Gestione tempestiva ](bedrock/latest/userguide/prompt-management.html)
+ [Flussi ](bedrock/latest/userguide/flows.html)
+ [Agenti ](bedrock/latest/userguide/agents.html) | + [Routing rapido intelligente ](bedrock/latest/userguide/prompt-routing.html)
+ [rilevamento degli abusi ](bedrock/latest/userguide/abuse-detection.html)
+ [Ottimizzazione tempestiva ](bedrock/latest/userguide/prompt-management-optimize.html)
+ [Conta i token ](bedrock/latest/userguide/count-tokens.html)
+ [Base di conoscenza ](bedrock/latest/userguide/knowledge-base.html)
+ [Valutazione del modello ](bedrock/latest/userguide/evaluation.html)
+ [Risultati strutturati ](bedrock/latest/userguide/structured-outputs.html) |
## Prezzi
Per informazioni sui prezzi, consulta la pagina dei prezzi [ di ](https://aws.amazon.com/bedrock/pricing/) Amazon Bedrock.
## Accesso programmatico
Utilizzate i seguenti ID del modello e URL degli endpoint per accedere a questo modello a livello di codice. Per ulteriori informazioni sulle API e sugli endpoint disponibili, consulta [ API supportate ed Endpoint supportati. ](bedrock/latest/userguide/apis.html) [bedrock/latest/userguide/endpoints.html](bedrock/latest/userguide/endpoints.html)
| **Endpoint** | **ID del modello ** | **In-Region URL dell'endpoint ** | **ID di geo-inferenza ** | **ID di inferenza globale ** |
| --- | --- | --- | --- | --- |
| bedrock-runtime | meta.llama3-1-405b-instruct-v1:0 | https://bedrock-runtime.{region}.amazonaws.com | us.meta.llama3-1-405b-instruct-v1:0 | Non supportata |
*Ad esempio, se la regione è us-east-1 (Virginia settentrionale), l'URL dell'endpoint bedrock-runtime sarà "" e per bedrock-mantle sarà "»https://bedrock-runtime.us-east-1.amazonaws.com. https://bedrock-mantle.us-east-1.api.aws/v1 *
## Livelli di servizio
Amazon Bedrock offre diversi livelli di servizio per soddisfare i requisiti del carico di lavoro. **Standard ** fornisce l'accesso pay-per-token senza impegno (imposta o ometti il campo). `"service_tier": "default"` **Priority ** offre i tempi di risposta più rapidi a un prezzo superiore (impostato). `"service_tier": "priority"` **Flex ** offre un accesso a basso costo per carichi di lavoro flessibili e non sensibili al fattore tempo (set). `"service_tier": "flex"` **Reserved ** offre un throughput dedicato con un impegno a termine per carichi di lavoro prevedibili; è impostato a livello di account anziché su richiesta (contatta il team del tuo account AWS per abilitare). Per ulteriori informazioni, consulta [ i livelli di servizio. ](bedrock/latest/userguide/service-tiers-inference.html)
| **Standard** | **Priorità** | **Flex ** | **Riservato ** |
| --- | --- | --- | --- |
|  |  |  |  |
## Disponibilità regionale
***La disponibilità regionale a colpo d'occhio * **
Amazon Bedrock offre tre opzioni di inferenza: ** In-Region ** mantiene le richieste all'interno di una singola regione per garantire una conformità rigorosa, ** le Cross-Region ** rotte geografiche tra le regioni all'interno di un'area geografica (come Stati Uniti, UE e APAC) rispettando la residenza dei dati e le Cross-Region ** rotte ** globali in qualsiasi parte del mondo quando non ci sono vincoli di residenza. Per maggiori dettagli, consulta la pagina. [Disponibilità regionale per modelli](models-region-compatibility.md)
| **Region** | **In-Region** | **Geo ** | **Globale** |
| --- | --- | --- | --- |
| us-east-2(Ohio) |  |  |  |
| us-west-2(Oregon) |  |  |  |
***Dettagli della geo-inferenza * **
**Geo: Stati Uniti **
ID di inferenza geografica: `us.meta.llama3-1-405b-instruct-v1:0`
| **Regione di origine ** | **Regioni di destinazione ** |
| --- | --- |
| us-east-2 (Ohio) | us-east-1 (Virginia settentrionale), us-east-2 (Ohio), us-west-2 (Oregon) |
## Codice di esempio
**Passaggio 1 - AWS Account: ** Se hai già un account, salta questo passaggio. AWS Se non conosci AWS, crea un account [https://portal.aws.amazon.com/billing/signup](https://portal.aws.amazon.com/billing/signup) AWS.
**Passaggio 2 - Chiave API: ** accedi alla console [ Amazon Bedrock ](https://console.aws.amazon.com/bedrock/home#/api-keys/long-term/create) e genera una chiave API a lungo termine.
**Passaggio 3 - Scarica l'SDK: ** per utilizzare questa guida introduttiva, devi avere Python già installato. Quindi installa il software pertinente in base alle API che stai utilizzando.
```
pip install boto3
```
**Passaggio 4 - Impostazione delle variabili di ambiente: ** configura il tuo ambiente per utilizzare la chiave API per l'autenticazione.
```
AWS_BEARER_TOKEN_BEDROCK=""
```
**Fase 5 - Esegui la tua prima richiesta di inferenza: ** salva il file con nome `bedrock-first-request.py`
------
#### [ Converse API ]
```
import boto3
client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
modelId='meta.llama3-1-405b-instruct-v1:0',
messages=[
{
'role': 'user',
'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
}
]
)
print(response)
```
------