Implementazione di modelli su Amazon SageMaker HyperPod

Amazon SageMaker HyperPod ora va oltre la formazione per offrire una piattaforma di inferenza completa che combina la flessibilità di Kubernetes con l'eccellenza operativa dei servizi gestiti. AWS Implementa, ridimensiona e ottimizza i tuoi modelli di machine learning con affidabilità di livello aziendale utilizzando lo stesso calcolo per l'intero ciclo di vita del modello. HyperPod

Amazon SageMaker HyperPod offre interfacce di distribuzione flessibili che consentono di distribuire modelli tramite diversi metodi, tra cui kubectl, Python SDK, Amazon SageMaker Studio UI o CLI. HyperPod Il servizio offre funzionalità avanzate di scalabilità automatica con allocazione dinamica delle risorse che si adatta automaticamente in base alla domanda. Inoltre, include funzionalità complete di osservabilità e monitoraggio che tengono traccia di metriche critiche come la latenza e l'utilizzo della time-to-first-token GPU per aiutarti a ottimizzare le prestazioni.

Infrastruttura unificata per la formazione e l'inferenza

Massimizza l'utilizzo della GPU trasferendo senza problemi le risorse di calcolo tra i carichi di lavoro di addestramento e di inferenza. Ciò riduce il costo totale di proprietà mantenendo al contempo la continuità operativa.

Opzioni di implementazione pronte per l'uso aziendale

Implementa modelli da più fonti, tra cui modelli open weights e gated di Amazon e modelli personalizzati di Amazon S3 SageMaker JumpStart e Amazon FSx con supporto per architetture di inferenza a nodo singolo e multinodo.

Argomenti

• HyperPod Configurazione dei cluster per la distribuzione dei modelli

• Implementa modelli di base e modelli personalizzati ottimizzati

• Policy di scalabilità automatica per l'implementazione del modello di HyperPod inferenza

• Implementazione dell'osservabilità inferenziale sui cluster HyperPod

• Governance delle attività per l'implementazione del modello su HyperPod