**Contribuisci a migliorare questa pagina** Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà. Per contribuire a questa guida per l'utente, scegli il GitHub ** link ** Modifica questa pagina su che si trova nel riquadro destro di ogni pagina. Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà. # Risorse per iniziare a usare AI/ML Amazon EKS Per passare al Machine Learning su EKS, iniziare scegliendo tra questi modelli prescrittivi per preparare rapidamente un cluster EKS e un software e un hardware ML per iniziare a eseguire carichi di lavoro ML. ## Workshop ### [Workshop sull’IA generativa su Amazon EKS](https://genai.eksworkshop.com/) Ulteriori informazioni su come iniziare a utilizzare le applicazioni e l’inferenza di un modello linguistico di grandi dimensioni (LLM) su Amazon EKS. Ulteriori informazioni su come implementare e gestire carichi di lavoro LLM di livello di produzione. Attraverso laboratori pratici, scoprirai come sfruttare Amazon EKS insieme a AWS servizi e strumenti open source per creare solide soluzioni LLM. L’ambiente del workshop fornisce tutta l’infrastruttura e gli strumenti necessari, consentendo di rivolgere la propria attenzione sull’apprendimento e sull’implementazione. ### [IA generativa su Amazon EKS con Neuron](https://catalog.us-east-1.prod.workshops.aws/workshops/e21aadbd-23cb-4207-bd09-625e6de08a6c/en-US) Ulteriori informazioni su come iniziare a utilizzare le applicazioni e l’inferenza di un modello linguistico di grandi dimensioni (LLM) su Amazon EKS. Ulteriori informazioni su come implementare e gestire carichi di lavoro LLM di livello di produzione, implementare modelli RAG avanzati con database vettoriali e creare applicazioni LLM basate su dati utilizzando framework open source. Attraverso laboratori pratici, scoprirai come sfruttare Amazon EKS insieme a AWS servizi e strumenti open source per creare solide soluzioni LLM. L’ambiente del workshop fornisce tutta l’infrastruttura e gli strumenti necessari, consentendo di rivolgere la propria attenzione sull’apprendimento e sull’implementazione. ## [Best practice](https://docs.aws.amazon.com/eks/latest/best-practices/aiml.html) Gli AI/ML argomenti specifici della guida Amazon EKS Best Practices forniscono consigli dettagliati nelle seguenti aree per ottimizzare i AI/ML carichi di lavoro su Amazon EKS. ### [AI/ML Calcolo e scalabilità automatica](https://docs.aws.amazon.com/eks/latest/best-practices/aiml-compute.html) Questa sezione descrive le best practice per l'ottimizzazione del AI/ML calcolo e della scalabilità automatica in Amazon EKS, concentrandosi sulla gestione delle risorse GPU, sulla resilienza dei nodi e sulla scalabilità delle applicazioni. Fornisce strategie come la pianificazione dei carichi di lavoro con etichette e affinità di nodi note, l'utilizzo di ML Capacity Blocks o On-Demand Capacity Reservations e l'implementazione di controlli dello stato dei nodi con strumenti come EKS Node Monitoring Agent. ### [AI/ML Reti](https://docs.aws.amazon.com/eks/latest/best-practices/aiml-networking.html) Questa sezione descrive le migliori pratiche per ottimizzare la AI/ML rete in Amazon EKS per migliorare prestazioni e scalabilità, incluse strategie come la selezione di istanze con una larghezza di banda di rete maggiore o Elastic Fabric Adapter (EFA) per la formazione distribuita, l'installazione di strumenti come MPI e NCCL e l'abilitazione della delega dei prefissi per aumentare gli indirizzi IP e migliorare i tempi di avvio dei pod. ### [AI/ML Sicurezza](https://docs.aws.amazon.com/eks/latest/best-practices/aiml-security.html) Questa sezione si concentra sulla protezione dell'archiviazione dei dati e sulla garanzia della conformità per i AI/ML carichi di lavoro su Amazon EKS, incluse pratiche come l'utilizzo di Amazon S3 AWS con Key Management Service (KMS) per la crittografia SSE-KMS lato server (), la configurazione di bucket con chiavi KMS regionali e chiavi S3 Bucket per ridurre i costi, la concessione di autorizzazioni IAM per azioni KMS come la decrittografia dei pod EKS e il controllo con i log. AWS CloudTrail ### [AI/ML Archiviazione](https://docs.aws.amazon.com/eks/latest/best-practices/aiml-storage.html) Questa sezione fornisce le migliori pratiche per ottimizzare lo storage nei AI/ML carichi di lavoro su Amazon EKS, incluse pratiche come la distribuzione di modelli che utilizzano driver CSI per montare servizi come S3, FSx for Lustre o EFS come volumi persistenti, la selezione dello storage in base alle esigenze del carico di lavoro (ad esempio, FSx for Lustre per la formazione distribuita con Scratch-SSD opzioni come or) e l'abilitazione di funzionalità come la compressione e lo striping dei dati. Persistent-SSD ### [AI/ML Osservabilità](https://docs.aws.amazon.com/eks/latest/best-practices/aiml-observability.html) Questa sezione si concentra sul monitoraggio e l'ottimizzazione dell'utilizzo della GPU per i AI/ML carichi di lavoro su Amazon EKS per migliorare l'efficienza e ridurre i costi, incluse strategie come mirare all'utilizzo elevato della GPU con strumenti CloudWatch come Container Insights e NVIDIA integrati DCGM-Exporter con Prometheus e Grafana, e metriche che consigliamo di analizzare per i carichi di lavoro. AI/ML ### [AI/ML Prestazioni](https://docs.aws.amazon.com/eks/latest/best-practices/aiml-performance.html) Questa sezione si concentra sul miglioramento della scalabilità e delle prestazioni delle applicazioni per i AI/ML carichi di lavoro su Amazon EKS attraverso la gestione delle immagini dei container e l'ottimizzazione dell'avvio, incluse pratiche come l'utilizzo di immagini di base piccole e leggere o AWS Deep Learning Containers con build in più fasi, il precaricamento delle immagini tramite snapshot EBS o il preinserimento nella cache di runtime utilizzando o Deployments. DaemonSets ## Architetture di riferimento Esplora questi GitHub repository per architetture di riferimento, codice di esempio e utilità per implementare formazione e inferenza distribuite per carichi di lavoro AI/ML su Amazon EKS e altri servizi. AWS ### [Addestramento distribuito AWSome](https://github.com/aws-samples/awsome-distributed-training) Questo repository offre una raccolta di best practice, architetture di riferimento, esempi di addestramento dei modelli e utilità per addestrare modelli di grandi dimensioni su AWS. Supporta la formazione distribuita con Amazon EKS, inclusi CloudFormation modelli per cluster EKS, build AMI e container personalizzate, casi di test per framework come PyTorch (DDP/FSDPMegatronLM NeMo) e JAX e strumenti per la convalida, l'osservabilità e il monitoraggio delle prestazioni come EFA Prometheus exporter e Nvidia Nsight Systems. ### [Inferenza AWSome](https://github.com/aws-samples/awsome-inference) Questo repository fornisce architetture di riferimento e casi di test per ottimizzare le soluzioni di inferenza AWS, con particolare attenzione ad Amazon EKS e alle istanze EC2 accelerate. Include configurazioni di infrastruttura per cluster VPC ed EKS, progetti per framework come NVIDIA NiMS, Triton Inference Server RayService e TensorRT-LLM, con esempi per modelli come Llama 3.1 405B. Llama3-8B Presenta implementazioni multinodo con K8s LeaderWorkerSet, scalabilità automatica EKS, GPU (MIG) e casi d'uso reali come un bot audio per ASR, inferenza e Multi-Instance TTS. ## Esercitazioni Se si desidera configurare piattaforme e framework di Machine Learning in EKS, è necessario esplorare i tutorial descritti in questa sezione. Questi tutorial coprono tutto, dai modelli per sfruttare al meglio i processori delle GPU alla scelta degli strumenti di modellazione alla creazione di framework per settori specializzati. ### Creare piattaforme di IA generativa su EKS + [Implementazione dei modelli di IA generativa su Amazon EKS](https://aws.amazon.com/blogs/containers/deploy-generative-ai-models-on-amazon-eks/) + [Creazione di JupyterHub piattaforme multi-tenant su Amazon EKS](https://aws.amazon.com/blogs/containers/building-multi-tenant-jupyterhub-platforms-on-amazon-eks/) ### Eseguire framework di IA generativa specializzati su EKS + [Accelera i tuoi carichi di lavoro di formazione generativa distribuita con l'intelligenza artificiale con NVIDIA Framework NeMo su Amazon EKS](https://aws.amazon.com/blogs/machine-learning/accelerate-your-generative-ai-distributed-training-workloads-with-the-nvidia-nemo-framework-on-amazon-eks/) + [ TorchServe In esecuzione su Amazon Elastic Kubernetes Service](https://aws.amazon.com/blogs/opensource/running-torchserve-on-amazon-elastic-kubernetes-service/) ### Massimizzare le prestazioni della GPU NVIDIA per ML su EKS + Implementare la condivisione delle GPU per utilizzare in modo efficiente le GPU NVIDIA per i propri cluster EKS: [Condivisione della GPU su Amazon EKS con time-slicing NVIDIA e istanze EC2 accelerate](https://aws.amazon.com/blogs/containers/gpu-sharing-on-amazon-eks-with-nvidia-time-slicing-and-accelerated-ec2-instances/) + Usa Multi-Instance GPU (MiGS) e microservizi NIM per eseguire più pod per GPU sui tuoi cluster EKS: [Massimizzazione dell'utilizzo della GPU con la Multi-Instance GPU NVIDIA (MIG) su Amazon EKS: utilizzo di più pod per GPU per prestazioni migliorate](https://aws.amazon.com/blogs/containers/maximizing-gpu-utilization-with-nvidias-multi-instance-gpu-mig-on-amazon-eks-running-more-pods-per-gpu-for-enhanced-performance/) + [Crea e distribuisci un sistema di machine learning scalabile su Kubernetes con Kubeflow on AWS](https://aws.amazon.com/blogs/machine-learning/build-and-deploy-a-scalable-machine-learning-system-on-kubernetes-with-kubeflow-on-aws/) ### Eseguire carichi di lavoro di codifica video su EKS + [Distribuzione di contenuti video con GPU frazionarie in container su Amazon EKS](https://aws.amazon.com/blogs/containers/delivering-video-content-with-fractional-gpus-in-containers-on-amazon-eks/) ### Accelerare il caricamento delle immagini per i carichi di lavoro di inferenza + [In che modo è stata H2O.ai ottimizzata e protetta la loro infrastruttura con Karpenter e Bottlerocket AI/ML ](https://aws.amazon.com/blogs/containers/how-h2o-ai-optimized-and-secured-their-ai-ml-infrastructure-with-karpenter-and-bottlerocket/) ### Monitoraggio dei carichi di lavoro ML + [Monitoraggio dei carichi di lavoro delle GPU su Amazon EKS utilizzando servizi open source AWS gestiti](https://aws.amazon.com/blogs/mt/monitoring-gpu-workloads-on-amazon-eks-using-aws-managed-open-source-services/) + [Abilita le metriche GPU basate su pod in Amazon CloudWatch](https://aws.amazon.com/blogs/machine-learning/enable-pod-based-gpu-metrics-in-amazon-cloudwatch/)