View a markdown version of this page

Présentation de l'intelligence artificielle et du Machine Learning sur Amazon EKS - Amazon EKS
Pourquoi utiliser Amazon EKS pour AI/MLPrincipaux cas d’utilisationÉtudes de casStructure du guideCommencez à utiliser AI/ML sur Amazon EKS

Aidez à améliorer cette page

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Pour contribuer à ce guide de l'utilisateur, cliquez sur le GitHub lien Modifier cette page sur qui se trouve dans le volet droit de chaque page.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Présentation de l'intelligence artificielle et du Machine Learning sur Amazon EKS

Astuce

Inscrivez-vous aux prochains AI/ML ateliers Amazon EKS.

Amazon Elastic Kubernetes Service (Amazon EKS) est un service Kubernetes géré qui permet aux entreprises de déployer, de gérer et de faire évoluer les charges de travail liées à l'intelligence artificielle (IA) et à l'apprentissage automatique (ML) avec une flexibilité et un contrôle inégalés. Amazon EKS étant basé sur Kubernetes en amont, vous pouvez appliquer votre expertise Kubernetes existante tout en vous intégrant parfaitement aux outils et services open source. AWS

Que vous entraîniez des modèles à grande échelle, que vous exécutiez des inférences en ligne en temps réel ou que vous déployiez des applications d'IA générative, Amazon EKS fournit les performances, l'évolutivité et la rentabilité qu'exigent vos AI/ML projets.

Pourquoi utiliser Amazon EKS pour AI/ML

Amazon EKS fournit le contrôle, les intégrations, les performances et l'évolutivité nécessaires aux AI/ML projets. Construit sur Kubernetes en amont et intégré aux services AWS , Amazon EKS vous aide à utiliser l'expertise existante de Kubernetes tout en orchestrant des charges de travail complexes. Pour les équipes qui débutent dans le domaine AI/ML des déploiements, les compétences Kubernetes existantes sont transférées sans avoir à apprendre trop vite.

Amazon EKS prend en charge tout, de la personnalisation du système d'exploitation à la mise à l'échelle du calcul, et promeut la flexibilité technologique qui préserve le choix pour les décisions futures en matière d'infrastructure. La plate-forme fournit les options de performance et de réglage requises par les AI/ML charges de travail, notamment les fonctionnalités suivantes :

  • Contrôle complet du cluster : Fine-tune coûts et configurations sans abstractions cachées.

  • Sub-second latence : exécutez des charges de travail d'inférence en temps réel en production.

  • Personnalisations avancées : configurez les GPU multi-instances, le réglage du réseau et le réglage au niveau du système d'exploitation.

  • Orchestration unifiée : orchestrez l'ensemble des AI/ML pipelines et des environnements sur site, en périphérie et dans le cloud.

  • Optimisation des coûts : utilisez le dimensionnement automatique, la planification GPU native et divers types d'instances de GPU et d'accélérateurs.

Principaux cas d’utilisation

Amazon EKS prend en charge un large éventail de AI/ML charges de travail, notamment les cas d'utilisation courants suivants :

  • Inférence : Self-host modèles sur Amazon EKS pour les cas d'utilisation nécessitant des temps de réponse à faible latence.

  • Inférence par lots : traitez efficacement de grands ensembles de données grâce à des tâches planifiées.

  • Entraînement des modèles : entraînez des modèles complexes sur de grands ensembles de données sur de longues périodes.

  • Ajustement des modèles : améliorez les modèles open source grâce à des connaissances de domaine exclusives.

  • Pipelines de génération augmentée (RAG) : intégrez les processus de récupération et de génération.

  • Agentic AI : déployez des agents avec des modèles hébergés sur Amazon Bedrock, des tiers ou sur Amazon EKS.

Études de cas

Les clients choisissent Amazon EKS pour diverses raisons, telles que l'optimisation de l'utilisation du GPU ou l'exécution de charges de travail d'inférence avec une latence inférieure à une seconde, comme le montrent les études de cas suivantes. Pour obtenir la liste de toutes les études de cas relatives à Amazon EKS, consultez la rubrique Témoignages clients AWS.

  • BMW Group exploite l'une des plus grandes flottes connectées au monde, avec plus de 25 millions de véhicules connectés. Il a développé sa plateforme d'IA connectée sur Amazon EKS avec Ray pour la formation distribuée et Karpenter pour le dimensionnement automatique du GPU, réduisant ainsi le temps d'entraînement des modèles de quelques heures à 30 minutes à 5€ par cycle de formation, tout en soutenant plus de 550 développeurs dans plus de 60 cas d'utilisation de l'IA.

  • Booking.com, l'une des principales plateformes de voyage au monde, a migré son système d'inférence ML pour le classement des recherches vers Amazon EKS afin de bénéficier de l'évolutivité nécessaire à l'expérimentation, en traitant jusqu'à 250 000 requêtes par seconde avec une latence de 40 ms p99,9.

  • Unitary traite 26 millions de vidéos par jour en utilisant l'IA pour modérer le contenu. L'entreprise a besoin d'une inférence à haut débit et à faible latence et a réussi à réduire de 80 % les temps de démarrage des conteneurs, ce qui garantit une réponse rapide aux événements de dimensionnement liés aux fluctuations du trafic.

  • Synthesia propose un service de création vidéo générative basé sur l'intelligence artificielle permettant aux clients de créer des vidéos réalistes à partir d'instructions textuelles. L'entreprise a multiplié par 30 le débit de formation des modèles ML.

  • Ada Support, une société d'automatisation AI-powered du service client, a réussi à réduire de 15 % ses coûts de calcul tout en augmentant de 30 % son efficacité informatique.

  • Snorkel AI permet aux entreprises de créer et d'adapter des modèles de base et de grands modèles linguistiques. L'entreprise a réalisé des économies de coûts de plus de 40 % en mettant en œuvre des mécanismes de dimensionnement intelligents pour les ressources GPU.

  • Artera utilise Amazon Elastic File System (Amazon EFS) et Amazon EKS pour former des modèles de machine learning qui personnalisent le traitement du cancer à l'aide d'images de biopsie haute résolution.

  • Anthropic utilise sa gamme phare de modèles de base Claude sur Amazon EKS et exploite certains des plus grands clusters EKS en production, composés d'instances AWS Trainium (trn2) et de GPU NVIDIA pour les charges de travail d'IA, ainsi que de processeurs AWS Graviton pour le traitement des données intensif en termes de processeur.

Structure du guide

Le guide comprend une série de guides pratiques que vous pouvez suivre étape par étape pour déployer et gérer les AI/ML charges de travail sur Amazon EKS. Chaque guide fournit des instructions et des configurations que vous pouvez implémenter directement dans votre environnement.

Outre les instructions, le guide fournit le contexte et les concepts fondamentaux nécessaires pour chaque sujet. Il inclut également des liens vers la AWS documentation et les ressources pertinentes pour les détails techniques plus approfondis nécessaires.

Commencez à utiliser AI/ML sur Amazon EKS

Pour commencer à planifier et à utiliser les AI/ML plateformes et les charges de travail sur Amazon EKS, suivez la Configuration du cluster Amazon EKS pour les charges AI/ML de travail section pour créer un cluster Amazon EKS, y compris les composants Kubernetes requis, dans votre compte. AWS Une fois que votre environnement est opérationnel, vous pouvez passer aux étapes suivantes :