Scénarios faiblement couplés - Présentation détaillée du calcul hautes performances

Scénarios faiblement couplés

Une charge de travail faiblement couplée implique le traitement d'un grand nombre de plus petites tâches. Généralement, la plus petite tâche s'exécute sur un nœud, en consommant un ou plusieurs processus avec une parallélisation de la mémoire partagée (SMP) pour une parallélisation dans ce nœud.

Les processus parallèles, ou les itérations dans la simulation, sont post-traités afin de créer une solution ou une découverte à partir de la simulation. Les applications faiblement couplées se retrouvent dans bon nombre de domaines, y compris les simulations de Monte-Carlo, le traitement d'images, l'analyse génomique et la conception assistée par ordinateur (CAO).

En règle générale, la perte d'un nœud ou d'une tâche dans une charge de travail faiblement couplée ne retarde pas l'ensemble du calcul. Ainsi, il est à la fois possible de rattraper le travail perdu ultérieurement ou de l'ignorer. Les nœuds impliqués dans le calcul peuvent varier en termes de spécification et de puissance.

Une architecture adaptée à une charge de travail faiblement couplée donne lieu aux considérations suivantes :

  • Réseau : étant donné que les processus parallèles n'interagissent généralement pas régulièrement entre eux, la faisabilité ou les performances des charges de travail n'affectent pas les capacités de bande passante et de latence du réseau entre les instances. Dès lors, les groupes de placement regroupés ne sont pas nécessaires dans ce scénario, étant donné qu'ils affaiblissent la résilience sans apporter de gain de performance.

  • Stockage : les charges de travail faiblement couplées varient en termes de conditions de stockage et sont influencées par la taille de l'ensemble de données et par les performances souhaitées pour le transfert, la lecture et l'écriture des données.

  • Calcul : chaque application est différente. Cependant, en règle générale, son ratio mémoire-calcul influence le type d'instance EC2 sous-jacente. Certaines applications sont optimisées de façon à tirer profit des unités de traitement graphique (GPU) ou d'accélérateurs de circuits logiques programmables (FPGA) sur des instances EC2.

  • Déploiement : les simulations faiblement couplées s'exécutent souvent sur de nombreux (parfois sur des millions) de cœurs de calcul pouvant être répartis sur plusieurs zones de disponibilité, sans devoir sacrifier les performances. Les simulations faiblement couplées peuvent être déployées avec des services et solutions de bout en bout tels que AWS Batch et AWS ParallelCluster, ou par une combinaison de services AWS, tels que Amazon Simple Queue Service (Amazon SQS), Auto Scaling, AWS Lambda et AWS Step Functions.