Comprendre le comportement des applications

Comportement par défaut des applications

Démarrage automatique : une application est configurée par défaut pour démarrer automatiquement lors de la soumission de la tâche. Vous pouvez désactiver cette fonctionnalité.

Arrêt automatique : une application est configurée par défaut pour s'arrêter automatiquement lorsqu'elle est inactive pendant 15 minutes. Lorsqu'une application passe à STOPPED cet état, elle libère toute capacité préinitialisée configurée. Vous pouvez modifier le temps d'inactivité avant l'arrêt automatique d'une application ou désactiver cette fonctionnalité.

Maximum capacity (Capacité maximum)

Vous pouvez configurer la capacité maximale qu'une application peut atteindre. Vous pouvez spécifier votre capacité maximale en termes de CPU mémoire (Go) et de disque (Go).

Note

Nous vous recommandons de configurer votre capacité maximale de manière à ce qu'elle soit proportionnelle à la taille des travailleurs pris en charge en multipliant le nombre de travailleurs par leur taille. Par exemple, si vous souhaitez limiter votre application à 50 travailleurs avec 2vCPUs, 16 Go de mémoire et 20 Go de disque, définissez votre capacité maximale à 100vCPUs, 800 Go pour la mémoire et 1 000 Go pour le disque.

Configurations de travail supportées

Le tableau suivant indique les configurations de travail prises en charge et les tailles que vous pouvez spécifier pour EMR Serverless. Vous pouvez configurer différentes tailles pour les pilotes et les exécuteurs en fonction des besoins de votre charge de travail.

CPU	Mémoire	Stockage éphémère par défaut
1 v CPU	Minimum 2 Go, maximum 8 Go, par incréments de 1 Go	20 GO - 200 GO
2 v CPU	Minimum 4 Go, maximum 16 Go, par incréments de 1 Go	20 GO - 200 GO
4 v CPU	Minimum 8 Go, maximum 30 Go, par incréments de 1 Go	20 GO - 200 GO
8 v CPU	16 Go au minimum, 60 Go au maximum, par incréments de 4 Go	20 GO - 200 GO
16 v CPU	Minimum 32 Go, maximum 120 Go, par incréments de 8 Go	20 GO - 200 GO

CPU— Chaque travailleur peut avoir 1, 2, 4, 8 ou 16vCPUs.

Mémoire — Chaque travailleur dispose de mémoire, spécifiée en Go, dans les limites indiquées dans le tableau précédent. Les tâches Spark ont une surcharge de mémoire, ce qui signifie que la mémoire qu'elles utilisent est supérieure aux tailles de conteneur spécifiées. Cette surcharge est spécifiée avec les propriétés spark.driver.memoryOverhead etspark.executor.memoryOverhead. La surcharge a une valeur par défaut de 10 % de la mémoire du conteneur, avec un minimum de 384 Mo. Vous devez tenir compte de ces frais généraux lorsque vous choisissez la taille des travailleurs.

Par exemple, si vous choisissez 4 vCPUs pour votre instance de travail et une capacité de stockage préinitialisée de 30 Go, vous devez définir une valeur d'environ 27 Go comme mémoire d'exécuteur pour votre tâche Spark. Cela maximise l'utilisation de votre capacité pré-initialisée. La mémoire utilisable serait de 27 Go, plus 10 % de 27 Go (2,7 Go), pour un total de 29,7 Go.

Disque : vous pouvez configurer chaque travailleur avec des disques de stockage temporaires d'une taille minimale de 20 Go et maximale de 200 Go. Vous ne payez que pour le stockage supplémentaire au-delà de 20 Go que vous configurez par utilisateur.