Configuration de Spark
Vous pouvez configurer Spark sur Amazon EMR
Les classifications de configuration pour Spark sur Amazon EMR incluent :
-
spark
– Définit la propriétémaximizeResourceAllocation
sur la valeur true ou false. Lorsque la valeur est true, Amazon EMR configure automatiquement les propriétésspark-defaults
en fonction de la configuration matérielle du cluster. Pour de plus amples informations, veuillez consulter Utilisation de maximizeResourceAllocation. -
spark-defaults
– Définit les valeurs dans le fichierspark-defaults.conf
. Pour plus d'informations, consultez Configuration Sparkdans la documentation Spark. -
spark-env
– Définit les valeurs dans le fichierspark-env.sh
. Pour plus d'informations, consultez Variables d'environnementdans la documentation Spark. -
spark-hive-site
– Définit les valeurs dans lehive-site.xml
pour Spark. -
spark-log4j
: (Amazon EMR versions 6.7.x et antérieures) définit les valeurs dans le fichierlog4j.properties
. Pour plus d'informations, consultez le fichier log4j.properties.templatesur Github. -
spark-log4j2
: (Amazon EMR versions 6.8.0 et supérieures) définit les valeurs du fichierlog4j2.properties
. Pour plus d'informations, consultez le fichier log4j2.properties.templatesur Github. -
spark-metrics
– Définit les valeurs dans le fichiermetrics.properties
. Pour les paramètres et plus d'informations, consultez le fichier metrics.properties.templatesur Github, et Métriques dans la documentation Spark.
Note
Si vous migrez des charges de travail Spark vers Amazon EMR depuis une autre plateforme, nous vous recommandons de tester vos charges de travail avec le Valeurs Spark par défaut définies par Amazon EMR avant d'ajouter des configurations personnalisées. La plupart des clients constatent une amélioration des performances grâce à nos paramètres par défaut.
Rubriques
- Valeurs Spark par défaut définies par Amazon EMR
- Configuration du récupérateur de mémoire Spark sur Amazon EMR 6.1.0
- Utilisation de maximizeResourceAllocation
- Configuration du comportement de mise hors service du nœud
- Variable d'environnement ThriftServer Spark
- Modification des paramètres Spark par défaut
- Migration d'Apache Log4j 1.x vers Log4j 2.x
Valeurs Spark par défaut définies par Amazon EMR
La table suivante illustre comment Amazon EMR définit les valeurs par défaut dans spark-defaults
qui affectent les applications.
Valeurs Spark par défaut définies par Amazon EMR | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Paramètre | Description | Valeur par défaut | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark.executor.memory |
Quantité de mémoire à utiliser par processus d'exécution. Par exemple, |
Ce paramètre est déterminé par les types d'instance de noyau et de tâche dans le cluster. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark.executor.cores |
Le nombre de cœurs à utiliser sur chaque exécuteur. |
Ce paramètre est déterminé par les types d'instance de noyau et de tâche dans le cluster. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark.dynamicAllocation.enabled |
Lorsque cela est vrai, utilisez l'allocation dynamique des ressources pour augmenter ou réduire le nombre d'exécuteurs enregistrés avec une application en fonction de la charge de travail. |
NoteLe service Spark réorganisé est automatiquement configuré par Amazon EMR. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark.sql.hive.advancedPartitionPredicatePushdown.enabled |
Lorsque c'est vrai, le transfert avancé des prédicats de partition vers le métastore Hive est activé. |
true |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark.sql.hive.stringLikePartitionPredicatePushdown.enabled |
Pousse vers le bas les filtres NoteGlue ne prend pas en charge le push down des prédicats pour |
true |
Configuration du récupérateur de mémoire Spark sur Amazon EMR 6.1.0
La définition de configurations personnalisées de récupérateur de mémoire avec spark.driver.extraJavaOptions
et spark.executor.extraJavaOptions
entraîne un échec du lancement du pilote ou de l'exécuteur avec Amazon EMR 6.1 en raison d'une configuration de récupérateur de mémoire conflictuelle avec Amazon EMR 6.1.0. Pour Amazon EMR 6.1.0, la configuration de récupérateur de mémoire par défaut est définie via spark.driver.defaultJavaOptions
et spark.executor.defaultJavaOptions
. Cette configuration s'applique uniquement à Amazon EMR 6.1.0. Les options de la JVM non liées au récupérateur de mémoire, telles que celles permettant de configurer le journal (-verbose:class
), peuvent toujours être définies via extraJavaOptions
. Pour plus d'informations, consultez Propriétés de l'application Spark.
Utilisation de maximizeResourceAllocation
Pour configurer vos exécuteurs afin qu'ils utilisent le maximum de ressources possibles sur chaque nœud d'un cluster, définissez maximizeResourceAllocation
sur true
dans votre classification de configuration spark
. maximizeResourceAllocation
est spécifique à Amazon EMR. Lorsque vous activez maximizeResourceAllocation
, EMR calcule les ressources de calcul et de mémoire maximales disponibles pour un exécuteur sur une instance du groupe d'instances principales. Il définit ensuite les paramètres correspondants spark-defaults
en fonction des valeurs maximales calculées.
Note
Vous ne devez pas utiliser l'option maximizeResourceAllocation
sur des clusters avec d'autres applications distribuées telles que HBase. Amazon EMR utilise des configurations YARN personnalisées pour les applications distribuées, qui peuvent entrer en conflit avec maximizeResourceAllocation
et faire échouer les applications Spark.
Ce qui suit est un exemple de classification de configuration Spark avec maximizeResourceAllocation
défini sur true
.
[ { "Classification": "spark", "Properties": { "maximizeResourceAllocation": "true" } } ]
Paramètres configurés dans spark-defaults lorsque maximizeResourceAllocation est activé | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Paramètre | Description | Valeur | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark.default.parallelism | Nombre par défaut de partitions dans DDR renvoyées par des transformations telles que join, reduceByKey et parallelize lorsque l'utilisateur ne s'occupe pas de la définition. |
2X nombre de cœurs de processeurs disponibles sur des conteneurs YARN. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark.driver.memory | Volume de mémoire à utiliser pour le processus de pilote, c'est-à-dire où SparkContext est initialisé. (par exemple, 1g, 2g) |
Le paramétrage est configuré en fonction des types d'instances dans le cluster. Cependant, parce que l'application de pilote Spark peut s'exécuter soit sur le maître, soit sur une des instances principales (par exemple, dans le client YARN et les modes cluster, respectivement), la définition dépend du plus petit des types d'instance dans ces deux groupes d'instances. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark.executor.memory | Volume de mémoire à utiliser par les processus de l'exécuteur. (par exemple, 1g, 2g) |
Le paramétrage est configuré en fonction des types d'instances de noyau et de tâches dans le cluster. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark.executor.cores | Le nombre de cœurs à utiliser sur chaque exécuteur. | Le paramétrage est configuré en fonction des types d'instances de noyau et de tâches dans le cluster. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark.executor.instances | Le nombre d'exécuteurs. |
Le paramétrage est configuré en fonction des types d'instances de noyau et de tâches dans le cluster. Définissez, sauf si |
Configuration du comportement de mise hors service du nœud
Lorsque vous utilisez Amazon EMR version 5.9.0 ou ultérieure, Spark sur Amazon EMR inclut un ensemble de fonctionnalités qui permettent de s'assurer que Spark gère plus élégamment la terminaison des nœuds suite à un redimensionnement manuel ou à une demande de stratégie de dimensionnement automatique. Amazon EMR implémente un mécanisme de liste de refus dans Spark par-dessus le mécanisme de mise hors service de YARN. Ce mécanisme aide à garantir qu'aucune nouvelle tâche n'est planifiée sur un nœud qui est mis hors service, tout en autorisant dans le même temps que les tâches déjà en cours d'exécution se terminent. En outre, il existe des fonctionnalités qui permettent de rétablir les tâches Spark plus rapidement en cas de perte de blocs aléatoires lors de la terminaison d'un nœud. Le processus de recalcul est déclenché plus tôt et optimisé pour un recalcul plus rapide avec moins de tentatives d'étape ; en outre, il est possible d'empêcher l'échec des tâches dû aux défaillances d'extraction provoquées par les blocs aléatoires manquants.
Important
Le paramètre spark.decommissioning.timeout.threshold
a été ajouté dans la version 5.11.0 d'Amazon EMR pour améliorer la résilience de Spark lorsque vous utilisez des instances Spot. Dans les versions précédentes, lorsqu'un nœud utilise une instance Spot et que l'instance est terminée en raison du prix de l'offre, Spark peut ne pas gérer correctement la terminaison. Les tâches peuvent échouer et les recalculs aléatoires peuvent nécessiter un temps important. Pour cette raison, nous vous conseillons d'utiliser la version 5.11.0 ou une version ultérieure si vous utilisez des instances Spot.
Paramètres de mise hors service d'un nœud Spark | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Paramètre | Description | Valeur par défaut | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Lorsqu'il est défini sur |
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
La durée pendant laquelle un nœud dans l'état |
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Disponible dans Amazon EMR version 5.11.0 ou ultérieure. Indiqué en secondes. Lorsqu'un nœud passe à l'état de mise hors service, si l'hôte est mis hors service au cours d'une durée inférieure ou égale à cette valeur, Amazon EMR placera le nœud sur la liste noire et nettoiera l'état de l'hôte (comme indiqué par |
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Lorsque la valeur est |
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Lorsque la valeur est |
true |
Variable d'environnement ThriftServer Spark
Spark définit la variable d'environnement du port de serveur Thrift Hive, HIVE_SERVER2_THRIFT_PORT
, sur 10001.
Modification des paramètres Spark par défaut
Vous modifiez les paramètres par défaut dans spark-defaults.conf
à l'aide de la classification de configuration spark-defaults
ou du paramètre maximizeResourceAllocation
dans la classification de configuration spark
.
Les procédures suivantes montrent comment modifier les paramètres à l'aide de l'interface de ligne ou de la console.
Pour créer un cluster avec spark.executor.memory défini sur 2g à l'aide de la CLI
-
Créez un cluster avec Spark installé et la valeur
spark.executor.memory
définie sur 2g, à l'aide de la commande suivante, qui fait référence à un fichier,myConfig.json
stocké dans Amazon S3.aws emr create-cluster --release-label
emr-5.36.1
--applications Name=Spark \ --instance-type m5.xlarge --instance-count 2 --service-role EMR_DefaultRole_V2 --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole --configurations https://s3.amazonaws.com/mybucket/myfolder/myConfig.jsonNote
Les caractères de continuation de ligne Linux (\) sont inclus pour des raisons de lisibilité. Ils peuvent être supprimés ou utilisés dans les commandes Linux. Pour Windows, supprimez-les ou remplacez-les par un caret (^).
myConfig.json
:[ { "Classification": "spark-defaults", "Properties": { "spark.executor.memory": "2G" } } ]
Pour créer un cluster avec spark.executor.memory défini sur 2g à l'aide de la console
Accédez à la nouvelle console Amazon EMR et sélectionnez Basculer vers l'ancienne console depuis le menu latéral. Pour plus d'informations sur ce qui vous attend lorsque vous passez à l'ancienne console, consultez la rubrique Utilisation de l'ancienne console.
-
Choisissez Créer un cluster et Go to advanced options (Aller aux options avancées).
-
Choisissez Spark.
-
Sous Edit software settings (Modifier les paramètres logiciels), conservez l'option Enter configuration (Saisir la configuration) et saisissez la configuration suivante :
classification=spark-defaults,properties=[spark.executor.memory=2G]
-
Sélectionnez d'autres options, choisissez , puis Create cluster (Créer un cluster).
Pour définir maximizeResourceAllocation
-
Créez un cluster avec Spark installé et la valeur
maximizeResourceAllocation
définie sur true à l'aide de l'AWS CLI, en faisant référence à un fichier,myConfig.json
stocké dans Amazon S3.aws emr create-cluster --release-label
emr-5.36.1
--applications Name=Spark \ --instance-type m5.xlarge --instance-count 2 --service-role EMR_DefaultRole_V2 --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole --configurations https://s3.amazonaws.com/mybucket/myfolder/myConfig.jsonNote
Les caractères de continuation de ligne Linux (\) sont inclus pour des raisons de lisibilité. Ils peuvent être supprimés ou utilisés dans les commandes Linux. Pour Windows, supprimez-les ou remplacez-les par un caret (^).
myConfig.json
:[ { "Classification": "spark", "Properties": { "maximizeResourceAllocation": "true" } } ]
Note
Avec la version 5.21.0 et ultérieures d'Amazon EMR, vous permet de remplacer les configurations de cluster et de spécifier des classifications de configuration supplémentaires pour chaque groupe d'instances dans un cluster en cours d'exécution. Pour ce faire, vous pouvez utiliser la console Amazon EMR, le AWS Command Line Interface (AWS CLI) ou le AWS SDK. Pour plus d'informations, consultez Fourniture d'une configuration pour un groupe d'instances dans un cluster en cours d'exécution.
Migration d'Apache Log4j 1.x vers Log4j 2.x
Les versions 3.2.x et antérieures d'Apache Sparklog4j.properties
pour configurer Log4j dans les processus Spark. Les versions 3.3.0 et ultérieures d'Apache Spark utilisent Apache Log4j 2.x et le fichier log4j2.properties
pour configurer Log4j dans les processus Spark.
Si vous avez configuré Apache Spark Log4j à l'aide d'une version Amazon EMR inférieure à 6.8.0, vous devez supprimer l'ancienne classification spark-log4j
de configuration et migrer vers la classification de configuration spark-log4j2
et le format de clé avant de pouvoir passer à Amazon EMR 6.8.0 ou version ultérieure. L'ancienne classification spark-log4j
entraîne l'échec de la création de clusters avec une erreur ValidationException
dans les versions 6.8.0 et ultérieures d'Amazon EMR. Aucun frais ne vous sera facturé en cas de panne liée à l'incompatibilité de Log4j, mais vous devez supprimer la classification de configuration obsolète spark-log4j
pour continuer.
Pour plus d'informations sur la migration d'Apache Log4j 1.x vers Log4j 2.x, consultez le Guide de migration d'Apache Log4j
Note
Avec Amazon EMR, Apache Spark utilise un fichier log4j2.properties
plutôt que le fichier .xml décrit dans le Guide de migration d'Apache Log4j