Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Lancement d'une application Spark à l'aide de l'intégration Amazon Redshift pour Apache Spark
Pour les EMR versions 6.4 à 6.9 d'Amazon, vous devez utiliser l'--packages
option --jars
ou pour spécifier lequel des JAR fichiers suivants vous souhaitez utiliser. L'--jars
option spécifie les dépendances stockées localementHDFS, dans ou à l'aide de HTTP /S. Pour connaître les autres emplacements de fichiers pris en charge par l'--jars
option, consultez la section Gestion avancée des dépendances--packages
spécifie les dépendances stockées dans le référentiel public de Maven.
-
spark-redshift.jar
-
spark-avro.jar
-
RedshiftJDBC.jar
-
minimal-json.jar
EMRLes versions 6.10.0 et ultérieures d'Amazon ne nécessitent pas cette minimal-json.jar
dépendance et installent automatiquement les autres dépendances sur chaque cluster par défaut. Les exemples suivants montrent comment lancer une application Spark avec l'intégration Amazon Redshift pour Apache Spark.