Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Datenverarbeitung mit Apache Spark
Apache Spark ist eine einheitliche Analyse-Engine für die Datenverarbeitung in großem Maßstab. Amazon SageMaker bietet vorgefertigte Docker-Images, die Apache Spark und andere Abhängigkeiten enthalten, die zum Ausführen verteilter Datenverarbeitungsaufträge erforderlich sind. Mit dem Amazon SageMaker Python SDK
Ein Code-Repository, das den Quellcode und die Dockerfiles für die Spark-Images enthält, ist auf verfügbarGitHub
Ausführen eines Verarbeitungsauftrags
Sie können die sagemaker.spark.PySparkProcessor
sagemaker.spark.SparkJarProcessor
Das folgende Codebeispiel zeigt, wie Sie einen Verarbeitungsauftrag ausführen, der Ihr PySpark Skript aufruftpreprocess.py
.
from sagemaker.spark.processing import PySparkProcessor spark_processor = PySparkProcessor( base_job_name="spark-preprocessor", framework_version="2.4", role=role, instance_count=2, instance_type="ml.m5.xlarge", max_runtime_in_seconds=1200, ) spark_processor.run( submit_app="preprocess.py", arguments=['s3_input_bucket', bucket, 's3_input_key_prefix', input_prefix, 's3_output_bucket', bucket, 's3_output_key_prefix', output_prefix] )
Einen detaillierten Überblick finden Sie im Beispiel-Notebook Verteilte Datenverarbeitung mit Apache Spark und SageMaker Verarbeiten von . https://sagemaker-examples.readthedocs.io/en/latest/sagemaker_processing/spark_distributed_data_processing/sagemaker-spark-processing.html
Wenn Sie das Amazon SageMaker Python SDK
Weitere Informationen zur Verwendung des SageMaker Python SDK mit Verarbeitungscontainern finden Sie unter Amazon SageMaker Python SDK.