SageMaker Beispiele für Spark für Python (PySpark)

Amazon SageMaker bietet eine Apache Spark-Python-Bibliothek (SageMaker PySpark), mit der Sie Ihre Apache Spark-Anwendungen integrieren können SageMaker. Sie können Apache Spark beispielsweise für die Datenvorverarbeitung sowie SageMaker für Modelltraining und -hosting verwenden. Informationen zur SageMaker Apache Spark-Bibliothek finden Sie unterVerwenden Sie Apache Spark mit Amazon SageMaker.

Herunterladen PySpark

Sie können den Quellcode für die Bibliotheken Python Spark (PySpark) und Scala aus dem SageMaker GitHubSpark-Repository herunterladen.

Anweisungen zur Installation der SageMaker Spark-Bibliothek finden Sie unter einer der folgenden Optionen oder unter SageMaker PySpark.

• Mit Pip installieren:

  pip install sagemaker_pyspark

• Von der Quelle installieren:

  git clone [e-mail]:aws/sagemaker-spark.git
  cd sagemaker-pyspark-sdk
  python setup.py install

• Sie können auch ein neues Notebook in einer Notebook-Instance erstellen, die entweder den Sparkmagic (PySpark) oder den Sparkmagic (PySpark3) Kernel verwendet, und eine Verbindung zu einem Amazon EMR-Remote-Cluster herstellen.

  Anmerkung

  Der Amazon EMR-Cluster muss mit einer IAM-Rolle konfiguriert werden, an die die AmazonSageMakerFullAccess Richtlinie angehängt ist. Weitere Informationen zum Konfigurieren von Rollen für ein EMR-Cluster finden Sie unter Konfigurieren von IAM-Rollen für EMR-Berechtigungen für AWS Services im Amazon EMR Management Guide.

PySpark Beispiele

Beispiele zur Verwendung finden SageMaker PySpark Sie unter:

• Verwenden von Amazon SageMaker mit Apache Spark in Read the Docs.

• SageMaker GitHubSpark-Repository.

Um die Notebooks auf einer Notebook-Instance auszuführen, siehe Beispiel-Notebooks. Informationen zum Ausführen der Notebooks auf Studio finden Sie unter Erstellen oder öffnen Sie ein Amazon SageMaker Studio Classic-Notizbuch.