Visuelle ETLs mit AWS Glue Studio

Mit der einfachen visuellen Oberfläche in AWS Glue Studio können Sie ETL-Aufträge erstellen. Verwenden Sie die Seite Jobs (Aufträge), um neue Aufträge zu erstellen. Sie können auch einen Skripteditor oder ein Notebook verwenden, um direkt mit Code im ETL-Auftragsskript von AWS Glue Studio zu arbeiten.

Auf der Seite Jobs (Aufträge) sehen Sie alle Aufträge, die Sie entweder mit AWS Glue Studio oder AWS Glue erstellt haben. Auf dieser Seite können Sie Ihre Aufträge ansehen, verwalten und ausführen.

Sehen Sie sich auch das Blog-Tutorial zu einem weiteren Beispiel für die Erstellung von ETL-Aufträgen mit AWS Glue Studio an.

Starten von Aufträgen in AWS Glue Studio

AWS Glue ermöglicht es Ihnen, einen Auftrag über eine visuelle Oberfläche, ein interaktives Code-Notebook oder mit einem Skript-Editor zu erstellen. Sie können einen Auftrag starten, indem Sie auf eine der Optionen klicken, oder einen neuen Auftrag basierend auf einem Musterauftrag erstellen.

Beispielaufträge erstellen eine Auftrag mit dem Tool Ihrer Wahl. Mit Beispielaufträgen können Sie beispielsweise einen visuellen ETL-Auftrag erstellen, der CSV-Dateien in einer Katalogtabelle zusammenführt, einen Auftrag in einem interaktiven Code-Notebook mit AWS Glue für Ray oder AWS Glue für Spark erstellen, wenn Sie mit Pandas arbeiten, oder einen Auftrag in einem interaktiven Code-Notebook mit SparkSQL erstellen.

Einen Job AWS Glue Studio von Grund auf neu erstellen

1. Melden Sie sich bei der an AWS Management Console und öffnen Sie die AWS Glue Studio Konsole unter https://console.aws.amazon.com/gluestudio/.

2. Wählen Sie ETL-Aufträge aus dem Navigationsbereich.

3. Wählen Sie im Bereich Auftrag erstellen eine Konfigurationsoption für Ihren Auftrag aus.

   

   Optionen zum Erstellen eines Auftrags von Grund auf:

   • Visuelles ETL – verfassen in einer visuellen Benutzeroberfläche mit Fokus auf den Datenablauf

   • Verfassen mithilfe eines interaktiven Code-Notebooks – Verfassen Sie Aufträge interaktiv in einer Benutzeroberfläche, die auf Jupyter Notebooks basiert

     Wenn Sie diese Option auswählen, müssen Sie zusätzliche Informationen bereitstellen, bevor Sie eine Sitzung zur Erstellung eines Notebooks erstellen. Weitere Informationen zum Angeben dieser Informationen finden Sie unter Erste Schritte mit Notebooks in AWS Glue Studio.

   • Verfassen von Code mit einem Skript-Editor – Wenn Sie mit dem Programmieren und Schreiben von ETL-Skripts vertraut sind, wählen Sie diese Option, um einen neuen Spark ETL-Auftrag zu erstellen. Wählen Sie die Engine (Python-Shell, Ray, Spark (Python) oder Spark (Scala). Wählen Sie dann Neu starten oder Skript hochladen. Hochladen eines vorhandenen Skripts aus einer lokalen Datei. Wenn Sie den Skripteditor verwenden, können Sie den visuellen Auftragseditor zum Designen oder Bearbeiten Ihres Auftrags nicht verwenden.

     Ein Spark-Auftrag wird in einer von verwalteten Apache-Spark-Umgebung ausgeführt AWS Glue. Standardmäßig werden neue Skripte in Python geschrieben. Informationen zum Schreiben eines neuen Scala-Skripts finden Sie unter Erstellen und Bearbeiten von Scala-Skripten in AWS Glue Studio.

Einen Job AWS Glue Studio aus einem Beispieljob erstellen

Sie können einen Auftrag anhand eines Beispielauftrags auswählen. Wählen Sie im Bereich Beispielaufträge einen Beispielauftrag und wählen Sie dann Beispielauftrag erstellen aus. Die Erstellung eines Beispielauftrags aus einer der Optionen stellt eine schnelle Vorlage bereit, mit der Sie arbeiten können.

1. Melden Sie sich bei der an AWS Management Console und öffnen Sie die AWS Glue Studio Konsole unter https://console.aws.amazon.com/gluestudio/.

2. Wählen Sie ETL-Aufträge aus dem Navigationsbereich.

3. Wählen Sie eine Option zum Erstellen eines Auftrags aus einem Beispielauftrag:

   • Visueller ETL-Auftrag zum Zusammenführen mehrerer Quellen – Lesen Sie drei CSV-Dateien, kombinieren Sie die Daten, ändern Sie die Datentypen, schreiben Sie die Daten dann in Amazon S3 und katalogisieren Sie sie zur späteren Abfrage.

   • Spark-Notebook mit Pandas – Erkunden und visualisieren Sie Daten mit dem beliebten Pandas-Framework in Kombination mit Spark.

   • Spark-Notebook mit SQL – Verwenden Sie SQL, um schnell mit Apache Spark zu beginnen. Greifen Sie über den AWS Glue Data Catalog auf Daten zu und transformieren Sie diese mithilfe vertrauter Befehle.

4. Wählen Sie Beispielauftrag erstellen aus.