Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Daten verarbeiten
Sie können Ihre Daten verarbeiten oder an einen Ort exportieren, der für Ihre Workflows für maschinelles Lernen geeignet ist. Sie können die transformierten Daten beispielsweise als SageMaker Canvas-Datensatz exportieren und daraus ein Modell für maschinelles Lernen erstellen.
Nachdem Sie Ihre Daten exportiert haben, können Sie Modell erstellen auswählen, um aus Ihren Daten ein Modell für maschinelles Lernen zu erstellen. Weitere Informationen zum Erstellen eines Modells finden Sie unter Erstellen eines benutzerdefinierten Modells.
Wichtig
Beachten Sie, dass SageMaker Canvas-Datasets ein Limit von 5 GB haben. Wenn Sie mehr als 5 GB an Daten verarbeiten, können Sie eine Stichprobentransformation verwenden, um die Größe des Datensatzes zu reduzieren, bevor Sie ihn exportieren. Alternativ können Sie größere Datensätze nach Amazon S3 exportieren. Weitere Informationen zum Importieren von Datensätzen finden Sie unter. Erstellen eines Datensatzes
Bei der interaktiven Arbeit mit Daten innerhalb eines Data Wrangler-Datenflusses wendet SageMaker Canvas die Transformationen nur auf einen Beispieldatensatz an, sodass Sie eine Vorschau anzeigen können. Um alle importierten Daten zu verarbeiten, können Sie Daten exportieren wählen. Wenn Sie zur Verarbeitung großer Datenmengen auf mehrere Recheninstanzen skalieren müssen, wählen SieExportieren Sie Daten mithilfe eines Verarbeitungsauftrags. Wenn Sie den Datenfluss exportieren und mit einem Jupyter-Notebook als Teil eines Workflows für maschinelles Lernen ausführen möchten, können Sie Datenfluss exportieren wählen.
Daten exportieren
Exportieren Sie Daten, um die Transformationen aus Ihrem Datenfluss auf den gesamten importierten Datensatz anzuwenden. Sie können jeden Knoten in Ihrem Datenfluss an die folgenden Speicherorte exportieren:
-
SageMaker Canvas-Datensatz
-
Amazon S3
Für Amazon S3 können Sie Ihre Daten als einen der folgenden Dateitypen exportieren:
-
CSV
-
Parquet
Sie können Ihre transformierten Daten (bis zu 5 GB) als SageMaker Canvas-Datensatz exportieren, um ein Modell zu erstellen. Gehen Sie wie folgt vor, um einen SageMaker Canvas-Datensatz aus einem Knoten in Ihrem Datenfluss zu exportieren.
Um einen Knoten in Ihrem Flow als SageMaker Canvas-Datensatz zu exportieren
-
Navigieren Sie zu Ihrem Datenfluss.
-
Wählen Sie das Pluszeichen (+) neben dem Knoten aus, den Sie exportieren.
-
Wählen Sie Daten exportieren aus.
-
Wählen Sie Canvas-Datensatz aus.
-
Wählen Sie Export aus.
Exportieren Sie Ihren Datensatz nach Amazon S3, um Ihre transformierten Daten in maschinellen Lern-Workflows außerhalb von SageMaker Canvas zu verwenden.
Um einen Knoten in Ihrem Flow nach Amazon S3 zu exportieren
-
Navigieren Sie zu Ihrem Datenfluss.
-
Wählen Sie das Pluszeichen (+) neben dem Knoten aus, den Sie exportieren.
-
Wählen Sie Daten exportieren aus.
-
Wählen Sie Amazon S3.
-
Geben Sie Werte für folgende Felder ein:
-
Amazon S3 S3-Speicherort — der S3-Speicherort, an den Sie die Datei exportieren. Sie können die S3-URI, den Alias oder den ARN eines Amazon S3 S3-Standorts oder Access Points eingeben. Weitere Informationen zu Amazon S3 S3-Zugriffspunkten finden Sie unter Amazon S3 S3-Zugriffspunkte im Amazon S3 S3-Benutzerhandbuch.
-
Dateityp – Das Format der zu exportierenden Datei.
-
Trennzeichen — der Wert, der zum Trennen von Werten in der Datei verwendet wird.
-
Komprimierung (optional) — Die Komprimierungsmethode, die zur Reduzierung der Dateigröße verwendet wird. Sie können die folgenden Komprimierungsmethoden verwenden:
-
None
-
bzip2
-
deflate
-
gzip
-
-
KMS-Schlüssel-ID oder ARN (optional) — Ein ARN oder eine ID eines AWS KMS Schlüssels. Ein KMS-Schlüssel ist ein kryptografischer Schlüssel. Mit dem Schlüssel können Sie die Ausgabedaten des Jobs verschlüsseln. Weitere Informationen zu KMS-Schlüsseln finden Sie unter AWS Key Management Service.
-
-
Wählen Sie Export aus.
Exportieren Sie Daten mithilfe eines Verarbeitungsauftrags
Erstellen Sie einen SageMaker Amazon-Verarbeitungsauftrag, um die Verarbeitung großer Datensätze mit mehreren Recheninstanzen unter Verwendung Ihres Datenflusses zu beschleunigen.
Gehen Sie wie folgt vor, um einen SageMaker Verarbeitungsauftrag zu erstellen:
-
Erstellen Sie einen Zielknoten
-
Erstellen eines Auftrags
Ein Zielknoten teilt SageMaker Canvas mit, wo die verarbeiteten Daten gespeichert werden sollen. Sie erstellen einen Verarbeitungsauftrag, um die transformierten Daten an dem vom Zielknoten angegebenen Speicherort auszugeben. Die Erstellung eines Verarbeitungsauftrags wird auf die Rechenressourcen skaliert, die für die Transformation der Daten und die Ausgabe in Amazon S3 angegeben wurden.
Mit einem Zielknoten können Sie einige oder alle der Transformationen exportieren, die Sie in Ihrem Data-Wrangler-Flow vorgenommen haben.
Sie können mehrere Zielknoten verwenden, um verschiedene Transformationen oder Mengen davon zu exportieren. Das folgende Beispiel zeigt zwei Zielknoten in einem einzigen Data-Wrangler-Flow.
Gehen Sie wie folgt vor, um einen Zielknoten zu erstellen.
Um Zielknoten zu erstellen
-
Wählen Sie das + neben den Knoten aus, die die zu exportierenden Transformationen darstellen.
-
Wählen Sie Add destination (Ziel hinzufügen).
-
Wählen Sie Amazon S3.
-
Geben Sie die folgenden Felder an.
-
Datensatzname – Der Name, den Sie für den zu exportierenden Datensatz angeben.
-
Dateityp – Das Format der zu exportierenden Datei.
-
Trennzeichen — Der Wert, der verwendet wird, um andere Werte voneinander zu trennen.
-
Komprimierung (nur CSV- und Parquet-Dateien) – Die Komprimierungsmethode, mit der die Dateigröße reduziert wird. Sie können die folgenden Komprimierungsmethoden verwenden:
-
bzip2
-
deflate
-
gzip
-
-
Amazon S3 S3-Speicherort — Der S3-Speicherort, den Sie für die Ausgabe der Dateien verwenden.
-
(Optional) Anzahl der Partitionen – Die Anzahl der Datensätze, die Sie als Ausgabe des Processing-Jobs schreiben.
-
(Optional) nach Spalten partitionieren – Schreibt alle Daten mit demselben eindeutigen Wert aus der Spalte.
-
-
Wählen Sie Add destination (Ziel hinzufügen).
Sie können mehrere Zielknoten innerhalb desselben Datenflusses erstellen. Wenn Sie einen Verarbeitungsauftrag erstellen, kann er gleichzeitig verschiedene Transformationen an Ihren Daten durchführen und sie an verschiedenen Amazon S3 S3-Speicherorten speichern.
Datenfluss exportieren
Beim Exportieren Ihres Datenflusses werden die Operationen, die Sie in Data Wrangler durchgeführt haben, übersetzt und in ein Jupyter-Notizbuch exportiert, das Sie ändern und ausführen können.
Ein Datenfluss besteht aus einer Reihe von Datenvorbereitungsschritten, die Sie an Ihren Daten durchgeführt haben. Bei Ihrer Datenaufbereitung führen Sie an Ihren Daten eine oder mehrere Transformationen durch. Jede Transformation wird mit einem Transformationsschritt durchgeführt. Der Flow besteht aus einer Reihe von Knoten, die den Import Ihrer Daten und die von Ihnen durchgeführten Transformationen darstellen. Ein Beispiel für Knoten sehen Sie in der folgenden Abbildung.
Als Alternative zur Verwendung eines Zielknotens können Sie die Option Datenfluss exportieren verwenden, um Ihren Data Wrangler-Fluss mithilfe eines Jupyter-Notebooks nach Amazon S3 zu exportieren. Sie können den Ausgabecode in Ihre Machine-Learning-Pipelines integrieren. Sie können einen beliebigen Datenknoten in Ihrem Datenfluss auswählen und exportieren. Beim Exportieren des Datenknotens wird die Transformation exportiert, die der Knoten darstellt, sowie die Transformationen, die ihm vorausgehen.
Gehen Sie wie folgt vor, um ein Jupyter-Notizbuch zu generieren und es auszuführen, um Ihren Datenfluss nach Amazon S3 zu exportieren.
-
Wählen Sie das + neben dem Knoten aus, die Sie exportieren möchten.
-
Wählen Sie Datenfluss exportieren.
-
Wählen Sie eine der folgenden Optionen aus:
-
Speichern Sie auf Amazon S3 (über das Jupyter-Notizbuch).
-
Amazon Personalize.
-
-
Wählen Sie eine der folgenden Optionen:
-
Laden Sie eine lokale Kopie herunter
-
An einen S3-Speicherort exportieren
-
-
Wenn Sie nach Amazon S3 exportieren, geben Sie den S3-Speicherort an, an den Sie das Notizbuch exportieren möchten.
-
Wählen Sie Export aus.
Erstellen Sie einen Zeitplan für die automatische Verarbeitung neuer Daten
Wenn Sie regelmäßig Daten verarbeiten, können Sie einen Zeitplan für die automatische Ausführung des Processing-Jobs erstellen. Sie können z. B. einen Zeitplan erstellen, der einen Processing-Job automatisch ausführt, wenn Sie neue Daten erhalten. Weitere Informationen zur Verarbeitung von Aufträgen finden Sie unterExportieren Sie Daten mithilfe eines Verarbeitungsauftrags.
Wenn Sie einen Job erstellen, müssen Sie eine IAM-Rolle angeben, die über Berechtigungen zum Erstellen des Jobs verfügt. Sie können die AmazonSageMakerCanvasDataPrepFullAccessRichtlinie verwenden, um Berechtigungen hinzuzufügen.
Fügen Sie der Rolle die folgende Vertrauensrichtlinie hinzu, EventBridge damit sie übernommen werden kann.
{ "Effect": "Allow", "Principal": { "Service": "events.amazonaws.com" }, "Action": "sts:AssumeRole" }
Wichtig
Wenn Sie einen Zeitplan erstellen, erstellt Data Wrangler einen eventRule
in. EventBridge Es fallen Gebühren sowohl für die von Ihnen erstellten Ereignisregeln als auch für die Instances an, die zur Ausführung des Processing-Jobs verwendet werden.
Informationen zur EventBridge Preisgestaltung finden Sie unter EventBridge Amazon-Preise
Sie können mithilfe einer der folgenden Methoden einen Zeitplan erstellen:
-
Anmerkung
Data Wrangler unterstützt die folgenden Ausdrücke nicht:
-
LW#
-
Abkürzungen für Tage
-
Abkürzungen für Monate
-
-
Wiederkehrende – Legen Sie ein stündliches oder tägliches Intervall für die Ausführung des Jobs fest.
-
Bestimmte Zeit – Legen Sie bestimmte Tage und Uhrzeiten für die Ausführung des Jobs fest.
In den folgenden Abschnitten finden Sie Verfahren zum Erstellen von Jobs.
Sie können den verwenden SageMaker AWS Management Console , um die Jobs anzuzeigen, deren Ausführung geplant ist. Ihre Verarbeitungsaufträge werden innerhalb von SageMaker Pipelines ausgeführt. Jeder Processing-Job hat seine eigene Pipeline. Er wird als Verarbeitungsschritt innerhalb der Pipeline ausgeführt. Sie können sich die Zeitpläne anzeigen lassen, die Sie in einer Pipeline erstellt haben. Weitere Informationen zum Anzeigen einer Pipeline finden Sie unter Anzeigen einer Pipeline.
Gehen Sie wie folgt vor, um sich die von Ihnen geplanten Jobs anzeigen zu lassen.
Gehen Sie wie folgt vor, um sich die von Ihnen geplanten Jobs anzeigen zu lassen.
-
Öffnen Sie Amazon SageMaker Studio Classic.
-
Öffnen Sie SageMaker Pipelines
-
Sehen Sie sich die Pipelines für die Jobs an, die Sie erstellt haben.
Die Pipeline, in der der Job ausgeführt wird, verwendet den Namen des Jobs als Präfix. Wenn Sie z. B. einen Job mit dem Namen
housing-data-feature-enginnering
erstellt haben, lautet der Name der Pipelinecanvas-data-prep-housing-data-feature-engineering
. -
Wählen Sie die Pipeline aus, die Ihren Job enthält.
-
Status der Pipelines anzeigen. Pipelines mit dem Status Erfolgreich haben den Processing-Job erfolgreich ausgeführt.
Gehen Sie wie folgt vor, um die Ausführung des Processing-Jobs zu beenden:
Um die Ausführung eines Processing-Jobs zu beenden, löschen Sie die Ereignisregel, die den Zeitplan angibt. Indem eine Ereignisregel gelöscht wird, werden keine mit dem Zeitplan verknüpften Jobs mehr ausgeführt. Informationen zum Löschen einer Regel finden Sie unter EventBridge Amazon-Regel deaktivieren oder löschen.
Sie können die mit den Zeitplänen verknüpften Pipelines auch beenden und löschen. Informationen zum Stoppen einer Pipeline finden Sie unter StopPipelineExecution. Hinweise zum Löschen einer Pipeline finden Sie unter DeletePipeline.
Passen Sie die Transformationen erneut an den gesamten Datensatz an und exportieren Sie sie
Wenn Sie Daten importieren, verwendet Data Wrangler eine Stichprobe der Daten, um die Kodierungen anzuwenden. Data Wrangler verwendet die ersten 20.000 Zeilen als Stichprobe.
Die folgenden Transformationen können Ihre Daten verwenden, um eine Spalte im Datensatz zu erstellen:
Wenn Sie zum Importieren Ihrer Daten Stichproben verwendet haben, verwenden die vorangehenden Transformationen nur die Daten aus der Stichprobe, um die Spalte zu erstellen. Bei der Transformation wurden ggf. nicht alle relevanten Daten verwendet. Wenn Sie z. B. die Transformation Encode Categorical verwenden, gab es im gesamten Datensatz möglicherweise eine Kategorie, die in der Stichprobe nicht enthalten war.
Sie können die Transformationen entweder mit Hilfe eines Zielknotens oder eines Jupyter Notebooks an den gesamten Datensatz anpassen. Wenn Data Wrangler die Transformationen im Flow exportiert, erstellt es einen Verarbeitungsjob. SageMaker Wenn der Processing-Job abgeschlossen ist, speichert Data Wrangler die folgenden Dateien entweder am Standardspeicherort in Amazon S3 oder an einem von Ihnen angegebenen S3-Speicherort:
-
Die Data-Wrangler-Flow-Datei, die die Transformationen angibt, die erneut an den Datensatz angepasst werden
-
Der Datensatz, auf den die angepassten Transformationen angewendet wurden
Sie können eine Data Wrangler-Flow-Datei in SageMaker Canvas öffnen und die Transformationen auf einen anderen Datensatz anwenden. Wenn Sie die Transformationen z. B. auf einen Trainingsdatensatz angewendet haben, können Sie die Data-Wrangler-Flow-Datei öffnen und sie dafür verwenden, die Transformationen auf einen Datensatz anzuwenden, der zur Inference verwendet wird.
Gehen Sie wie folgt vor, um ein Jupyter Notebook auszuführen, die Transformationen neu anzupassen und die Daten zu exportieren.
Gehen Sie wie folgt vor, um ein Jupyter Notebook auszuführen, die Transformationen neu anzupassen und Ihren Data-Wrangler-Flow zu exportieren.
-
Wählen Sie das + neben dem Knoten aus, die Sie exportieren möchten.
-
Klicken Sie auf Exportieren nach.
-
Wählen Sie den Speicherort aus, an den Sie die Daten exportieren möchten.
-
Stellen Sie für das
refit_trained_params
Objektrefit
aufTrue
ein. -
Geben Sie für das
output_flow
Feld den Namen der Ausgabe-Flow-Datei mit den angepassten Transformationen an. -
Führen Sie das Jupyter Notebook aus.