Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Migrieren von Workloads von AWS Data Pipeline zu Step Functions
AWS hat den AWS Data Pipeline Service 2012 eingeführt. Zu diesem Zeitpunkt wollten Kunden einen Service, der es ihnen ermöglicht, eine Vielzahl von Rechenoptionen zu verwenden, um Daten zwischen verschiedenen Datenquellen zu verschieben. Da sich die Datenübertragung im Laufe der Zeit ändern muss, sollten Sie auch die Lösungen für diese Anforderungen haben. Sie haben jetzt die Möglichkeit, die Lösung auszuwählen, die Ihren Geschäftsanforderungen am ehesten entspricht. Sie können z. B. Folgendes machen:
-
Verwenden Sie Step Functions, um Workflows zwischen mehreren zu orchestrieren AWS-Services.
-
Verwenden Sie Amazon Managed Workflows for Apache Airflow (Amazon MWAA), um die Workflow-Orchestrierung für Apache Airflow zu verwalten.
-
Verwenden Sie AWS Glue , um Apache-Spark-Anwendungen auszuführen und zu orchestrieren.
Sie können typische Anwendungsfälle von entweder AWS Data Pipeline zu AWS Glue, Step Functions oder Amazon MWAA migrieren. Die von Ihnen gewählte Option hängt von Ihrem aktuellen Workload auf ab AWS Data Pipeline. In diesem Thema wird erläutert, wie Sie von AWS Data Pipeline zu Step Functions migrieren.
Migrieren von Workloads von AWS Data Pipeline
Step Functions ist ein Serverless-Orchestrierungsservice, bei dem Sie Workflows für geschäftskritische Anwendungen erstellen. Mit Step Functions Workflow Studio können Sie Workflows erstellen und sie in mehr als 11 000 API-Aktionen aus über 250 integrieren AWS-Services. Dazu gehören AWS-Services wie AWS Lambda, Amazon EMR und Amazon DynamoDB . Sie können Step Functions auch verwenden, um Datenverarbeitungspipelines zu orchestrieren, Fehler zu behandeln und mit Drosselungslimits für die zugrunde liegenden zu arbeiten AWS-Services. Sie können Workflows erstellen, die Machine-Learning-Modelle verarbeiten und veröffentlichen, Microservices orchestrieren und ETL-Workflows (Extract, Transform, Load) mit behandeln AWS Glue. Sie können auch lang laufende, automatisierte Workflows für Anwendungen erstellen, die menschliche Interaktion erfordern.
Step Functions ist ein vollständig verwalteter Service, der von bereitgestellt wird AWS. Das bedeutet, dass AWS Aufgaben
Wenn Ihr Anwendungsfall den folgenden Bedingungen entspricht, empfehlen wir Ihnen, von zu Step Functions AWS Data Pipeline zu migrieren:
-
Sie bevorzugen einen serverlosen, hochverfügbaren Workflow-Orchestrierungsservice.
-
Sie benötigen eine Lösung, die mit der Granularität einer einzelnen Aufgabenausführung berechnet.
-
Ihre Workloads beinhalten die Orchestrierung von Aufgaben für mehrere andere AWS-Services, wie Amazon EMR AWS Glue, Lambda oder DynamoDB .
-
Sie benötigen eine Low-Code-Lösung mit einem drag-and-drop visuellen Designer für die Workflow-Erstellung. Diese Lösung sollte nicht erfordern, unbekannte, komplexe Programmierkonzepte zu erlernen.
-
Sie benötigen einen Service, der in über 250 integriert werden kann AWS-Services , die mehr als 11.000 API-Aktionen abdecken. Dieser Service muss auch in benutzerdefinierte Services und Aktivitäten außerhalb von integriert werden AWS.
Konzeptzuordnung zwischen Step Functions und AWS Data Pipeline
AWS Data Pipeline und Step Functions teilen sich einige gängige Konzepte. Um beispielsweise Ihre Workflows zu definieren, verwenden Sie das JSON-Format sowohl in AWS Data Pipeline als auch in Step Functions. In Step Functions verwenden Sie Amazon States Language, eine JSON-basierte, strukturierte Sprache. Sie verwenden Amazon States Language (ASL), um Ihre Workflows zu definieren und zwischen der Text- und der visuellen Darstellung Ihres Workflows zu wechseln. Dieses JSON-basierte Format vereinfacht das Speichern Ihrer Workflows in einem Quellcodeverwaltungs-Tool. Es hilft Ihnen auch, mehrere Versionen Ihrer Workflows zu verwalten, ihren Zugriff zu steuern oder ihre Orchestrierung mit CI/CD-Methoden zu automatisieren.
In der folgenden Tabelle wird die Zuordnung zwischen den wichtigsten Konzepten beschrieben, die in beiden Services verwendet werden. In der Spalte Konzepte für Datenpipelines auf der linken Seite werden die Konzepte in aufgeführt AWS Data Pipeline, während in der Spalte Konzepte für Step Functions auf der rechten Seite die entsprechenden Konzepte in Step Functions aufgeführt sind.
| Konzepte für Datenpipelines | Konzepte für Step Functions |
|---|---|
| Pipelines | Workflows |
| Pipeline-Definition | Amazon States Language (ASL) |
| Aktivitäten | Zustände und Status der Aufgabe |
| Instances | Ausführungen |
| Attempts | Catcher und Wiederholungen |
| Pipeline-Zeitplan | |
| Pipeline-Ausdrücke und -Funktionen |
Step-Functions-Beispielprojekte
Eine Einführung in Step Functions finden Sie im folgenden Video:
In der folgenden Liste werden einige Beispielprojekte beschrieben, die die häufigsten AWS Data Pipeline Anwendungsfälle mit Step Functions implementieren. Sie können diese Beispielprojekte als Referenz für die Migration von AWS Data Pipeline zu Step Functions verwenden. Sie können sie auch als Boilerplate verwenden, um Ihre eigenen Workflows zu erstellen und je nach Anwendungsfall in das unterstützte AWS-Services zu integrieren.
Weitere Informationen zu Step Functions finden Sie in den folgenden Themen und Ressourcen:
Preisvergleich
AWS Data Pipeline wird nach Anzahl der Pipelines und deren Nutzungsgrad berechnet. Aktivitäten, die mehr als einmal pro Tag (Hochfrequenz) ausgeführt werden, werden zu einem Preis von 1 USD pro Monat und Aktivität berechnet. Aktivitäten, die einmal pro Tag oder weniger (niedrige Häufigkeit) ausgeführt werden, werden zu einem Preis von 0,60 USD pro Monat und Aktivität angeboten. Inaktive Pipelines werden zu einem Preis von 1 USD pro Pipeline berechnet. Weitere Informationen zu Preisen finden Sie auf der Seite -AWS Data Pipeline Preise
Step Functions hat zwei Arten von Workflows: Standard und Express. Jeder Workflow-Typ hat ein anderes Preismodell. Dieser Vergleich basiert auf dem Standard-Workflow, da er am besten mit gängigen Anwendungsfällen von übereinstimmt AWS Data Pipeline. Standard-Workflows werden für 1000 Statusübergänge zu einem Preis von 0,025 USD angeboten. Für inaktive Zustandsautomaten fallen keine Kosten an. Sie zahlen nur für das, was Sie tatsächlich nutzen. Weitere Informationen zu Preisen finden Sie auf der Seite -AWS Step Functions Preise
