Datenverarbeitung - AWS Step Functions

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Datenverarbeitung

Da das Datenvolumen aus immer vielfältigeren Quellen wächst, müssen Unternehmen schnell handeln, um diese Daten zu verarbeiten, um sicherzustellen, dass sie schnellere, gut informierte Geschäftsentscheidungen treffen. Um Daten im großen Maßstab zu verarbeiten, müssen Unternehmen Ressourcen elastisch bereitstellen, um die Informationen zu verwalten, die sie von mobilen Geräten, Anwendungen, Satelliten, Marketing und Vertrieb, betrieblichen Datenspeichern, Infrastruktur und mehr erhalten.

Step Functions bietet die Skalierbarkeit, Zuverlässigkeit und Verfügbarkeit, die erforderlich sind, um Ihre Datenverarbeitungs-Workflows erfolgreich zu verwalten. Sie können Millionen gleichzeitiger Ausführungen mit Step Functions verwalten, da sie horizontal skaliert werden und fehlertolerante Workflows bereitstellen. Verarbeiten Sie Daten schneller mit parallelen Ausführungen wie Step Functions'ParallelStaatstyp oder dynamische Parallelität mit seinerMap-Zustandstyp. Im Rahmen Ihres Workflows können Sie dieMap-Status zum Iterieren von Objekten in einem statischen Datenspeicher wie einem Amazon S3 S3-Bucket. Mit Step Functions können Sie auch fehlgeschlagene Ausführungen einfach wiederholen oder eine bestimmte Methode zum Umgang mit Fehlern auswählen, ohne einen komplexen Prozess verwalten zu müssen.

Abhängig von Ihren Anforderungen an die Datenverarbeitung lässt sich Step Functions direkt in andere Datenverarbeitungsdienste integrieren, die vonAWSwieAWS Batchfür die BatchverarbeitungAmazon EMRfür die Big-Data-Verarbeitung,AWS Gluezur Datenaufbereitung,Athenafür die Datenanalyse undAWS Lambdafür Datenverarbeitung.

Beispiele für die Arten von Datenverarbeitungsworkflows, die Kunden Step Functions verwenden, sind:

Datei-, Video- und Bildverarbeitung

  • Nehmen Sie eine Sammlung von Videodateien und konvertieren Sie sie in andere Größen oder Auflösungen, die ideal für das Gerät sind, auf dem sie angezeigt werden, wie Mobiltelefone, Laptops oder einen Fernseher.

  • Nehmen Sie eine große Sammlung von Fotos auf, die von Benutzern hochgeladen wurden, und wandeln Sie sie in Miniaturansichten oder Bilder mit unterschiedlicher Auflösung um, die dann auf den Websites der Benutzer angezeigt werden können.

  • Nehmen Sie halbstrukturierte Daten, z. B. eine CSV-Datei, und kombinieren Sie sie mit unstrukturierten Daten, wie einer Rechnung, um einen Geschäftsbericht zu erstellen, der monatlich an Geschäftsbeteiligte gesendet wird.

  • Nehmen Sie Erdbeobachtungsdaten, die von Satelliten gesammelt wurden, um sie in Formate zu konvertieren, die aufeinander ausgerichtet sind, und fügen Sie dann weitere auf der Erde gesammelte Datenquellen hinzu, um zusätzliche Erkenntnisse zu erhalten.

  • Nehmen Sie die Transportprotokolle von verschiedenen Transportmitteln für Produkte und suchen Sie mit Monte-Carlo-Simulationen nach Optimierungen und senden Sie dann Berichte an die Organisationen und Personen, die sich darauf verlassen, dass Sie ihre Waren versenden.

Koordinate Extraktions-, Transformations- und Ladesjobs (ETL):

  • Kombinieren Sie Verkaufschancen-Datensätze mit Marketing-Metrik-Datensätzen durch eine Reihe von Datenvorbereitungsschritten mitAWS Glueund erstellen Sie Business Intelligence-Berichte, die im gesamten Unternehmen verwendet werden können.

  • Erstellen, starten und beenden Sie einen Amazon EMR-Cluster für die Big Data-Verarbeitung.

Stapelverarbeitung und HPC-Workloads (High Performance Computing):

  • Bauen Sie eine Genomiksekundäranalyse-Pipeline auf, die rohe ganze Genomsequenzen in Variantenaufrufe verarbeitet. Richten Sie Rohdateien an einer Referenzsequenz aus und rufen Sie Varianten für eine bestimmte Liste von Chromosomen mit dynamischer Parallelität auf.

  • Finden Sie Effizienz bei der Herstellung Ihres nächsten Mobilgeräts oder anderer Elektronik, indem Sie verschiedene Layouts mit verschiedenen elektrischen und chemischen Verbindungen simulieren. Führen Sie eine große Stapelverarbeitung Ihrer Workloads durch verschiedene Simulationen durch, um das optimale Design zu erhalten.