Datenverarbeitung

Angesichts des wachsenden Datenvolumens, das aus immer vielfältigeren Quellen stammt, müssen Unternehmen schnell handeln, um diese Daten zu verarbeiten, um sicherzustellen, dass sie schnellere, fundiertere Geschäftsentscheidungen treffen können. Um Daten in großem Maßstab verarbeiten zu können, müssen Unternehmen Ressourcen bereitstellen, um die Informationen zu verwalten, die sie von Mobilgeräten, Anwendungen, Satelliten, Marketing und Vertrieb, Betriebsdatenspeichern, Infrastruktur und mehr erhalten.

Step Functions bietet die Skalierbarkeit, Zuverlässigkeit und Verfügbarkeit, die für die erfolgreiche Verwaltung Ihrer Datenverarbeitungsworkflows erforderlich sind. Mit Step Functions können Sie Millionen von gleichzeitigen Ausführungen verwalten, da es horizontal skaliert und fehlertolerante Workflows bietet. Verarbeiten Sie Daten schneller, indem Sie parallele Ausführungen wie den Parallel Zustandstyp von Step Functions oder dynamische Parallelität mithilfe seines Zustandstyps verwenden. Zuordnung Als Teil Ihres Workflows können Sie den Zuordnung Status verwenden, um über Objekte in einem statischen Datenspeicher wie einem Amazon S3-Bucket zu iterieren. Mit Step Functions können Sie fehlgeschlagene Ausführungen auch einfach wiederholen oder eine bestimmte Methode zur Fehlerbehandlung wählen, ohne einen komplexen Prozess verwalten zu müssen.

Abhängig von Ihren Datenverarbeitungsanforderungen lässt sich Step Functions direkt in andere Datenverarbeitungsdienste integrieren, die von AWS beispielsweise AWS Batchzur Stapelverarbeitung, Amazon EMR für die Verarbeitung großer Datenmengen, AWS Gluezur Datenvorbereitung, Athena zur Datenanalyse und AWS Lambdazur Datenverarbeitung bereitgestellt werden.

Zu den Arten von Datenverarbeitungsworkflows, für die Kunden Step Functions verwenden, gehören beispielsweise:

Datei-, Video- und Bildverarbeitung

• Nehmen Sie eine Sammlung von Videodateien und konvertieren Sie sie in andere Größen oder Auflösungen, die für das Gerät, auf dem sie angezeigt werden, ideal sind, z. B. Mobiltelefone, Laptops oder Fernseher.

• Nehmen Sie eine große Sammlung von Fotos auf, die von Benutzern hochgeladen wurden, und konvertieren Sie sie in Miniaturansichten oder Bilder mit unterschiedlicher Auflösung, die dann auf den Websites der Benutzer angezeigt werden können.

• Nehmen Sie halbstrukturierte Daten, wie z. B. eine CSV-Datei, und kombinieren Sie sie mit unstrukturierten Daten wie einer Rechnung, um einen Geschäftsbericht zu erstellen, der monatlich an die Geschäftsbeteiligten gesendet wird.

• Nehmen Sie Erdbeobachtungsdaten, die von Satelliten gesammelt wurden, konvertieren Sie sie in Formate, die aufeinander abgestimmt sind, und fügen Sie dann weitere auf der Erde gesammelte Datenquellen hinzu, um zusätzliche Erkenntnisse zu gewinnen.

• Nehmen Sie die Transportprotokolle verschiedener Transportarten für Produkte und suchen Sie mithilfe von Monte-Carlo-Simulationen nach Optimierungen. Senden Sie dann Berichte an die Organisationen und Personen, die sich beim Versand ihrer Waren auf Sie verlassen.

Aufgaben zum Extrahieren, Transformieren und Laden (ETL) koordinieren:

• Kombinieren Sie Datensätze über Verkaufschancen mit Datensätzen zu Marketingkennzahlen, indem Sie eine Reihe von Schritten zur Datenaufbereitung verwendenAWS Glue, und erstellen Sie Business Intelligence-Berichte, die im gesamten Unternehmen verwendet werden können.

• Erstellen, starten und beenden Sie einen Amazon EMR-Cluster für die Verarbeitung großer Datenmengen.

Stapelverarbeitung und HPC-Workloads (High Performance Computing):

• Erstellen Sie eine Pipeline für die sekundäre Genomanalyse, die rohe gesamte Genomsequenzen zu Variantenaufrufen verarbeitet. Richten Sie Rohdateien an eine Referenzsequenz aus und rufen Sie mithilfe dynamischer Parallelität Varianten auf einer bestimmten Liste von Chromosomen auf.

• Finden Sie Effizienzsteigerungen bei der Herstellung Ihres nächsten Mobilgeräts oder anderer Elektronik, indem Sie verschiedene Layouts mit verschiedenen elektrischen und chemischen Verbindungen simulieren. Führen Sie umfangreiche Batchverarbeitung Ihrer Workloads durch verschiedene Simulationen durch, um das optimale Design zu erhalten.