Entdecken Sie Anwendungsfälle für Step Functions Functions-Workflows

Mit können Sie Workflows erstellen AWS Step Functions, die den Status im Zeitverlauf verwalten, Entscheidungen auf der Grundlage eingehender Daten treffen und Fehler und Ausnahmen behandeln.

Datenverarbeitung

Da das Datenvolumen aus unterschiedlichen Quellen wächst, müssen Unternehmen ihre Daten schneller verarbeiten, damit sie schnell fundierte Geschäftsentscheidungen treffen können. Um Daten in großem Umfang verarbeiten zu können, müssen Unternehmen Ressourcen flexibel bereitstellen, um die Informationen zu verwalten, die sie von Mobilgeräten, Anwendungen, Satelliten, Marketing und Vertrieb, Betriebsdatenspeichern, Infrastruktur und mehr erhalten.

Mit horizontaler Skalierung und fehlertoleranten Workflows kann Step Functions Millionen von gleichzeitigen Ausführungen ausführen. Sie können Ihre Daten schneller verarbeiten, indem Sie parallel Ausführungen mit Status des parallelen Workflows Status verwenden. Oder Sie können die dynamische Parallelität des Workflow-Status zuordnen Zustands verwenden, um über große Datenmengen in Datenspeichern wie Amazon S3 S3-Buckets zu iterieren. Step Functions bieten auch die Möglichkeit, fehlgeschlagene Ausführungen zu wiederholen oder einen bestimmten Pfad zur Fehlerbehandlung auszuwählen, ohne komplexe Fehlerbehandlungsprozesse verwalten zu müssen.

Step Functions lässt sich direkt in andere Datenverarbeitungsdienste integrieren, die von AWS z. B. AWS Batchfür die Stapelverarbeitung, Amazon EMR für die Verarbeitung großer Datenmengen, AWS Gluefür die Datenaufbereitung, Athena für die Datenanalyse und AWS Lambdafür die Datenverarbeitung bereitgestellt werden.

Zu den Arten von Datenverarbeitungs-Workflows, für die Kunden Step Functions verwenden, gehören unter anderem:

Datei-, Video- und Bildverarbeitung

• Nehmen Sie eine Sammlung von Videodateien und konvertieren Sie sie in andere Größen oder Auflösungen, die ideal für das Gerät sind, auf dem sie angezeigt werden sollen, z. B. Mobiltelefone, Laptops oder Fernseher.

• Nehmen Sie eine große Sammlung von Fotos, die von Benutzern hochgeladen wurden, und konvertieren Sie sie in Miniaturansichten oder Bilder mit unterschiedlicher Auflösung, die dann auf den Websites der Benutzer angezeigt werden können.

• Verwenden Sie halbstrukturierte Daten, z. B. eine CSV Datei, und kombinieren Sie sie mit unstrukturierten Daten, z. B. einer Rechnung, um einen Geschäftsbericht zu erstellen, der monatlich an die Geschäftsbeteiligten gesendet wird.

• Nehmen Sie Erdbeobachtungsdaten, die von Satelliten gesammelt wurden, und konvertieren Sie sie in Formate, die aufeinander abgestimmt sind, und fügen Sie dann weitere auf der Erde gesammelte Datenquellen hinzu, um zusätzliche Erkenntnisse zu gewinnen.

• Verwenden Sie die Transportprotokolle verschiedener Transportarten für Produkte und suchen Sie mithilfe von Monte-Carlo-Simulationen nach Optimierungen. Senden Sie dann Berichte an die Organisationen und Personen zurück, die sich beim Versand ihrer Waren auf Sie verlassen.

Koordinieren Sie Extraktions-, Transformations- und Load (ETL) -Jobs:

• Kombinieren Sie Datensätze zu Verkaufschancen mit Datensätzen zu Marketingkennzahlen AWS Glue, indem Sie eine Reihe von Datenaufbereitungsschritten verwenden und Business Intelligence-Berichte erstellen, die im gesamten Unternehmen verwendet werden können.

• Erstellen, starten und beenden Sie einen EMR Amazon-Cluster für die Verarbeitung großer Datenmengen.

Stapelverarbeitung und High Performance Computing (HPC) -Workloads:

• Bauen Sie eine Pipeline für die sekundäre Analyse der Genomik auf, die rohe Sequenzen des gesamten Genoms zu Variantenaufrufen verarbeitet. Ordnen Sie Rohdateien einer Referenzsequenz zu und rufen Sie mithilfe dynamischer Parallelität Varianten auf einer bestimmten Chromosomenliste auf.

• Finden Sie Effizienzsteigerungen bei der Herstellung Ihres nächsten Mobilgeräts oder anderer Elektronik, indem Sie verschiedene Layouts mit unterschiedlichen elektrischen und chemischen Verbindungen simulieren. Führen Sie die Verarbeitung großer Chargen Ihrer Workloads mithilfe verschiedener Simulationen durch, um das optimale Design zu erhalten.

Machine Learning

Maschinelles Lernen bietet Unternehmen die Möglichkeit, gesammelte Daten schnell zu analysieren, um Muster zu erkennen und Entscheidungen mit minimalem menschlichem Eingreifen zu treffen. Maschinelles Lernen beginnt mit einem ersten Datensatz, den so genannten Trainingsdaten. Trainingsdaten erhöhen die Vorhersagegenauigkeit eines Modells für maschinelles Lernen und bilden die Grundlage, auf der das Modell lernt. Sobald das trainierte Modell als genau genug angesehen wurde, um die Geschäftsanforderungen zu erfüllen, können Sie das Modell in der Produktion einsetzen. Das AWS Step Functions Data Science Project auf Github ist eine Open-Source-Bibliothek, die Workflows zur Vorverarbeitung von Daten, zum Trainieren und anschließenden Veröffentlichen Ihrer Modelle mit Amazon SageMaker und Step Functions bereitstellt.

Durch die Vorverarbeitung vorhandener Datensätze erstellt ein Unternehmen häufig Trainingsdaten. Bei dieser Vorverarbeitungsmethode werden Informationen hinzugefügt, beispielsweise indem Objekte in einem Bild beschriftet, Text mit Anmerkungen versehen oder Audio verarbeitet werden. Zur Vorverarbeitung von Daten können Sie eine SageMaker Notebook-Instanz verwenden oder erstellen AWS Glue, die in einem Jupyter Notebook ausgeführt wird. Sobald Ihre Daten bereit sind, können sie für den Zugriff auf Amazon S3 hochgeladen werden. Wenn Modelle für maschinelles Lernen trainiert werden, können Sie Anpassungen an den Parametern der einzelnen Modelle vornehmen, um die Genauigkeit zu verbessern.

Step Functions bietet eine Möglichkeit, Workflows für end-to-end maschinelles Lernen zu orchestrieren. SageMaker Diese Workflows können Datenvorverarbeitung, Nachverarbeitung, Feature-Engineering, Datenvalidierung und Modellevaluierung umfassen. Nachdem das Modell in der Produktion eingesetzt wurde, können Sie neue Ansätze verfeinern und testen, um die Geschäftsergebnisse kontinuierlich zu verbessern. Sie können produktionsreife Workflows direkt in Python erstellen, oder Sie können Step Functions Data Science verwenden, um diesen Workflow SDK zu kopieren, mit neuen Optionen zu experimentieren und den verfeinerten Workflow in die Produktion zu integrieren.

Zu den Arten von Workflows für maschinelles Lernen, für die Kunden Step Functions verwenden, gehören:

Aufdeckung von Betrug

• Identifizieren und verhindern Sie betrügerische Transaktionen wie Kreditbetrug.

• Erkennen und verhindern Sie Kontoübernahmen mithilfe trainierter Modelle für maschinelles Lernen.

• Identifizieren Sie Werbemissbrauch, einschließlich der Erstellung gefälschter Konten, damit Sie schnell Maßnahmen ergreifen können.

Personalisierung und Empfehlungen

• Empfehlen Sie bestimmten Kunden Produkte auf der Grundlage dessen, was voraussichtlich ihr Interesse wecken wird.

• Sagen Sie voraus, ob ein Kunde sein Konto von einer kostenlosen Stufe auf ein kostenpflichtiges Abonnement umstellen wird.

Datenanreicherung

• Verwenden Sie die Datenanreicherung als Teil der Vorverarbeitung, um bessere Trainingsdaten für genauere Modelle des maschinellen Lernens bereitzustellen.

• Kommentieren Sie Text- und Audioauszüge, um syntaktische Informationen wie Sarkasmus und Umgangssprache hinzuzufügen.

• Kennzeichnen Sie zusätzliche Objekte in Bildern, um wichtige Informationen bereitzustellen, aus denen das Modell lernen kann, z. B. ob es sich bei einem Objekt um einen Apfel, einen Basketball, einen Stein oder ein Tier handelt.

Orchestrierung von Microservices

Step Functions bietet Ihnen Optionen zur Verwaltung Ihrer Microservice-Workflows.

Die Microservice-Architektur unterteilt Anwendungen in lose gekoppelte Dienste. Zu den Vorteilen gehören eine verbesserte Skalierbarkeit, eine höhere Ausfallsicherheit und eine schnellere Markteinführung. Jeder Microservice ist unabhängig, sodass es einfach ist, einen einzelnen Service oder eine einzelne Funktion zu skalieren, ohne die gesamte Anwendung skalieren zu müssen. Einzelne Services sind lose miteinander verknüpft, sodass sich unabhängige Teams auf einen einzelnen Geschäftsprozess konzentrieren können, ohne die gesamte Anwendung verstehen zu müssen.

Microservices bieten auch individuelle Komponenten, die Ihren Geschäftsanforderungen entsprechen, sodass Sie flexibel sind, ohne Ihren gesamten Arbeitsablauf neu schreiben zu müssen. Verschiedene Teams können die Programmiersprachen und Frameworks ihrer Wahl verwenden, um mit ihren Microservices zu arbeiten.

Für Workflows mit langer Laufzeit können Sie Standard-Workflows mit AWS Fargate Integration verwenden, um Anwendungen zu orchestrieren, die in Containern ausgeführt werden. Für Workflows mit kurzer Dauer und hohem Volumen, die eine sofortige Reaktion erfordern, sind Synchronous Express Workflows ideal. Ein Beispiel sind webbasierte oder mobile Anwendungen, bei denen eine Reihe von Schritten ausgeführt werden müssen, bevor eine Antwort zurückgegeben wird. Sie können einen synchronen Express-Workflow direkt von Amazon API Gateway aus auslösen. Die Verbindung bleibt geöffnet, bis der Workflow abgeschlossen ist oder eine Zeitüberschreitung eintritt. Für Workflows mit kurzer Dauer, die keine sofortige Reaktion erfordern, bietet Step Functions asynchrone Express-Workflows.

Beispiele für API Orchestrierungen, die Step Functions verwenden, sind:

Synchrone Workflows oder Workflows in Echtzeit

• Ändern Sie einen Wert in einem Datensatz, indem Sie beispielsweise den Nachnamen eines Mitarbeiters aktualisieren und die Änderung sofort sichtbar machen.

• Aktualisieren Sie eine Bestellung während des Bezahlvorgangs, indem Sie beispielsweise einen Artikel hinzufügen, entfernen oder die Menge ändern, und zeigen Sie Ihrem Kunden dann sofort den aktualisierten Einkaufswagen an.

• Führen Sie einen Schnellverarbeitungsauftrag aus und senden Sie das Ergebnis sofort an den Antragsteller zurück.

Orchestrierung von Containern

• Führen Sie Jobs auf Kubernetes mit Amazon Elastic Kubernetes Service oder auf Amazon Elastic Container Service (ECS) mit Fargate aus und integrieren Sie sie in andere AWS Dienste, z. B. das Senden von Benachrichtigungen mit AmazonSNS, als Teil desselben Workflows.

IT- und Sicherheitsautomatisierung

Mit Step Functions können Sie Workflows erstellen, die automatisch skalieren und auf Fehler in Ihrem Workflow reagieren. Ihre Workflows können fehlgeschlagene Aufgaben automatisch wiederholen und Fehler mithilfe eines exponentiellen Backoffs beheben.

Die Fehlerbehandlung ist in IT-Automatisierungsszenarien unverzichtbar, um komplexe und zeitaufwändige Vorgänge wie das Aktualisieren und Patchen von Software, die Bereitstellung von Sicherheitsupdates zur Behebung von Sicherheitslücken, die Auswahl der Infrastruktur, das Synchronisieren von Daten und das Weiterleiten von Supporttickets zu verwalten. Durch die Automatisierung sich wiederholender und zeitaufwändiger Aufgaben kann Ihr Unternehmen Routineoperationen schnell und konsistent in großem Umfang abschließen. Ihr Fokus kann sich auf strategische Bemühungen wie die Entwicklung von Funktionen, komplexe Supportanfragen und Innovation verlagern und gleichzeitig Ihre betrieblichen Anforderungen erfüllen.

Wenn ein menschliches Eingreifen erforderlich ist, damit der Workflow fortgesetzt werden kann, z. B. um eine erhebliche Krediterhöhung zu genehmigen, können Sie in Step Functions eine Verzweigungslogik definieren, sodass Anfragen, die unter einem Limit liegen, automatisch genehmigt werden und Anfragen, die das Limit überschreiten, eine menschliche Genehmigung erfordern. Wenn eine menschliche Genehmigung erforderlich ist, kann Step Functions den Workflow unterbrechen, auf eine menschliche Antwort warten und den Workflow dann fortsetzen, nachdem eine Antwort eingegangen ist.

Einige Beispiele für Automatisierungsworkflows umfassen die folgenden:

IT-Automatisierung

• Behebt automatisch Vorfälle wie offene SSH Ports, wenig Festplattenspeicher oder wenn einem Amazon S3 S3-Bucket öffentlicher Zugriff gewährt wird.

• Automatisieren Sie die Bereitstellung von. AWS CloudFormation StackSets

Automatisierung der Sicherheit

• Automatisieren Sie die Reaktion auf ein Szenario, in dem ein Benutzer und ein Benutzerzugriffsschlüssel offengelegt wurden.

• Korrigieren Sie die Reaktion auf Sicherheitsvorfälle automatisch anhand von Richtlinienmaßnahmen, z. B. indem Sie Maßnahmen auf bestimmte Aktionen beschränken. ARNs

• Warnen Sie Mitarbeiter innerhalb von Sekunden nach Erhalt vor Phishing-E-Mails.

Menschliche Zustimmung

• Automatisieren Sie das Training von Modellen für maschinelles Lernen und lassen Sie das Modell anschließend von einem Datenwissenschaftler genehmigen, bevor Sie das aktualisierte Modell bereitstellen.

• Automatisieren Sie die Weiterleitung von Kundenfeedback auf der Grundlage von Stimmungsanalysen, sodass negative Kommentare schnell zur Überprüfung weitergeleitet werden.