AWS Transfer Family verwaltete Workflows

AWS Transfer Family unterstützt verwaltete Workflows für die Dateiverarbeitung. Mit verwalteten Workflows können Sie einen Workflow starten, nachdem eine Datei über SFTP, FTPS oder FTP übertragen wurde. Mit dieser Funktion können Sie Ihre Compliance-Anforderungen für den business-to-business (B2B-) Dateiaustausch sicher und kostengünstig erfüllen, indem Sie alle für die Dateiverarbeitung erforderlichen Schritte koordinieren. Darüber hinaus profitieren Sie von end-to-end Auditing und Transparenz.

Durch die Orchestrierung von Dateiverarbeitungsaufgaben helfen Ihnen verwaltete Workflows dabei, Daten vorzuverarbeiten, bevor sie von Ihren nachgelagerten Anwendungen verwendet werden. Zu diesen Aufgaben zur Dateiverarbeitung können gehören:

• Dateien in benutzerspezifische Ordner verschieben.

• Entschlüsseln von Dateien als Teil eines Workflows.

• Dateien taggen.

• Durchführung einer benutzerdefinierten Verarbeitung durch Erstellen und Anhängen einer AWS Lambda Funktion an einen Workflow.

• Senden von Benachrichtigungen, wenn eine Datei erfolgreich übertragen wurde. (Einen Blogbeitrag, in dem dieser Anwendungsfall detailliert beschrieben wird, finden Sie unter Anpassen von Benachrichtigungen zur Dateizustellung mithilfe AWS Transfer Family verwalteter Workflows.)

Um häufig auftretende Aufgaben zur Dateiverarbeitung nach dem Upload, die sich über mehrere Geschäftsbereiche in Ihrem Unternehmen erstrecken, schnell zu replizieren und zu standardisieren, können Sie Workflows mithilfe von Infrastructure as Code (IaC) bereitstellen. Sie können einen verwalteten Workflow angeben, der für vollständig hochgeladene Dateien initiiert wird. Sie können auch einen anderen verwalteten Workflow angeben, der für Dateien initiiert werden soll, die aufgrund einer vorzeitigen Sitzungsunterbrechung nur teilweise hochgeladen wurden. Die integrierte Ausnahmebehandlung hilft Ihnen, schnell auf Ergebnisse der Dateiverarbeitung zu reagieren, und bietet Ihnen gleichzeitig die Kontrolle darüber, wie mit Fehlern umgegangen werden soll. Darüber hinaus erstellt jeder Workflow-Schritt detaillierte Protokolle, die Sie überprüfen können, um die Herkunft der Daten nachzuverfolgen.

Führen Sie zunächst die folgenden Aufgaben aus:

1. Richten Sie Ihren Workflow so ein, dass er je nach Ihren Anforderungen Vorverarbeitungsaktionen wie Kopieren, Markieren und andere Schritte enthält. Details dazu finden Sie unter Erstellen Sie einen Workflow.

2. Konfigurieren Sie eine Ausführungsrolle, die Transfer Family zur Ausführung des Workflows verwendet. Details dazu finden Sie unter IAM-Richtlinien für Workflows.

3. Ordnen Sie den Workflow einem Server zu, sodass die in diesem Workflow angegebenen Aktionen beim Eintreffen der Datei in Echtzeit ausgewertet und initiiert werden. Details dazu finden Sie unter Konfigurieren Sie einen Workflow und führen Sie ihn aus.

Ähnliche Informationen

• Informationen zur Überwachung Ihrer Workflow-Ausführungen finden Sie unter CloudWatch Metriken für Transfer Family verwenden.

• Ausführliche Ausführungsprotokolle und Informationen zur Fehlerbehebung finden Sie unterWorkflow-bezogene Fehler mithilfe von Amazon beheben CloudWatch.

• Transfer Family bietet einen Blogbeitrag und einen Workshop, die Sie durch den Aufbau einer Dateiübertragungslösung führen. Diese Lösung nutzt AWS Transfer Family verwaltete SFTP/FTPS-Endpunkte sowie Amazon Cognito und DynamoDB für die Benutzerverwaltung.

  Der Blogbeitrag ist unter Amazon Cognito als Identitätsanbieter mit AWS Transfer Family Amazon S3 verwenden verfügbar. Die Details zum Workshop finden Sie hier.

• Das folgende Video bietet eine kurze Einführung in die von Transfer Family verwalteten Workflows.

Themen

• Erstellen Sie einen Workflow
• Verwenden Sie vordefinierte Schritte
• Verwenden Sie benutzerdefinierte Schritte zur Dateiverarbeitung
• IAM-Richtlinien für Workflows
• Ausnahmebehandlung für einen Workflow
• Überwachen Sie die Workflow-Ausführung
• Erstellen Sie einen Workflow aus einer Vorlage
• Einen Workflow von einem Transfer Family Family-Server entfernen
• Einschränkungen und Einschränkungen verwalteter Workflows

Weitere Hilfe zu den ersten Schritten mit verwalteten Workflows finden Sie in den folgenden Ressourcen:

• AWS Transfer Family Demovideo zu verwalteten Workflows

• Blogbeitrag zum Aufbau einer Cloud-nativen Dateiübertragungsplattform mithilfe von AWS Transfer Family Workflows

Ausnahmebehandlung für einen Workflow

Wenn während der Ausführung eines Workflows Fehler auftreten, werden die von Ihnen angegebenen Schritte zur Ausnahmebehandlung ausgeführt. Sie geben die Schritte zur Fehlerbehandlung für einen Workflow auf die gleiche Weise an, wie Sie die nominalen Schritte für den Workflow angeben. Nehmen wir beispielsweise an, Sie haben die benutzerdefinierte Verarbeitung in nominalen Schritten konfiguriert, um eingehende Dateien zu überprüfen. Wenn die Dateiüberprüfung fehlschlägt, kann in einem Schritt zur Ausnahmebehandlung eine E-Mail an den Administrator gesendet werden.

Der folgende Beispiel-Workflow umfasst zwei Schritte:

• Ein nominaler Schritt, der überprüft, ob die hochgeladene Datei im CSV-Format vorliegt

• Ein Schritt zur Ausnahmebehandlung, bei dem eine E-Mail gesendet wird, falls die hochgeladene Datei nicht im CSV-Format vorliegt und der nominelle Schritt fehlschlägt

Um den Schritt zur Ausnahmebehandlung einzuleiten, muss die AWS Lambda Funktion im nominalen Schritt mit antworten. Status="FAILURE" Weitere Informationen zur Fehlerbehandlung in Workflows finden Sie unter. Verwenden Sie benutzerdefinierte Schritte zur Dateiverarbeitung

Einen Workflow von einem Transfer Family Family-Server entfernen

Wenn Sie einem Transfer Family Family-Server einen Workflow zugeordnet haben und diese Zuordnung nun entfernen möchten, können Sie dies mithilfe der Konsole oder programmgesteuert tun.

Console

So entfernen Sie einen Workflow von einem Transfer Family Family-Server

1. Öffnen Sie die AWS Transfer Family Konsole unter https://console.aws.amazon.com/transfer/.

2. Wählen Sie im linken Navigationsbereich Server aus.

3. Wählen Sie den Bezeichner für den Server in der Spalte Server-ID aus.

4. Scrollen Sie auf der Detailseite für den Server nach unten zum Abschnitt Zusätzliche Details und wählen Sie dann Bearbeiten aus.

5. Löschen Sie auf der Seite Zusätzliche Details bearbeiten im Abschnitt Verwaltete Workflows die Informationen für alle Einstellungen:

   • Wählen Sie den Bindestrich (-) aus der Liste der Workflows für den Workflow für vollständige Datei-Uploads aus.

   • Falls nicht bereits deaktiviert, wählen Sie den Bindestrich (-) aus der Liste der Workflows für den Workflow für unvollständige Datei-Uploads aus.

   • Wählen Sie den Bindestrich (-) aus der Rollenliste für die Ausführungsrolle Verwaltete Workflows aus.

   Wenn Sie den Gedankenstrich nicht sehen, scrollen Sie nach oben, bis Sie ihn sehen, da er der erste Wert in jedem Menü ist.

   Der Bildschirm sollte wie folgt aussehen.

   

6. Scrollen Sie nach unten und wählen Sie Speichern, um Ihre Änderungen zu speichern.

CLI

Sie verwenden den Aufruf update-server (oder UpdateServer für API) und geben leere Argumente für die OnPartialUpload Parameter OnUpload und an.

Führen Sie von der AWS CLI aus den folgenden Befehl aus:

aws transfer update-server --server-id your-server-id --workflow-details '{"OnPartialUpload":[],"OnUpload":[]}'

your-server-idErsetzen Sie es durch die ID für Ihren Server. Wenn Ihre Server-ID beispielsweises-01234567890abcdef, lautet der Befehl wie folgt:

aws transfer update-server --server-id s-01234567890abcdef --workflow-details '{"OnPartialUpload":[],"OnUpload":[]}'

Einschränkungen und Einschränkungen verwalteter Workflows

Einschränkungen

Die folgenden Einschränkungen gelten derzeit für Workflows zur Verarbeitung nach dem Upload für AWS Transfer Family.

• Konto- und regionsübergreifende AWS Lambda Funktionen werden nicht unterstützt. Sie können jedoch kontenübergreifend kopieren, sofern Ihre AWS Identity and Access Management (IAM-) Richtlinien korrekt konfiguriert sind.

• Für alle Workflow-Schritte müssen sich alle Amazon S3 S3-Buckets, auf die der Workflow zugreift, in derselben Region wie der Workflow selbst befinden.

• Für einen Entschlüsselungsschritt muss das Entschlüsselungsziel mit der Quelle für Region und Backing-Store übereinstimmen (wenn die zu entschlüsselnde Datei beispielsweise in Amazon S3 gespeichert ist, muss sich das angegebene Ziel auch in Amazon S3 befinden).

• Nur asynchrone benutzerdefinierte Schritte werden unterstützt.

• Die Timeouts für benutzerdefinierte Schritte sind ungefähre Angaben. Das heißt, das Timeout kann etwas länger dauern als angegeben. Darüber hinaus ist der Workflow von der Lambda-Funktion abhängig. Wenn die Funktion während der Ausführung verzögert wird, ist sich der Workflow der Verzögerung daher nicht bewusst.

• Wenn Sie Ihr Drosselungslimit überschreiten, fügt Transfer Family der Warteschlange keine Workflow-Operationen hinzu.

• Workflows werden für Dateien mit einer Größe von 0 nicht initiiert. Dateien mit einer Größe von mehr als 0 initiieren den zugehörigen Workflow.

• Sie können einen Dateiverarbeitungs-Workflow an einen Transfer Family Family-Server anhängen, der das AS2-Protokoll verwendet. AS2-Nachrichten führen jedoch keine Workflows aus, die an den Server angehängt sind.

Einschränkungen

Darüber hinaus gelten die folgenden Funktionseinschränkungen für Workflows für Transfer Family:

• Die Anzahl der Workflows pro Region und Konto ist auf 10 begrenzt.

• Das maximale Timeout für benutzerdefinierte Schritte beträgt 30 Minuten.

• Die maximale Anzahl von Schritten in einem Workflow beträgt 8.

• Die maximale Anzahl von Tags pro Workflow beträgt 50.

• Die maximale Anzahl gleichzeitiger Ausführungen, die einen Entschlüsselungsschritt enthalten, beträgt 250 pro Workflow.

• Sie können maximal 3 private PGP-Schlüssel pro Transfer Family Family-Server pro Benutzer speichern.

• Die maximale Größe für eine entschlüsselte Datei beträgt 10 GB.

• Wir drosseln die neue Ausführungsrate mithilfe eines Token-Bucket-Systems mit einer Burst-Kapazität von 100 und einer Nachfüllrate von 1.

• Jedes Mal, wenn Sie einen Workflow von einem Server entfernen und ihn durch einen neuen ersetzen oder die Serverkonfiguration aktualisieren (was sich auf die Ausführungsrolle eines Workflows auswirkt), müssen Sie etwa 10 Minuten warten, bevor Sie den neuen Workflow ausführen. Der Transfer Family Family-Server speichert die Workflow-Details im Cache, und es dauert 10 Minuten, bis der Server seinen Cache aktualisiert hat.

  Darüber hinaus müssen Sie sich von allen aktiven SFTP-Sitzungen abmelden und sich nach Ablauf der 10-minütigen Wartezeit wieder anmelden, um die Änderungen zu sehen.