Schritt 4. Erstellen Sie die Pipeline

Nachdem Sie die Pipeline logisch definiert haben, ist es an der Zeit, die Infrastruktur zur Unterstützung der Pipeline zu erstellen. Für diesen Schritt sind mindestens die folgenden Funktionen erforderlich:

• Speicher zum Hosten und Verwalten von Pipeline-Eingaben und -Ausgaben, einschließlich Code, Modellartefakten und Daten, die in Trainings- und Inferenzläufen verwendet werden.

• Rechenleistung (GPU oder CPU) für Modellierung und Inferenz sowie für die Vor- und Nachverarbeitung von Daten.

• Orchestrierung, um die verwendeten Ressourcen zu verwalten und alle regelmäßigen Läufe zu planen. Beispielsweise kann das Modell in regelmäßigen Abständen neu trainiert werden, sobald neue Daten verfügbar werden.

• Protokollierung und Warnmeldungen zur Überwachung der Genauigkeit des Pipeline-Modells, zur Ressourcennutzung und zur Fehlerbehebung.

Implementierung mit AWS CloudFormation

Um die von uns verwendete Pipeline zu erstellen AWS CloudFormation, bei der es sich um einen AWS Dienst für die Bereitstellung und Verwaltung der Infrastruktur als Code handelt. Die AWS CloudFormation Vorlagen enthalten die Step Functions-Definition, die im vorherigen Schritt mit dem Step Functions SDK erstellt wurde. Dieser Schritt beinhaltet die Erstellung der AWS-verwalteten Step Functions Functions-Instanz, die als Step Functions Functions-Zustandsmaschine bezeichnet wird. In dieser Phase werden keine Ressourcen für Schulung und Inferenz geschaffen, da Schulungs- und Inferenzjobs als KI-Jobs bei Bedarf und nur dann ausgeführt werden, wenn sie benötigt werden. SageMaker Dieser Schritt umfasst auch das Erstellen von AWS Identity and Access Management (IAM-) Rollen zum Ausführen der Step Functions, zum Ausführen von SageMaker KI sowie zum Lesen und Schreiben von Amazon S3.

Änderung der Ausgabe aus dem Step Functions SDK

Wir mussten einige geringfügige Änderungen an der AWS CloudFormation Ausgabe aus dem vorherigen Abschnitt vornehmen. Wir haben den einfachen Python-String-Matching verwendet, um Folgendes zu tun:

• Wir haben Logik für die Erstellung des Parameters Abschnitts der AWS CloudFormation Vorlage hinzugefügt. Dies liegt daran, dass wir zwei Rollen erstellen und den Pipeline-Namen zusammen mit der Bereitstellungsumgebung als Parameter definieren möchten. Dieser Schritt umfasst auch alle zusätzlichen Ressourcen und Rollen, die Sie möglicherweise erstellen möchten, wie in Schritt 6 beschrieben.

• Wir haben drei Felder neu formatiert, sodass sie das erforderliche !Sub Präfix und die erforderlichen Anführungszeichen haben, sodass sie im Rahmen des Bereitstellungsprozesses dynamisch aktualisiert werden können:

  • Die StateMachineName Eigenschaft, die den Zustandsmaschine benennt.

  • Die DefinitionString Eigenschaft, die den Zustandsmaschine definiert.

  • Die RoleArn Eigenschaft, die von der Zustandsmaschine zurückgegeben wird.