Struktur und Ausführung der Pipeline

Pipeline-Struktur

Eine Amazon SageMaker Model Building Pipelines-Instance besteht aus nameparameters, und steps. Phasennamen müssen innerhalb eines (account, region)-Paares eindeutig sein. Alle in den Schrittdefinitionen verwendeten Parameter müssen in der Pipeline definiert werden. Die aufgelisteten Pipeline-Schritte bestimmen automatisch ihre Ausführungsreihenfolge anhand ihrer Datenabhängigkeiten voneinander. Der SageMaker Pipelines-Service löst die Beziehungen zwischen Schritten in der Datenabhängigkeits-DAG auf, um eine Reihe von Schritten zu erstellen, die die Ausführung abgeschlossen hat. Im Folgenden finden Sie ein Beispiel für eine Pipeline-Struktur.

from sagemaker.workflow.pipeline import Pipeline
  
  pipeline_name = f"AbalonePipeline"
  pipeline = Pipeline(
      name=pipeline_name,
      parameters=[
          processing_instance_type, 
          processing_instance_count,
          training_instance_type,
          model_approval_status,
          input_data,
          batch_data,
      ],
      steps=[step_process, step_train, step_eval, step_cond],
  )

Pipeline-Ausführung mithilfe der Parallelismus-Konfiguration

Standardmäßig führt eine Pipeline alle Schritte aus, die parallel ausgeführt werden können. Sie können dieses Verhalten mithilfe der ParallelismConfiguration Eigenschaft steuern, wenn Sie eine Pipeline erstellen oder aktualisieren oder wenn Sie eine Pipeline-Ausführung starten oder erneut versuchen.

Parallelitätskonfigurationen werden pro Ausführung angewendet. Wenn beispielsweise zwei Ausführungen gestartet werden, können sie jeweils maximal 50 Schritte gleichzeitig ausführen, was insgesamt 100 gleichzeitig ausgeführten Schritten entspricht. Außerdem haben beim Starten, Wiederholen oder Aktualisieren einer Ausführung angegebene ParallelismConfiguration(n) Vorrang vor Parallelitätskonfigurationen, die in der Pipeline definiert wurden.

Beispiel Erstellen einer Pipeline-Ausführung mit ParallelismConfiguration

pipeline = Pipeline(
        name="myPipeline",
        steps=[step_process, step_train]
    )

  pipeline.create(role, parallelism_config={"MaxParallelExecutionSteps": 50})