파이프라인 구조 및 실행

파이프라인 구조

Amazon SageMaker 모델 구축 파이프라인 인스턴스는 nameparameters, 및 steps 로 구성되어 있습니다. (account, region) 페어 내 파이프라인 이름은 고유해야 합니다. 단계 정의에 사용되는 모든 파라미터는 파이프라인에서 정의되어야 합니다. 나열된 파이프라인 단계는 서로에 대한 데이터 종속성에 따라 실행 순서를 자동으로 결정합니다. SageMaker 파이프라인 서비스는 데이터 종속성 DAG의 단계 간 관계를 분석하여 실행이 완료되는 일련의 단계를 생성합니다. 다음은 파이프라인 구조의 예제입니다.

from sagemaker.workflow.pipeline import Pipeline
  
  pipeline_name = f"AbalonePipeline"
  pipeline = Pipeline(
      name=pipeline_name,
      parameters=[
          processing_instance_type, 
          processing_instance_count,
          training_instance_type,
          model_approval_status,
          input_data,
          batch_data,
      ],
      steps=[step_process, step_train, step_eval, step_cond],
  )

병렬 구성을 사용한 파이프라인 실행

기본적으로 파이프라인은 병렬로 실행할 수 있는 모든 단계를 수행합니다. 파이프라인을 생성 또는 업데이트할 때뿐만 아니라 파이프라인 실행을 시작하거나 재시도할 때도 ParallelismConfiguration속성을 사용하여 이 동작을 제어할 수 있습니다.

병렬 구성은 실행별로 적용됩니다. 예를 들어 두 개의 실행이 시작되면 각각 최대 50개의 단계를 동시에 실행할 수 있으므로 총 100개의 동시 실행 단계가 가능합니다. 또한 실행을 시작, 재시도 또는 업데이트할 때 지정한 ParallelismConfiguration은 파이프라인에 정의된 병렬 처리 구성보다 우선합니다.

예 ParallelismConfiguration을 사용하여 파이프라인 실행 생성

pipeline = Pipeline(
        name="myPipeline",
        steps=[step_process, step_train]
    )

  pipeline.create(role, parallelism_config={"MaxParallelExecutionSteps": 50})