특성 프로세서 파이프라인의 일정 예약 및 이벤트 기반 실행

Amazon SageMaker 특성 저장소 특성 처리 파이프라인 실행은 사전 구성된 일정에 따라 또는 다른 AWS 서비스 이벤트의 결과로 자동 및 비동기적으로 시작하도록 구성할 수 있습니다. 예를 들어, 특성 처리 파이프라인이 매월 1일에 실행되도록 예약하거나 두 파이프라인을 함께 연결하여 소스 파이프라인 실행이 완료된 후 대상 파이프라인이 자동으로 실행되도록 할 수 있습니다.

일정에 따른 실행

특성 프로세서 SDK는 EventBridge Scheduler 통합을 통해 특성 프로세서 파이프라인을 반복적으로 실행할 수 있는 scheduleAPI를 제공합니다. Amazon EventBridge에서 지원하는 것과 동일한 표현식이 포함된 ScheduleExpression파라미터를 사용하여 at, rate, 또는 cron표현식으로 일정을 지정할 수 있습니다. 일정 예약 API는 일정이 이미 있는 경우 일정을 업데이트하고 그렇지 않으면 일정을 생성한다는 점에서 의미상 업데이트/삽입 작업입니다. EventBridge 표현식과 예제에 대한 자세한 내용은 EventBridge Scheduler 사용 설명서의 Schedule types on EventBridge Scheduler(EventBridge Scheduler의 일정 유형)를 참조하세요.

다음 예제에서는 at, rate, cron표현식을 사용하여 특성 프로세서 scheduleAPI를 사용합니다.

from sagemaker.feature_store.feature_processor import schedule
pipeline_name='feature-processor-pipeline'

event_bridge_schedule_arn = schedule(
    pipeline_name=pipeline_name, 
    schedule_expression="at(2020-11-30T00:00:00)"
)

event_bridge_schedule_arn = schedule(
    pipeline_name=pipeline_name, 
    schedule_expression="rate(24 hours)"
)

event_bridge_schedule_arn = schedule(
    pipeline_name=pipeline_name, 
    schedule_expression="cron(0 0-23/1 ? * * 2023-2024)"
)

schedule API의 날짜 및 시간 입력에 대한 기본 시간대는 UTC입니다. EventBridge Scheduler 일정 표현식에 대한 자세한 내용은 EventBridge Scheduler API 참조 설명서의 ScheduleExpression을 참조하세요.

예정된 특성 프로세서 파이프라인 실행은 변환 함수에 예약된 실행 시간을 제공하며, 이 시간은 동일 토큰 또는 날짜 범위 기반 입력의 고정 기준점으로 사용할 수 있습니다. 일정을 비활성화(즉, 일시 중지)하거나 다시 활성화하려면 scheduleAPI의 state파라미터를 각각 ‘DISABLED’또는 ‘ENABLED’와 함께 사용하세요.

특성 프로세서에 대한 자세한 내용은 특성 프로세서 SDK 데이터 소스섹션을 참조하세요.

이벤트 기반 실행

AWS 이벤트 발생 시 자동으로 실행되도록 특성 처리 파이프라인을 구성할 수 있습니다. 특성 처리 SDK는 소스 이벤트 목록과 대상 파이프라인을 수락하는 put_trigger함수를 제공합니다. 소스 이벤트는 파이프라인 및 실행 상태 이벤트를 지정하는 FeatureProcessorPipelineEvent의 인스턴스여야 합니다.

put_trigger 함수는 이벤트를 라우팅하도록 Amazon EventBridge 규칙 및 대상을 구성하고 AWS 모든 이벤트에 응답할 EventBridge 이벤트 패턴을 지정할 수 있습니다. 이러한 개념에 대한 자세한 내용은 Amazon EventBridge 규칙, 대상 및 이벤트 패턴을 참조하세요.

트리거를 활성화하거나 비활성화할 수 있습니다. EventBridge는 put_triggerAPI의 role_arn파라미터에 제공된 역할을 사용하여 대상 파이프라인 실행을 시작합니다. Amazon SageMaker Studio Classic 또는 노트북 환경에서 SDK를 사용하는 경우 실행 역할이 기본적으로 사용됩니다. 실행 역할을 가져오는 방법에 대한 자세한 내용은 실행 역할을 가져옵니다.섹션을 참조하세요.

다음은 설정 예시입니다.

• to_pipeline API를 사용하는 SageMaker AI 파이프라인으로, 대상 파이프라인 이름(target-pipeline)과 변환 함수()를 가져옵니다transform. 특성 프로세서 및 변환 함수에 대한 자세한 내용은 특성 프로세서 SDK 데이터 소스섹션을 참조하세요.

• 이벤트 및 대상 파이프라인 이름(target-pipeline)으로 FeatureProcessorPipelineEvent를 받아들이는 put_triggerAPI를 사용하는 트리거.

  FeatureProcessorPipelineEvent는 소스 파이프라인(source-pipeline)의 상태가 Succeeded가 되는 시기의 트리거를 정의합니다. 특성 프로세서 파이프라인 이벤트 함수에 대한 자세한 내용은 특성 저장소에서 설명서 읽기의 FeatureProcessorPipelineEvent섹션을 참조하세요.

from sagemaker.feature_store.feature_processor import put_trigger, to_pipeline, FeatureProcessorPipelineEvent

to_pipeline(pipeline_name="target-pipeline", step=transform)

put_trigger(
    source_pipeline_events=[
        FeatureProcessorPipelineEvent(
            pipeline_name="source-pipeline",
            status=["Succeeded"]
        )
    ],
    target_pipeline="target-pipeline"
)

이벤트 기반 트리거를 사용하여 특성 프로세서 파이프라인의 연속 실행 및 자동 재시도를 만드는 예제는 이벤트 기반 트리거를 사용한 연속 실행 및 자동 재시도섹션을 참조하세요.

이벤트 기반 트리거를 사용하여 연속 스트리밍을 만들고 이벤트 기반 트리거를 사용한 자동 재시도를 만드는 예제는 사용자 지정 데이터 소스 스트리밍 예제을 참조하세요.