Geplante und ereignisbasierte Ausführungen für Feature-Prozessor-Pipelines

Die Ausführung von SageMaker Feature Processing-Pipelines im Amazon Feature Store kann so konfiguriert werden, dass sie automatisch und asynchron auf der Grundlage eines vorkonfigurierten Zeitplans oder als Ergebnis eines anderen AWS Serviceereignisses gestartet werden. Sie können beispielsweise festlegen, dass Feature-Verarbeitungs-Pipelines am ersten jedes Monats ausgeführt werden, oder Sie können zwei Pipelines miteinander verketten, sodass eine Zielpipeline automatisch ausgeführt wird, nachdem die Ausführung einer Quell-Pipeline abgeschlossen ist.

Ausführungen auf der Grundlage von Zeitplänen

Der Feature Processor SDK ermöglicht scheduleAPIdie regelmäßige Ausführung von Feature Processor-Pipelines mit Amazon EventBridge Scheduler-Integration. Der Zeitplan kann mit einemat, oder cron -Ausdruck angegeben werdenrate, indem der ScheduleExpressionParameter mit denselben Ausdrücken verwendet wird, die von Amazon unterstützt werden EventBridge. Der Zeitplan API ist semantisch gesehen eine Operation, bei der er den Zeitplan aktualisiert, falls er bereits existiert; andernfalls wird er erstellt. Weitere Informationen zu den EventBridge Ausdrücken und Beispielen finden Sie unter Zeitplantypen auf EventBridge Scheduler im EventBridge Scheduler-Benutzerhandbuch.

In den folgenden Beispielen wird der Feature Processor scheduleAPImit den Ausdrücken atrate, und cron verwendet.

from sagemaker.feature_store.feature_processor import schedule
pipeline_name='feature-processor-pipeline'

event_bridge_schedule_arn = schedule(
    pipeline_name=pipeline_name, 
    schedule_expression="at(2020-11-30T00:00:00)"
)

event_bridge_schedule_arn = schedule(
    pipeline_name=pipeline_name, 
    schedule_expression="rate(24 hours)"
)

event_bridge_schedule_arn = schedule(
    pipeline_name=pipeline_name, 
    schedule_expression="cron(0 0-23/1 ? * * 2023-2024)"
)

Die Standardzeitzone für Datums- und Uhrzeiteingaben in schedule API sind inUTC. Weitere Informationen zu EventBridge Scheduler-Zeitplanausdrücken finden Sie ScheduleExpressionin der EventBridge Scheduler-ReferenzdokumentationAPI.

Geplante Feature-Prozessor-Pipeline-Ausführungen stellen Ihrer Transformationsfunktion die geplante Ausführungszeit zur Verfügung, die als Idempotenz-Token oder als fester Bezugspunkt für datumsbereichsbasierte Eingaben verwendet werden kann. Um einen Zeitplan zu deaktivieren (d. h. anzuhalten) oder erneut zu aktivieren, verwenden Sie state jeweils den Parameter scheduleAPIwith ‘DISABLED’ oder‘ENABLED’.

Weitere Informationen über RPO-Funktion finden Sie unter SDKFeature-Prozessor-Datenquellen.

Auf Ereignissen basierende Ausführungen

Eine Feature-Verarbeitungs-Pipeline kann so konfiguriert werden, dass sie automatisch ausgeführt wird, wenn ein AWS Ereignis eintritt. Die Feature-Verarbeitung SDK bietet eine put_triggerFunktion, die eine Liste von Quellereignissen und eine Zielpipeline akzeptiert. Bei den Quellereignissen muss es sich um Instances von FeatureProcessorPipelineEventhandeln, was eine Pipeline und Ereignisse zum Ausführungsstatus angibt.

Die put_trigger Funktion konfiguriert eine EventBridge Amazon-Regel und ein Ziel für die Weiterleitung von Ereignissen und ermöglicht es Ihnen, ein EventBridge Ereignismuster anzugeben, um auf jedes AWS Ereignis zu reagieren. Informationen zu diesen Konzepten finden Sie unter EventBridge Regeln, Ziele und Ereignismuster von Amazon.

Trigger können aktiviert oder deaktiviert werden. EventBridge startet eine Ziel-Pipeline-Ausführung mit der Rolle, die im role_arn Parameter von angegeben ist put_triggerAPI. Die Ausführungsrolle wird standardmäßig verwendet, wenn die in einer Amazon SageMaker Studio Classic- oder Notebook-Umgebung verwendet SDK wird. Weitere Informationen zum Abrufen Ihrer Ausführungsrolle finden Sie unter Holen Sie sich Ihre Ausführungsrolle.

Im folgenden Beispiel wird auf festgelegt.

• Eine SageMaker Pipeline to_pipelineAPI, die den verwendet, die Ihren Ziel-Pipeline-Namen (target-pipeline) und Ihre Transformationsfunktion (transform) aufnimmt. Informationen zu Ihrem Feature-Prozessor und Ihrer Transformationsfunktion finden Sie unter. SDKFeature-Prozessor-Datenquellen

• Ein Trigger put_triggerAPI, der den, verwendet, der das Ereignis und Ihren Ziel-Pipeline-Namen (target-pipeline) aufnimmt. FeatureProcessorPipelineEvent

  Der FeatureProcessorPipelineEvent definiert den Auslöser für den Zeitpunkt, zu dem der Status Ihrer Quellpipeline (source-pipeline) wird Succeeded. Informationen zur Feature-Prozessor-Pipeline-Ereignisfunktion finden Sie FeatureProcessorPipelineEvent im Feature Store unter Read the Docs.

from sagemaker.feature_store.feature_processor import put_trigger, to_pipeline, FeatureProcessorPipelineEvent

to_pipeline(pipeline_name="target-pipeline", step=transform)

put_trigger(
    source_pipeline_events=[
        FeatureProcessorPipelineEvent(
            pipeline_name="source-pipeline",
            status=["Succeeded"]
        )
    ],
    target_pipeline="target-pipeline"
)

Ein Beispiel für die Verwendung ereignisbasierter Trigger zur Erstellung kontinuierlicher Ausführungen und automatischer Wiederholungen für Ihre Feature-Prozessor-Pipeline finden Sie unter Kontinuierliche Ausführungen und automatische Wiederholungen mithilfe ereignisbasierter Trigger.

Ein Beispiel für die Verwendung von ereignisbasierten Triggern zur Erstellung von kontinuierlichem Streaming und für automatische Wiederholungsversuche mithilfe ereignisbasierter Trigger finden Sie unter Beispiele für das Streamen benutzerdefinierter Datenquellen.