Feature Store Feature Processor パイプラインの作成と実行

Feature Processor SDK は、Feature Processor 定義をフルマネージド SageMaker AI パイプラインに昇格させるための APIs を提供します。Pipelines の詳細については、「Pipelines の概要」を参照してください。の Feature Processor 定義を SageMaker AI パイプラインに変換するには、Feature Processor 定義で to_pipeline API を使用します。Feature Processor 定義の実行をスケジュールしたり、CloudWatch メトリクスで運用面からモニタリングしたり、EventBridge と統合してイベントソースまたはサブスクライバーとして機能させたりできます。Pipelines で作成したパイプラインのモニタリングの詳細については、「Amazon SageMaker Feature Store Feature Processor パイプラインのモニタリング」を参照してください。

Feature Processor パイプラインを表示するには、「コンソールからパイプライン実行を表示する」を参照してください。

関数にも @remote デコレータがデコレートされていれば、その設定は Feature Processor パイプラインに引き継がれます。@remote デコレータを使用して、コンピューティングインスタンスのタイプと数、ランタイムの依存関係、ネットワークとセキュリティの設定などの高度な設定を指定できます。

次の例では、to_pipeline API と execute API を使用します。

from sagemaker.feature_store.feature_processor import (
    execute, to_pipeline, describe, TransformationCode
)

pipeline_name="feature-processor-pipeline"
pipeline_arn = to_pipeline(
    pipeline_name=pipeline_name,
    step=transform,
    transformation_code=TransformationCode(s3_uri="s3://bucket/prefix"),
)

pipeline_execution_arn = execute(
    pipeline_name=pipeline_name
)

to_pipeline API は意味的にはアップサート操作です。パイプラインが既に存在する場合は更新し、存在しない場合はパイプラインを作成します。

to_pipeline API はオプションで、Feature Processor 定義を含むファイルを参照する Amazon S3 URI を受け入れて Feature Processor パイプラインに関連付け、変換関数とそのバージョンを SageMaker AI 機械学習系統で追跡します。

アカウント内のすべての Feature Processor パイプラインのリストを取得するには、list_pipelines API を使用します。describe API へのその後のリクエストでは、Pipelines やスケジュールの詳細などの Feature Processor パイプラインに関連する詳細が返されます。

次の例では、list_pipelines API と describe API を使用します。

from sagemaker.feature_store.feature_processor import list_pipelines, describe

feature_processor_pipelines = list_pipelines()

pipeline_description = describe(
    pipeline_name = feature_processor_pipelines[0]
)