ステップ間でデータを渡す

パイプラインステップの出力から情報を取得する必要がある場合は、 を使用できますJsonGet。 は、Amazon S3 またはプロパティファイルから情報を抽出JsonGetするのに役立ちます。以下のセクションでは、 でステップ出力を抽出するために使用できる方法を説明しますJsonGet。

Amazon S3 を使用してステップ間でデータを渡す

JsonGet の を使用してConditionStep、Amazon S3 から直接JSON出力を取得できます。Amazon S3 は、プリミティブ文字列、パイプライン実行変数、またはパイプラインパラメータを含むStd:Join関数URIにすることができます。次の例は、 JsonGetで を使用する方法を示していますConditionStep。

# Example json file in s3 bucket generated by a processing_step
{
   "Output": [5, 10]
}

cond_lte = ConditionLessThanOrEqualTo(
    left=JsonGet(
        step_name="<step-name>",
        s3_uri="<s3-path-to-json>",
        json_path="Output[1]"
    ),
    right=6.0
)

条件ステップで Amazon S3 パスJsonGetで を使用している場合は、条件ステップとJSON出力を生成するステップの間に依存関係を明示的に追加する必要があります。次の例では、処理ステップに依存する条件ステップが作成されます。

cond_step = ConditionStep(
        name="<step-name>",
        conditions=[cond_lte],
        if_steps=[fail_step],
        else_steps=[register_model_step],
        depends_on=[processing_step],
)

プロパティファイルを使用してステップ間でデータを渡す

プロパティファイルを使用して、処理ステップの出力の情報を保存します。これは、処理ステップの結果を分析して、条件ステップの実行方法を決定するために特に便利です。JsonGet 関数はプロパティファイルを処理し、 JsonPath 表記を使用してプロパティJSONファイルをクエリできます。 JsonPath 表記の詳細については、リポジトリ JsonPath を参照してください。

後で使用できるようにプロパティファイルを保存するには、最初に PropertyFile インスタンスを以下の形式で作成する必要があります。path パラメータは、プロパティJSONファイルが保存されるファイルの名前です。いずれの output_name も、処理ステップで定義した ProcessingOutput の output_name と一致する必要があります。これにより、ステップの ProcessingOutput をプロパティファイルでキャプチャできるようになります。

from sagemaker.workflow.properties import PropertyFile

<property_file_instance> = PropertyFile(
    name="<property_file_name>",
    output_name="<processingoutput_output_name>",
    path="<path_to_json_file>"
)

ProcessingStep インスタンスを作成するときは、 property_filesパラメータを追加して、Amazon SageMaker Model Building Pipelines サービスがインデックスを作成する必要があるすべてのパラメータファイルを一覧表示します。これにより、プロパティファイルが保存され、後で使用できるようになります。

property_files=[<property_file_instance>]

条件ステップでプロパティファイルを使用するには、次の例に示すように、property_file条件ステップに渡す条件に を追加して、 json_pathパラメータを使用して目的のプロパティのJSONファイルをクエリします。

cond_lte = ConditionLessThanOrEqualTo(
    left=JsonGet(
        step_name=step_eval.name,
        property_file=<property_file_instance>,
        json_path="mse"
    ),
    right=6.0
)

詳細な例については、Amazon Python の「プロパティファイル」を参照してください。 SageMaker SDK