단계 간 데이터 전달

파이프라인 단계의 출력에서 정보를 검색해야 하는 경우 다음을 사용할 수 있습니다JsonGet. JsonGetAmazon S3 또는 속성 파일에서 정보를 추출하는 데 도움이 됩니다. 다음 섹션에서는 단계 출력을 추출하는 데 사용할 수 있는 방법을 설명합니다JsonGet.

Amazon S3를 사용하여 단계 간에 데이터를 전달합니다.

a를 사용하여 Amazon JsonGet ConditionStep S3에서 직접 JSON 출력을 가져올 수 있습니다. Amazon S3 URI는 기본 문자열, 파이프라인 실행 변수 또는 파이프라인 파라미터를 포함하는 Std:Join 함수일 수 있습니다. 다음 예제는 JsonGet a에서 사용하는 방법을 보여줍니다. ConditionStep

# Example json file in s3 bucket generated by a processing_step
{
   "Output": [5, 10]
}

cond_lte = ConditionLessThanOrEqualTo(
    left=JsonGet(
        step_name="<step-name>",
        s3_uri="<s3-path-to-json>",
        json_path="Output[1]"
    ),
    right=6.0
)

조건 단계에서 Amazon S3 JsonGet 경로와 함께 사용하는 경우 조건 단계와 JSON 출력을 생성하는 단계 사이에 종속성을 명시적으로 추가해야 합니다. 다음 예시에서는 처리 단계에 종속된 조건 단계를 생성합니다.

cond_step = ConditionStep(
        name="<step-name>",
        conditions=[cond_lte],
        if_steps=[fail_step],
        else_steps=[register_model_step],
        depends_on=[processing_step],
)

속성 파일을 사용하여 단계 간에 데이터 전달

속성 파일을 사용하여 처리 단계 출력의 정보를 저장합니다. 이는 처리 단계의 결과를 분석하여 조건부 단계의 실행 방법을 결정할 때 특히 유용합니다. JsonGet함수는 속성 파일을 처리하고 JsonPath 표기법을 사용하여 속성 JSON 파일을 쿼리할 수 있도록 합니다. JsonPath 표기법에 대한 자세한 내용은 리포지토리를 참조하십시오. JsonPath

나중에 사용할 수 있도록 속성 파일을 저장하려면 먼저 다음 형식의 PropertyFile인스턴스를 만들어야 합니다. path 파라미터는 속성 파일이 저장되는 JSON 파일의 이름입니다. 모든 output_name은 처리 단계에서 정의한 ProcessingOutput의 output_name과 일치해야 합니다. 이렇게 하면 속성 파일이 단계에서 ProcessingOutput을 캡처할 수 있습니다.

from sagemaker.workflow.properties import PropertyFile

<property_file_instance> = PropertyFile(
    name="<property_file_name>",
    output_name="<processingoutput_output_name>",
    path="<path_to_json_file>"
)

ProcessingStep인스턴스를 생성할 때 Amazon SageMaker Model Building Pipelines 서비스가 인덱싱해야 하는 모든 파라미터 파일을 나열하는 파라미터를 추가하십시오. property_files 이렇게 하면 나중에 사용할 수 있도록 속성 파일이 저장됩니다.

property_files=[<property_file_instance>]

조건 단계에서 속성 파일을 사용하려면 다음 예제와 같이 조건 단계에 전달하는 조건에 property_file을 추가하고 json_path파라미터를 사용하여 원하는 속성에 대한 JSON 파일을 쿼리합니다.

cond_lte = ConditionLessThanOrEqualTo(
    left=JsonGet(
        step_name=step_eval.name,
        property_file=<property_file_instance>,
        json_path="mse"
    ),
    right=6.0
)

자세한 예제는 Amazon SageMaker Python SDK의 속성 파일을 참조하십시오.