파이프라인 실행 예약 - Amazon SageMaker
Amazon에서 파이프라인 예약 EventBridge SageMaker Python으로 파이프라인 예약 SDK

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

파이프라인 실행 예약

Amazon 를 사용하여 Amazon EventBridge SageMaker Pipelines 실행을 예약할 수 있습니다. Amazon SageMaker Pipelines은 Amazon EventBridge에서 대상으로 지원됩니다. 이를 통해 이벤트 버스의 모든 이벤트를 기반으로 모델 구축 파이프라인의 실행을 시작할 수 있습니다. 를 사용하면 파이프라인 실행을 자동화하고 훈련 작업 또는 엔드포인트 상태 변경과 같은 이벤트에 자동으로 대응할 EventBridge수 있습니다. 이벤트에는 Amazon S3 버킷에 업로드되는 새 파일, 드리프트로 인한 Amazon SageMaker 엔드포인트 상태 변경, Amazon Simple Notification Service(SNS) 주제가 포함됩니다.

다음 파이프라인 작업을 자동으로 시작할 수 있습니다. 

  • StartPipelineExecution

SageMaker 작업 예약에 대한 자세한 내용은 SageMaker Amazon으로 자동화를 참조하세요 EventBridge.

Amazon에서 파이프라인 예약 EventBridge

Amazon CloudWatch Events로 파이프라인 실행을 시작하려면 EventBridge애널 을 생성해야 합니다. 이벤트에 대한 규칙을 생성할 때 가 규칙과 일치하는 이벤트를 EventBridge 수신할 때 수행할 대상 작업을 지정합니다. 이벤트가 규칙과 일치하면 는 이벤트를 지정된 대상으로 EventBridge 보내고 규칙에 정의된 작업을 시작합니다.

다음 자습서에서는 콘솔 또는 를 EventBridge 사용하여 파이프라인 실행을 EventBridge 예약하는 방법을 보여줍니다 AWS CLI. 

사전 조건

  • 권한으로 수임할 EventBridge 수 있는 역할입니다SageMaker::StartPipelineExecution. 콘솔에서 EventBridge 규칙을 생성하는 경우 이 역할을 자동으로 생성할 수 있습니다. 그렇지 않으면 이 역할을 직접 생성해야 합니다. SageMaker 역할 생성에 대한 자세한 내용은 SageMaker 역할 단원을 참조하세요.

  • 예약할 Amazon SageMaker 파이프라인입니다. Amazon SageMaker 파이프라인을 생성하려면 파이프라인 정의를 참조하세요.

콘솔을 사용하여 EventBridge EventBridge 규칙 생성

다음 절차에서는 EventBridge 콘솔을 사용하여 EventBridge 규칙을 생성하는 방법을 보여줍니다. 

  1. EventBridge 콘솔 로 이동합니다.

  2. 왼쪽에서 규칙을 선택합니다.

  3. Create Rule을 선택합니다.

  4. 규칙의 이름과 설명을 입력합니다.

  5. 이 규칙을 시작하는 방법을 선택합니다. 다음과 같은 선택 사항이 있습니다.

    • 이벤트 패턴: 패턴과 일치하는 이벤트가 발생하면 규칙이 시작됩니다. 특정 유형의 이벤트와 일치하는 사전 정의된 패턴을 선택하거나 사용자 지정 패턴을 만들 수 있습니다. 미리 정의된 패턴을 선택한 경우 패턴을 편집하여 사용자 정의할 수 있습니다. 이벤트 패턴에 대한 자세한 내용은 CloudWatch 이벤트의 이벤트 패턴을 참조하세요.

    • 일정: 규칙은 지정된 일정에 따라 정기적으로 시작됩니다. 지정된 분, 시간 또는 주 동안 정기적으로 시작되는 고정 비율 일정을 사용할 수 있습니다. cron 표현식을 사용하여 “매월 첫 번째 월요일 오전 8시”와 같이 보다 세분화된 일정을 만들 수도 있습니다. 사용자 지정 또는 파트너 이벤트 버스에서는 일정이 지원되지 않습니다.

  6. 원하는 이벤트 버스를 선택합니다.

  7. 이벤트가 이벤트 패턴과 일치하거나 일정이 시작될 때 간접적으로 호출할 대상을 선택합니다. 규칙당 최대 5개의 대상을 추가할 수 있습니다. 대상 드롭다운 목록에서 SageMaker Pipeline을 선택합니다.

  8. 파이프라인 드롭다운 목록에서 시작하려는 파이프라인을 선택합니다.

  9. 이름과 값 쌍을 사용하여 파이프라인 실행에 전달할 파라미터를 추가합니다. 파라미터 값은 정적이거나 동적일 수 있습니다. Amazon SageMaker Pipeline 파라미터에 대한 자세한 내용은 AWS::Events::Rule을 SagemakerPipelineParameters 참조하세요.

    • 파이프라인이 시작될 때마다 정적 값이 파이프라인 실행에 전달됩니다. 예를 들어 파라미터 목록에 이 {"Name": "Instance_type", "Value": "ml.4xlarge"}지정되면 가 파이프라인을 EventBridge 시작할 StartPipelineExecutionRequest 때마다 파라미터로 전달됩니다.

    • 동적 값은 JSON path. EventBridge parses를 사용하여 이벤트 페이로드의 값을 지정한 다음 파이프라인 실행으로 전달합니다. 예: $.detail.param.value

  10. 이 규칙에 사용할 역할을 선택합니다. 기존 역할을 만들거나 새로운 역할을 사용할 수 있습니다.

  11. (선택 사항) 태그를 추가할 수 있습니다.

  12. Create를 선택하면 규칙을 확정할 수 있습니다.

이제 규칙이 적용되어 파이프라인 실행을 시작할 준비가 되었습니다.

를 사용하여 EventBridge 규칙 생성 AWS CLI

다음 절차에서는 를 사용하여 EventBridge 규칙을 생성하는 방법을 보여줍니다 AWS CLI.

  1. 시작할 규칙을 생성하세요. 를 사용하여 EventBridge 규칙을 생성할 때는 규칙이 시작되는 방법 AWS CLI, 이벤트 패턴 및 일정에 대한 두 가지 옵션이 있습니다.

    • 이벤트 패턴: 패턴과 일치하는 이벤트가 발생하면 규칙이 시작됩니다. 특정 유형의 이벤트와 일치하는 사전 정의된 패턴을 선택하거나 사용자 지정 패턴을 만들 수 있습니다. 미리 정의된 패턴을 선택한 경우 패턴을 편집하여 사용자 정의할 수 있습니다.   다음 명령을 사용하면 이벤트 패턴에 규칙을 생성할 수 있습니다.

      aws events put-rule --name <RULE_NAME> ----event-pattern <YOUR_EVENT_PATTERN> --description <RULE_DESCRIPTION> --role-arn <ROLE_TO_EXECUTE_PIPELINE> --tags <TAGS>

    • 일정: 규칙은 지정된 일정에 따라 정기적으로 시작됩니다. 지정된 분, 시간 또는 주 동안 정기적으로 시작되는 고정 비율 일정을 사용할 수 있습니다. cron 표현식을 사용하여 “매월 첫 번째 월요일 오전 8시”와 같이 보다 세분화된 일정을 만들 수도 있습니다. 사용자 지정 또는 파트너 이벤트 버스에서는 일정이 지원되지 않습니다. 다음 명령을 사용하면 일정에서도 규칙을 생성할 수 있습니다.

      aws events put-rule --name <RULE_NAME> --schedule-expression <YOUR_CRON_EXPRESSION> --description <RULE_DESCRIPTION> --role-arn <ROLE_TO_EXECUTE_PIPELINE> --tags <TAGS>

  2. 이벤트가 이벤트 패턴과 일치하거나 일정이 시작될 때 간접적으로 호출할 대상을 추가합니다. 규칙당 최대 5개의 대상을 추가할 수 있습니다.   각 대상에 대해 다음을 지정해야 합니다. 

    • ARN: 파이프라인ARN의 리소스입니다.

    • 역할 ARN: 파이프라인을 실행하기 위해 역할ARN의 가 수임 EventBridge 해야 합니다.

    • 파라미터: 전달할 Amazon SageMaker 파이프라인 파라미터입니다.

  3. 다음 명령을 실행하여 put-targets를 사용하여 Amazon SageMaker 파이프라인을 규칙에 대상으로 전달합니다.

    aws events put-targets --rule <RULE_NAME> --event-bus-name <EVENT_BUS_NAME> --targets "[{\"Id\": <ID>, \"Arn\": <RESOURCE_ARN>, \"RoleArn\": <ROLE_ARN>, \"SageMakerPipelineParameter\": { \"SageMakerParameterList\": [{\"Name\": <NAME>, \"Value\": <VALUE>}]} }]"] 

SageMaker Python으로 파이프라인 예약 SDK

다음 섹션에서는 SageMaker Python 을 사용하여 EventBridge 리소스에 액세스하고 파이프라인 일정을 생성할 수 있는 권한을 설정하는 방법을 보여줍니다SDK.

필수 권한

파이프라인 스케줄러를 사용하려면 필요한 권한이 있어야 합니다. 다음 단계를 완료하여 권한을 설정합니다.

  1. 파이프라인 트리거를 생성하는 데 사용되는 IAM 역할에 다음 최소 권한 정책을 연결하거나 AWS 관리형 정책 을 사용합니다AmazonEventBridgeSchedulerFullAccess.

    {
    "Version": "2012-10-17",
    "Statement":
    [
        {
            "Action":
            [
                "scheduler:ListSchedules",
                "scheduler:GetSchedule",
                "scheduler:CreateSchedule",
                "scheduler:UpdateSchedule",
                "scheduler:DeleteSchedule"
            ],
            "Effect": "Allow",
            "Resource":
            [
                "*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "arn:aws:iam::*:role/*", 
            "Condition": {
                "StringLike": {
                    "iam:PassedToService": "scheduler.amazonaws.com"
                }
            }
        }
    ]
}

  2. scheduler.amazonaws.com 이 역할의 신뢰 정책에 서비스 보안 주체를 EventBridge 추가하여 와 신뢰 관계를 설정합니다. SageMaker Studio에서 노트북을 시작하는 경우 실행 역할에 다음 신뢰 정책을 연결해야 합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": [
                    "scheduler.amazonaws.com",
                    "sagemaker.amazonaws.com"
                ]
            },
        "Action": "sts:AssumeRole"
        }
    ]
}

파이프라인 일정 생성

PipelineSchedule 생성기를 사용하여 파이프라인이 한 번 또는 미리 결정된 간격으로 실행되도록 예약할 수 있습니다. 파이프라인 일정은 유형 at, rate또는 이어야 합니다cron. 이 예약 유형 세트는 EventBridge 예약 옵션 의 확장입니다. PipelineSchedule 클래스를 사용하는 방법에 대한 자세한 내용은 sagemaker.workflow.triggers를 참조하세요PipelineSchedule. 다음 예제에서는 를 사용하여 각 예약 유형을 생성하는 방법을 보여줍니다PipelineSchedule.

from sagemaker.workflow.triggers import PipelineSchedule

# schedules a pipeline run for 12/13/2023 at time 10:15:20 UTC
my_datetime_schedule = PipelineSchedule(
    name="<schedule-name>", 
    at=datetime(2023, 12, 13, 10, 15, 20)
)

# schedules a pipeline run every 5 minutes
my_rate_schedule = PipelineSchedule(
    name="<schedule-name>", 
    rate=(5, "minutes")
)

# schedules a pipeline run at 10:15am UTC on the last Friday of each month during the years 2022 to 2023
my_cron_schedule = PipelineSchedule(
    name="<schedule-name>", 
    cron="15 10 ? * 6L 2022-2023"
)
참고

일회성 일정을 생성하고 현재 시간에 액세스해야 하는 경우 datetime.utcnow() 대신 를 사용합니다datetime.now(). 후자는 현재 영역 컨텍스트를 저장하지 않으며 에 잘못된 시간이 경과됩니다 EventBridge.

파이프라인에 트리거 연결

를 파이프라인PipelineSchedule에 연결하려면 트리거 목록이 포함된 생성된 파이프라인 객체에서 put_triggers 호출을 호출합니다. 응답을 받으면 계정에서 일정을 ARN성공적으로 생성하고 지정된 시간 또는 속도로 대상 파이프라인을 호출하기 EventBridge 시작합니다. 상위 파이프라인에 트리거를 연결할 수 있는 올바른 권한이 있는 역할을 지정해야 합니다. 제공하지 않으면 파이프라인은 구성 파일 에서 파이프라인을 생성하는 데 사용되는 기본 역할을 가져옵니다.

다음 예제에서는 일정을 파이프라인에 연결하는 방법을 보여줍니다.

scheduled_pipeline = Pipeline(
    name="<pipeline-name>",
    steps=[...],
    sagemaker_session=<sagemaker-session>,
)
custom_schedule = PipelineSchedule(
    name="<schedule-name>", 
    at=datetime(year=2023, month=12, date=25, hour=10, minute=30, second=30)
)
scheduled_pipeline.put_triggers(triggers=[custom_schedule], role_arn=<role>)

현재 트리거 설명

생성된 파이프라인 트리거에 대한 정보를 검색하려면 트리거 이름으로 describe_trigger()API를 호출할 수 있습니다. 이 명령은 시작 시간, 활성화된 상태 및 기타 유용한 정보와 같이 생성된 일정 표현식에 대한 세부 정보를 반환합니다. 다음 조각은 샘플 호출을 보여줍니다.

scheduled_pipeline.describe_trigger(name="<schedule-name>")

트리거 리소스 정리

파이프라인을 삭제하기 전에 계정의 리소스 누출을 방지하기 위해 기존 트리거를 정리합니다. 상위 파이프라인을 파괴하기 전에 트리거를 삭제해야 합니다. 트리거 이름 목록을 delete_triggers 에 전달하여 트리거를 삭제할 수 있습니다API. 다음 코드 조각은 트리거를 삭제하는 방법을 보여줍니다.

pipeline.delete_triggers(trigger_names=["<schedule-name>"])
참고

트리거를 삭제할 때 다음 제한 사항에 유의하세요.

  • 트리거 이름을 지정하여 트리거를 삭제하는 옵션은 SageMaker Python 에서만 사용할 수 있습니다SDK. CLI 또는 DeletePipeline API 호출에서 파이프라인을 삭제해도 트리거는 삭제되지 않습니다. 따라서 트리거가 고립되어 존재하지 않는 파이프라인에 대한 실행을 시작하려고 SageMaker 시도합니다.

  • 또한 다른 노트북 세션을 사용 중이거나 파이프라인 대상을 이미 삭제한 경우 스케줄러 CLI 또는 EventBridge 콘솔을 통해 고립된 일정을 정리합니다.