4단계. 파이프라인 생성 - AWS규범적 지침

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

4단계. 파이프라인 생성


   파이프라인을 생성합니다.

파이프라인을 논리적으로 정의한 후에는 파이프라인을 지원할 인프라를 만들어야 합니다. 이 단계에는 최소한 다음과 같은 기능이 필요합니다.

  • 코드, 모델 아티팩트, 훈련 및 추론 실행에 사용되는 데이터를 포함하여 파이프라인 입력 및 출력을 호스팅하고 관리하는 스토리지

  • 모델링 및 추론은 물론 데이터 전처리 및 후처리를 위한 컴퓨팅 (GPU 또는 CPU) 입니다.

  • 오케스트레이션, 사용 중인 리소스를 관리하고 정기적인 실행을 예약할 수 있습니다. 예를 들어, 새 데이터를 사용할 수 있게 되면 모델을 주기적으로 재교육할 수 있습니다.

  • 로깅 및 경고, 파이프라인 모델 정확성 모니터링, 리소스 활용도 및 문제 해결

구현AWS CloudFormation

파이프라인을 생성하려면AWS CloudFormation()AWS인프라를 코드로 배포 및 관리하는 서비스입니다. 이AWS CloudFormation템플릿에는 Step Functions SDK를 사용하여 이전 단계인 Step Functions 정의가 포함됩니다. 이 단계에는 AWS 관리형 Step Functions 인스턴스의 생성이 포함됩니다.Step Functions 상태 머신. 교육 및 추론 작업은 필요할 때만 SageMaker 작업으로 필요에 따라 실행되므로 이 단계에서는 교육 및 추론을 위한 리소스가 생성되지 않습니다. 이 단계에는 생성도 포함됩니다.AWS Identity and Access ManagementStep Functions 실행하고, SageMaker를 실행하고, Amazon S3 읽고 쓰는 (IAM) 역할입니다.

Step Functions SDK에서 출력 수정

우리는 몇 가지 사소한 수정을해야했습니다.AWS CloudFormation이전 단원에서 출력합니다. 간단한 Python 문자열 매칭을 사용하여 다음을 수행했습니다.

  • 만들기 위한 로직을 추가했습니다.Parameters의 단원AWS CloudFormation템플릿. 이는 두 가지 역할을 만들고 파이프라인 이름을 배포 환경과 함께 매개 변수로 정의하려고 하기 때문입니다. 이 단계에서는 6단계에서 설명한 대로 만들 수 있는 추가 리소스 및 역할도 다룹니다.

  • 필수 필드를 갖도록 세 개의 필드를 다시 포맷했습니다.!Sub배포 프로세스의 일부로 동적으로 업데이트할 수 있도록 접두사와 따옴표:

    • StateMachineName속성으로 상태 시스템의 이름을 지정합니다.

    • DefinitionString속성으로 상태 머신을 정의합니다.

    • RoleArn속성으로, 상태 머신에서 반환됩니다.