4단계. 파이프라인 생성

파이프라인을 논리적으로 정의했으면 이제 파이프라인을 지원하는 인프라를 만들 차례입니다. 이 단계에는 최소한 다음과 같은 기능이 필요합니다.

• 트레이닝 및 추론 실행에 사용되는 코드, 모델 아티팩트, 데이터를 비롯한 파이프라인 입력과 출력을 호스팅하고 관리하기 위한 스토리지입니다.

• 모델링과 추론, 데이터 전처리 및 후처리를 위한 컴퓨팅(GPU 또는 CPU)

• 오케스트레이션: 사용 중인 리소스를 관리하고 정기적인 실행 일정을 잡기 위한 것입니다. 예를 들어 새 데이터를 사용할 수 있게 되면 모델을 주기적으로 재학습할 수 있습니다.

• 로깅 및 알림, 파이프라인 모델 정확도 모니터링, 리소스 활용 및 문제 해결

AWS CloudFormation(으)로 구현

인프라를 코드로 배포하고 관리하는 AWS 서비스인 파이프라인을 만들 때 AWS CloudFormation을(를) 사용했습니다. AWS CloudFormation 템플릿에는 이전 단계에서 Step Functions SDK를 사용하여 생성된 Step Functions 정의가 포함되어 있습니다. 이 단계에는 Step Functions 상태 머신이라고 하는 AWS에서 관리하는 Step Functions 인스턴스의 생성이 포함됩니다. 훈련 및 추론 작업은 필요할 때만 SageMaker 작업으로 온디맨드 방식으로 실행되므로 이 단계에서는 학습 및 추론을 위한 리소스가 생성되지 않습니다. 이 단계에는 Step Functions를 실행하고, SageMaker를 실행하고, Amazon S3에서 읽고 쓸 수 있는 AWS Identity and Access Management(IAM) 역할을 생성하는 것도 포함됩니다.

Step Functions SDK의 출력 수정

이전 섹션의 AWS CloudFormation 출력을 약간 수정해야 했습니다. 간단한 Python 문자열 매칭을 사용하여 다음을 수행했습니다.

• AWS CloudFormation 템플릿의 Parameters 섹션을 생성하기 위한 로직을 추가했습니다. 이는 두 개의 역할을 생성하고 배포 환경과 함께 파이프라인 이름을 매개변수로 정의하려고 하기 때문입니다. 또한 이 단계에는 6단계에서 설명한 것처럼 생성하려는 추가 리소스 및 역할도 포함됩니다.

• 배포 프로세스의 일환으로 동적으로 업데이트될 수 있도록 필수 !Sub 접두사와 따옴표를 포함하도록 세 필드를 다시 포맷했습니다.

  • 상태 머신의 이름을 지정하는 StateMachineName 속성.

  • 상태 머신을 정의하는 DefinitionString 속성.

  • 상태 머신에서 반환되는 RoleArn 속성.