프로덕션 준비 ML 파이프라인 생성AWS - AWS규범적 지침

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

프로덕션 준비 ML 파이프라인 생성AWS

요시아 데이비스, 베르디 마치, 음과 송, 바이추안 선, 첸 우, 웨이 이 야프

Data Science 팀AWS전문 서비스

2021년 1월

기계 학습 (ML) 프로젝트는 비즈니스 가치를 제공하고 실제 문제를 해결하기 위해 모델링, 구현 및 생산을 포함하는 상당한 다단계 노력이 필요합니다. 각 단계에서 다양한 대안 및 사용자 지정 옵션을 사용할 수 있으며, 이로 인해 리소스 및 예산의 제약 조건 내에서 생산을 위한 ML 모델을 준비하는 것이 점점 더 어려워지고 있습니다. 지난 몇 년 동안 Amazon Web Services (AWS) 데이터 사이언스 팀은 ML 이니셔티브에 대한 다양한 산업 부문과 협력해 왔습니다. 많은 사람들이 공유하는 불만 사항을 확인했습니다.AWS고객은 조직의 문제와 기술적 과제 모두에서 비롯된 것이며 생산 준비가 가능한 ML 솔루션을 제공하기 위한 최적의 접근 방식을 개발했습니다.

이 가이드는 ML 파이프라인 구현에 관여하는 데이터 과학자 및 ML 엔지니어를 위한 것입니다. 프로덕션 준비 ML 파이프라인을 제공하기 위한 당사의 접근 방식을 설명합니다. 이 가이드에서는 ML 모델을 대화형 방식으로 (개발 중) 실행하는 것에서 ML 사용 사례에 대한 파이프라인의 일부로 배포하는 방법 (프로덕션 중) 으로 전환하는 방법에 대해 설명합니다. 이를 위해 예제 템플릿 집합도 개발했습니다 (ML Max 프로젝트 프로젝트사용자 지정 ML 솔루션을 프로덕션에 신속하게 제공하므로 설계 선택을 너무 많이 수행하지 않고도 신속하게 시작할 수 있습니다.

개요

프로덕션 준비가 완료된 ML 파이프라인을 생성하기 위한 프로세스는 다음 단계로 구성됩니다.

  • 1단계. EDA 수행 및 초기 모델 개발— 데이터 과학자는 Amazon Simple Storage Service (Amazon S3) 에서 원시 데이터를 제공하고, EDA (탐색 데이터 분석) 를 수행하고, 초기 ML 모델을 개발하고, 추론 성능을 평가합니다. Jupyter 노트북을 통해 대화식으로 이러한 활동을 수행할 수 있습니다.

  • 2단계. 런타임 스크립트 만들기— 모델을 런타임 Python 스크립트와 통합하여 ML 프레임워크 (이 경우 Amazon SageMaker) 로 관리하고 프로비저닝할 수 있습니다. 독립 실행형 모델의 대화식 개발에서 프로덕션으로 전환하는 첫 번째 단계입니다. 특히 전처리, 평가, 교육 및 추론에 대한 로직을 별도로 정의합니다.

  • 3단계. 파이프라인 정의— 파이프라인의 각 단계에 대한 입력 및 출력 자리 표시자를 정의합니다. 이러한 값에 대한 구체적인 값은 나중에 런타임 중에 제공됩니다 (5단계). 교육, 추론, 교차 검증 및 역테스트를 위한 파이프라인에 중점을 둡니다.

  • 단계 4. 파이프라인 생성— 다음과 같은 기본 인프라를 생성합니다.AWS Step Functions자동 (거의 한 번의 클릭) 방식으로 상태 머신 인스턴스AWS CloudFormation.

  • 단계 5. 파이프라인 실행— 4단계에서 정의된 파이프라인을 실행합니다. 또한 3단계에서 정의한 입력/출력 자리 표시자에 대한 구체적인 값을 채우기 위해 메타데이터 및 데이터 또는 데이터 위치를 준비합니다. 여기에는 2단계에서 정의된 런타임 스크립트와 모델 하이퍼파라미터가 포함됩니다.

  • 단계 6. 파이프라인 확장— 지속적 통합 및 지속적 배포 (CI/CD) 프로세스, 자동화된 재교육, 예정된 추론 및 이와 유사한 파이프라인 확장을 구현합니다.

다음 다이어그램에서는 이 프로세스의 주요 단계를 보여 줍니다.


    프로덕션 준비 ML 파이프라인 생성 프로세스