기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
AWS 개발자 도구를 SageMaker 사용하여 ML, 빌드, 교육 및 워크로드를 Amazon으로 마이그레이션, 배포
작성자: Scot Marvin(AWS)
R 유형: 리플랫포밍 | 소스: 기계 학습 | 대상: 아마존 SageMaker |
작성자: AWS | 환경: PoC 또는 파일럿 | 기술: 기계 학습 및 AI DevOps, 마이그레이션 |
AWS 서비스: 아마존 SageMaker |
요약
이 패턴은 Unix 또는 Linux 서버에서 실행되는 온프레미스 기계 학습 (ML) 애플리케이션을 Amazon을 사용하여 AWS에서 교육 및 배포하도록 마이그레이션하기 위한 지침을 제공합니다. SageMaker 이 배포는 지속적 통합 및 지속적 배포(CI/CD) 파이프라인을 사용합니다. 마이그레이션 패턴은 AWS CloudFormation 스택을 사용하여 배포됩니다.
사전 조건 및 제한 사항
사전 조건
AWS 랜딩 존
을 사용하는 활성 AWS 계정 Unix 또는 Linux 서버에 AWS Command Line Interface(AWS CLI)
가 설치 및 구성됩니다. AWS CodeCommit 또는 아마존 심플 스토리지 서비스 (Amazon S3) 에 있는 ML 소스 코드 리포지토리 GitHub
제한 사항
한 AWS 리전에 배포할 수 있는 개별 파이프라인은 300개뿐입니다.
이 패턴은 Python으로 train-and-deploy 코드를 사용하는 감독형 ML 워크로드를 위한 것입니다.
제품 버전
도커 버전 19.03.5, 빌드 633a0ea, Python 3.6x 사용
아키텍처
소스 기술 스택
로컬 파일 시스템 또는 관계형 데이터베이스의 데이터가 있는 온프레미스 Linux 컴퓨팅 인스턴스
소스 아키텍처
대상 기술 스택
AWS는 데이터 스토리지용으로 Amazon S3와 함께, 파이프라인 실행 추적 또는 로깅을 위한 메타데이터 스토어로 Amazon DynamoDB와 함께 CodePipeline 배포되었습니다.
대상 아키텍처
애플리케이션 마이그레이션 아키텍처
기본 Python 패키지 및 AWS CodeCommit 리포지토리 (및 데이터베이스 인스턴스의 온프레미스 데이터 세트용 SQL 클라이언트)
도구
Python
Git
AWS CLI — AWS CLI는 AWS CloudFormation 스택을 배포하고
데이터를 S3 버킷으로 이동합니다. S3 버킷은 차례로 대상으로 이어집니다.
에픽
| 작업 | 설명 | 필요한 기술 |
|---|---|---|
| 소스 코드 및 데이터 세트를 검증하십시오. | 데이터 사이언티스트 | |
| 대상 빌드, 교육, 배포 인스턴스 유형과 크기를 식별합니다. | 데이터 엔지니어, 데이터 사이언티스트 | |
| 기능 목록 및 용량 요구 사항을 작성합니다. | ||
| 네트워크 요구 사항을 확인합니다. | DBA, 시스템 관리자 | |
| 소스 및 대상 데이터베이스의 네트워크 또는 호스트 액세스 보안 요구 사항을 확인합니다. | 데이터 엔지니어, ML 엔지니어, 시스템 관리자 | |
| 백업 전략을 결정합니다. | ML 엔지니어, 시스템 관리자 | |
| 가용성 요구 사항을 결정합니다. | ML 엔지니어, 시스템 관리자 | |
| 애플리케이션 마이그레이션 또는 전환 전략을 환인합니다. | 데이터 사이언티스트, ML 엔지니어 |
| 작업 | 설명 | 필요한 기술 |
|---|---|---|
| Virtual Private Cloud(VPC)를 생성합니다. | ML 엔지니어, 시스템 관리자 | |
| 보안 그룹 생성. | ML 엔지니어, 시스템 관리자 | |
| ML 코드용 Amazon S3 버킷과 AWS CodeCommit 리포지토리 브랜치를 설정합니다. | ML 엔지니어 |
| 작업 | 설명 | 필요한 기술 |
|---|---|---|
| 기본 MySQL 도구 또는 타사 도구를 사용하여 데이터 세트를 프로비저닝된 S3 버킷으로 마이그레이션, 교육, 검증 및 테스트할 수 있습니다. | 이는 AWS CloudFormation 스택 배포에 필요합니다. | 데이터 엔지니어, ML 엔지니어 |
| ML 트레인과 호스팅 코드를 Python 패키지로 패키징하고 AWS CodeCommit 또는 의 프로비저닝된 리포지토리로 푸시합니다. GitHub | 마이그레이션할 AWS CloudFormation 템플릿을 배포하려면 리포지토리의 브랜치 이름이 필요합니다. | 데이터 사이언티스트, ML 엔지니어 |
| 작업 | 설명 | 필요한 기술 |
|---|---|---|
| ML 워크로드 마이그레이션 전략을 따릅니다. | 애플리케이션 소유자, ML 엔지니어 | |
| AWS CloudFormation 스택을 배포합니다. | AWS CLI를 사용하여 이 솔루션과 함께 제공된 YAML 템플릿에 선언된 스택을 생성합니다. | 데이터 사이언티스트, ML 엔지니어 |
| 작업 | 설명 | 필요한 기술 |
|---|---|---|
| 애플리케이션 클라이언트를 새 인프라로 전환합니다. | 애플리케이션 소유자, 데이터 사이언티스트, ML 엔지니어 |
| 작업 | 설명 | 필요한 기술 |
|---|---|---|
| 임시 AWS 리소스를 종료합니다. | AWS CloudFormation 템플릿에서 모든 사용자 지정 리소스 (예: 사용되지 않는 모든 AWS Lambda 함수) 를 종료합니다. | 데이터 사이언티스트, ML 엔지니어 |
| 프로젝트 문서를 검토하고 검증하세요. | 애플리케이션 소유자, 데이터 사이언티스트 | |
| 운영자와 함께 결과 및 ML 모델 평가 지표를 검증합니다. | 모델 성능이 애플리케이션 사용자의 기대치와 일치하고 온프레미스 상태와 비슷한지 확인합니다. | 애플리케이션 소유자, 데이터 사이언티스트 |
| 프로젝트를 마무리하고 피드백을 제공하세요. | 애플리케이션 소유자, ML 엔지니어 |
관련 리소스
첨부
이 문서와 관련된 추가 콘텐츠에 액세스하려면 attachment.zip 파일의 압축을 풉니다.
