에서 Step AWS Data Pipeline Functions로 워크로드 마이그레이션

AWS 2012년에 AWS Data Pipeline 서비스를 시작했습니다. 당시 고객은 다양한 컴퓨팅 옵션을 사용하여 서로 다른 데이터 소스 간에 데이터를 이동할 수 있는 서비스를 원했습니다. 시간이 경과하면서 데이터 전송 요구 사항이 변함에 따라 이러한 요구 사항에 대한 솔루션도 변했습니다. 이제 비즈니스 요구 사항에 가장 부합하는 솔루션을 선택할 수 있습니다. 예를 들어 다음 중 하나를 수행할 수 있습니다.

• Step Functions를 사용하여 워크플로를 여러 AWS 서비스 사이에서 오케스트레이션합니다.

• Amazon Managed Workflows for Apache Airflow(Amazon MWAA)를 사용하여 Apache Airflow의 워크플로 오케스트레이션을 관리합니다.

• Apache Spark 애플리케이션을 실행하고 AWS Glue 오케스트레이션하는 데 사용합니다.

일반적인 사용 사례는 Step AWS Data Pipeline Functions 또는 AWS Glue Amazon MWAA로 마이그레이션할 수 있습니다. 선택한 옵션은 현재 AWS Data Pipeline의 워크로드에 따라 다릅니다. 이 항목에서는 에서 Step Functions로 AWS Data Pipeline 마이그레이션하는 방법을 설명합니다.

AWS Data Pipeline에서 워크로드 마이그레이션

Step Functions는 중요 비즈니스용 애플리케이션의 워크플로를 빌드하는 서버리스 오케스트레이션 서비스입니다. Step Functions의 Workflow Studio를 사용하면 워크플로를 빌드하고 AWS 서비스 250개 이상에서 11,000개가 넘는 API 작업과 통합할 수 있습니다. 여기에는 AWS 서비스 Amazon EMR AWS Lambda, Amazon DynamoDB 등이 포함됩니다. 또한 Step Functions를 사용하여 데이터 처리 파이프라인을 오케스트레이션하고 오류를 처리하며 기본 AWS 서비스에서 한도 제한을 사용할 수 있습니다. 기계 학습 모델을 처리 및 게시하고 마이크로서비스를 오케스트레이션하고 AWS Glue를 사용하여 추출, 전환, 적재(ETL) 워크플로를 처리하는 워크플로를 만들 수 있습니다. 또한 사람의 상호 작용이 필요한 애플리케이션을 위해 장기간 실행되는 자동화된 워크플로를 만들 수 있습니다.

Step Functions는 AWS에서 제공하는 완전 관리형 서비스입니다. 즉, 인프라 유지, 작업자 패치 적용 및 OS 버전 업데이트 관리와 같은 작업을 AWS 에서 관리합니다.

사용 사례가 다음 조건과 일치하는 경우 에서 Step Functions로 AWS Data Pipeline 마이그레이션하는 것이 좋습니다.

• 가용성이 높은 서버리스 워크플로 오케스트레이션 서비스를 선호합니다.

• 단일 작업 실행의 세분화로 요금이 청구되는 솔루션이 필요합니다.

• 워크로드에는 Amazon EMR AWS 서비스, Lambda 또는 DynamoDB와 같은 기타 여러 작업을 오케스트레이션하는 작업이 포함됩니다. AWS Glue

• 워크플로 생성을 위해서는 비주얼 디자이너가 포함된 로우코드 솔루션이 필요합니다. drag-and-drop 이 솔루션을 위해 익숙하지 않은 복잡한 프로그래밍 개념을 배울 필요가 없습니다.

• 11,000개 이상의 API 작업을 AWS 서비스 지원하는 250개 이상의 서비스와 통합되는 서비스가 필요합니다. 또한 이 서비스는 사용자 지정 서비스 및 외부 활동과도 통합되어야 합니다. AWS

Step Functions 및 AWS Data Pipeline 간의 개념 매핑

AWS Data Pipeline 및 Step Functions는 몇 가지 공통된 개념을 공유합니다. 예를 들어 워크플로를 정의하려면 Step AWS Data Pipeline Functions와 Step Functions에서 모두 JSON 형식을 사용합니다. Step Functions에서는 JSON 기반 구조화된 언어인 Amazon States Language를 사용합니다. Amazon States Language(ASL)를 사용하여 워크플로를 정의하고 워크플로의 텍스트 표현이나 시각적 표현으로 전환할 수 있습니다. 이 JSON 기반 형식을 사용하면 워크플로를 간단하게 소스 제어 도구에 저장할 수 있습니다. 또한 여러 버전의 워크플로를 관리하거나 액세스를 제어하거나 CI/CD 방식으로 오케스트레이션을 자동화할 수 있습니다.

다음 표에서는 두 서비스 모두에서 사용되는 주요 개념 간의 매핑을 설명합니다. 왼쪽의 데이터 파이프라인 개념 열에는 의 개념이 나열되어 있고 오른쪽의 Step Functions 개념 열에는 Step Functions의 해당 개념이 나열되어 있습니다. AWS Data Pipeline

데이터 파이프라인 개념	Step Functions 개념
파이프라인	워크플로
파이프라인 정의	Amazon States Language(ASL)
활동	상태 및 작업
인스턴스	실행
Attempts	Catcher 및 Retrier
파이프라인 일정	Amazon EventBridge 스케줄러를 사용한 실행 파이프를 통해 트리거된 이벤트 EventBridge
파이프라인 표현식 및 함수	내장 함수 서비스 통합을 사용하는 Lambda 함수

Step Functions 샘플 프로젝트

Step Functions 소개는 다음 비디오를 참조하세요.

다음 목록에서는 Step Functions를 사용하여 가장 일반적인 AWS Data Pipeline 사용 사례를 구현하는 몇 가지 샘플 프로젝트를 간략하게 설명합니다. 이 샘플 프로젝트를 참조로 사용하여 Step Functions로 AWS Data Pipeline 마이그레이션할 수 있습니다. 또한 이를 상용구로 사용하여 자체 워크플로를 빌드하고 사용 사례에 따라 지원되는 AWS 서비스와 통합할 수 있습니다.

• Amazon EMR 작업 관리

• Amazon EMR Serverless에서 데이터 처리 작업 실행

• Hive/Pig/Hadoop 작업 실행

• 대규모 데이터세트 쿼리 (아마존 아테나, 아마존 S3 AWS Glue, 아마존 SNS)

• Amazon Redshift를 사용하여 ETL/ELT 워크플로 실행

• 크롤러 오케스트레이션 AWS Glue

• Step Functions를 사용하여 쉘 스크립트 실행

Step Functions에 대한 자세한 내용은 다음 주제와 리소스를 참조하세요.

• Step Functions 자습서

• Step Functions를 위한 샘플 프로젝트

• AWS Step Functions 워크숍

요금 비교

AWS Data Pipeline 파이프라인 수와 사용 수준에 따라 가격이 책정됩니다. 하루에 2회 이상 실행되는 활동(높은 빈도)에는 활동당 매월 $1 요금이 청구됩니다. 하루에 1회 미만으로 실행되는 활동(낮은 빈도)에는 활동당 매월 $0.60 요금이 청구됩니다. 비활성 파이프라인 요금은 파이프라인당 $1입니다. 요금에 대한 자세한 내용은 AWS Data Pipeline 요금 페이지를 참조하세요.

Step Functions에는 표준 및 Express 등 두 가지 유형의 워크플로가 있습니다. 워크플로 유형마다 요금 모델이 다릅니다. 이 비교는 표준 워크플로를 기반으로 합니다. 표준 워크플로우가 일반적인 사용 사례와 가장 잘 일치하기 때문입니다. AWS Data Pipeline 표준 워크플로 요금은 상태 전환 1,000회당 $0.025입니다. 비활성 상태 시스템에는 요금이 청구되지 않으며 사용한 만큼만 요금을 지불하면 됩니다. 요금에 대한 자세한 내용은 AWS Step Functions 요금 페이지를 참조하세요.