데이터 처리

점점 다양해진 소스로 인해 데이터 양이 증가함에 따라 조직에서는 정보에 입각한 비즈니스 결정을 더욱 빠르게 내릴 수 있도록 이 데이터를 신속하게 처리해야 합니다. 대규모 데이터를 처리하려면 조직은 모바일 장치, 애플리케이션, 위성, 마케팅 및 영업, 운영 데이터 저장소, 인프라 등에서 수신된 정보를 관리하기 위해 리소스를 탄력적으로 프로비저닝해야 합니다.

Step Functions는 데이터 처리 워크플로를 성공적으로 관리하는 데 필요한 확장성, 안정성 및 가용성을 제공합니다. 수평적으로 규모를 조정하고 내결함성 워크플로를 제공하는 Step Functions를 사용하여 수백만 개의 동시 실행을 관리할 수 있습니다. Step Functions의 Parallel 상태 유형 또는 맵 상태 유형을 사용한 동적 병렬 처리와 같은 병렬 실행을 사용하여 데이터를 더 빠르게 처리합니다. 워크플로의 일부로 맵 상태를 사용하여 Amazon S3 버킷과 같은 정적 데이터 스토어의 객체를 반복할 수 있습니다. 또한 Step Functions를 사용하면 복잡한 프로세스를 관리하지 않고도 실패한 실행을 쉽게 재시도하거나 특정 오류 처리 방법을 선택할 수 있습니다.

데이터 처리 요구 사항에 따라 Step Functions는 일괄 처리용 AWS Batch, 빅 데이터 처리용 Amazon EMR, 데이터 준비용 AWS Glue, 데이터 분석용 Athena, 컴퓨팅용 AWS Lambda와 같은 AWS에서 제공하는 다른 데이터 처리 서비스와 직접 통합됩니다.

고객이 Step Functions를 사용하여 수행하는 데이터 처리 워크플로 유형의 예제는 다음과 같습니다.

파일, 비디오 및 이미지 처리

• 비디오 파일 컬렉션을 가져와 휴대폰, 노트북 또는 TV와 같이 표시할 장치에 적합한 다른 크기나 해상도로 변환합니다.

• 사용자가 업로드한 대규모 사진 컬렉션을 가져와 썸네일이나 다양한 해상도의 이미지로 변환한 후 사용자의 웹사이트에 표시할 수 있습니다.

• CSV 파일과 같은 반정형 데이터를 가져와 인보이스와 같은 비정형 데이터와 결합하여 매월 비즈니스 이해 관계자에게 전송되는 비즈니스 보고서를 생성합니다.

• 위성에서 수집한 지구 관측 데이터를 가져와 서로 정렬되는 형식으로 변환한 다음 유용한 정보를 추가적으로 얻을 수 있도록 지구에서 수집한 다른 데이터 소스를 추가합니다.

• 다양한 운송 수단의 제품 운송 로그를 가져와 몬테카를로 시뮬레이션을 사용하여 최적화를 찾은 다음 제품을 배송하는 데 귀사를 사용하는 조직과 담당자에게 다시 보고서를 보냅니다.

추출, 전환, 적재(ETL) 작업 조정:

• AWS Glue를 사용하여 일련의 데이터 준비 단계를 통해 영업 기회 기록을 마케팅 지표 데이터 세트와 결합하고 조직 전체에서 사용할 수 있는 비즈니스 인텔리전스 보고서를 생성합니다.

• 빅 데이터 처리용 Amazon EMR 클러스터를 만들고 시작 및 종료합니다.

배치 프로세싱 및 고성능 컴퓨팅(HPC) 워크로드:

• 원시 전장 유전체를 변이 검출로 처리하는 유전체학 2차 분석 파이프라인을 빌드합니다. 원시 파일을 참조 서열에 정렬하고 동적 병렬화를 사용하여 지정된 염색체 목록에서 변이를 검출합니다.

• 다양한 전기 및 화학 화합물을 사용하여 다양한 레이아웃을 시뮬레이션해 차세대 모바일 장치나 기타 전자 제품의 생산 효율성을 찾습니다. 다양한 시뮬레이션을 통해 워크로드를 대규모로 일괄 처리하여 최적의 설계를 얻습니다.