이게 뭐야 AWS Data Pipeline?

참고

AWS Data Pipeline 서비스는 유지 관리 모드이며 새로운 기능이나 지역 확장은 계획되어 있지 않습니다. 기존 워크로드를 마이그레이션하는 방법에 대해 알아보고 발견하려면 에서 워크로드 마이그레이션 AWS Data Pipeline을(를) 참조하십시오.

AWS Data Pipeline 데이터 이동 및 변환을 자동화하는 데 사용할 수 있는 웹 서비스입니다. 를 사용하면 데이터 기반 워크플로를 정의하여 이전 작업의 성공 여부에 따라 작업이 좌우될 수 있습니다. AWS Data Pipeline데이터 변환의 파라미터를 정의하고 설정한 로직을 AWS Data Pipeline 적용합니다.

의 다음 구성 요소가 함께 AWS Data Pipeline 작동하여 데이터를 관리합니다.

• 파이프라인 정의에서는 데이터 관리의 비즈니스 로직을 지정합니다. 자세한 정보는 파이프라인 정의 파일 구문을 참조하세요.

• 파이프라인은 정의된 작업 활동을 수행할 Amazon EC2 인스턴스를 생성함으로써 작업을 예약하고 실행합니다. 파이프라인 정의를 파이프라인에 업로드한 다음 파이프라인을 활성화합니다. 파이프라인 실행을 위한 정의를 편집할 수 있는데, 효력을 발휘하려면 파이프라인을 다시 활성화해야 합니다. 파이프라인을 비활성화하고 데이터 원본을 수정한 다음 파이프라인을 다시 활성화할 수 있습니다. 파이프라인을 사용한 작업을 완료하면 이를 삭제할 수 있습니다.

• Task Runner는 작업에 대한 폴링을 수행한 다음 작업을 수행합니다. 예를 들어, Task Runner는 로그 파일을 Amazon S3에 복사하고 Amazon EMR 클러스터를 시작할 수 있습니다. Task Runner는 파이프라인 정의로 생성된 리소스에 자동으로 설치되고 실행됩니다. 사용자 지정 작업 실행기 응용 프로그램을 작성하거나 에서 제공하는 작업 실행기 응용 프로그램을 사용할 수 있습니다. AWS Data Pipeline자세한 정보는 작업 실행기을 참조하세요.

예를 들어, 를 사용하여 AWS Data Pipeline 웹 서버의 로그를 매일 Amazon Simple Storage Service (Amazon S3) 에 보관한 다음, 해당 로그에 대해 주간 Amazon EMR (Amazon EMR) 클러스터를 실행하여 트래픽 보고서를 생성할 수 있습니다. AWS Data Pipeline 데이터를 복사하는 일일 작업과 Amazon EMR 클러스터를 시작하는 주간 작업을 스케줄링합니다. AWS Data Pipeline 또한 로그 업로드에 예상치 못한 지연이 발생하더라도 Amazon EMR이 분석을 시작하기 전에 마지막 날 데이터가 Amazon S3에 업로드될 때까지 대기하도록 합니다.

내용

• 에서 워크로드 마이그레이션 AWS Data Pipeline
• 관련 서비스
• 액세스 AWS Data Pipeline
• 요금
• 파이프라인 작업 활동에 대해 지원되는 인스턴스 유형

액세스 AWS Data Pipeline

다음 인터페이스 중 하나를 사용하여 파이프라인을 생성하고, 액세스하고, 관리할 수 있습니다.

• AWS Management Console— AWS Data Pipeline에 액세스할 때 사용할 수 있는 웹 인터페이스를 제공합니다.

• AWS Command Line Interface (AWS CLI) — Windows, macOS 및 Linux를 비롯한 다양한 AWS 서비스에 대한 명령을 제공하며 AWS Data Pipeline, 이러한 AWS 서비스는 Windows, macOS 및 Linux에서 지원됩니다. 설치에 대한 자세한 내용은 AWS CLI을 참조하십시오 AWS Command Line Interface. 에 대한 명령 목록은 데이터 AWS Data Pipeline 파이프라인을 참조하십시오.

• AWS SDK — 언어별 API를 제공하고, 서명 계산, 요청 재시도 처리 및 오류 처리와 같은 많은 연결 세부 정보를 관리합니다. 자세한 정보는 AWS SDK를 참조하세요.

• 쿼리 API—HTTPS 요청을 사용하여 호출하는 하위 수준의 API를 제공합니다. 쿼리 API 사용은 AWS Data Pipeline에 액세스하는 가장 직접적인 방법이지만, 애플리케이션에서 요청에 서명할 해시 생성 및 오류 처리와 같은 하위 수준의 세부 정보를 처리해야 합니다. 자세한 내용은 AWS Data Pipeline API 참조를 참조하세요.

요금

Amazon Web Services에서는 사용한 만큼만 비용을 지불하며, 의 경우 AWS Data Pipeline, 활동 및 사전 조건이 실행되도록 예약된 빈도와 실행 위치를 기준으로 파이프라인 요금을 지불합니다. 자세한 내용은 AWS Data Pipeline 요금을 참조하십시오.

AWS 계정을 만든 지가 12개월이 안 된 경우에는 프리 티어를 이용할 수 있습니다. 프리 티어에는 월간 3건의 저빈도 사전 조건 및 5건의 저빈도 활동 무상 이용권이 포함됩니다. 자세한 내용은 AWS 프리 티어 단원을 참조하십시오.