파이프라인 편집 - AWS Data Pipeline

파이프라인 편집

파이프라인 하나의 일부 측면을 변경하려면 그 파이프라인 정의를 업데이트하면 됩니다. 실행 중인 파이프라인을 변경한 후에는 파이프라인을 다시 활성화해야 변경이 적용됩니다. 그리고 하나 이상의 파이프라인 구성요소를 다시 실행할 수 있습니다.

제한 사항

파이프라인이 PENDING상태이고 활성화되지 않은 동안에는 파이프라인을 변경할 수 없습니다. 파이프라인을 활성화한 후에 파이프라인을 편집할 수 있으며 이때 다음과 같은 제한이 있습니다. 변경을 저장하고 파이프라인을 다시 실행한 후에 파이프라인 객체를 새로 실행할 때 변경이 적용됩니다.

  • 객체는 제거할 수 없습니다.

  • 기존 객체의 예약 기간을 변경할 수 없습니다.

  • 기존 객체의 참조 필드를 추가, 삭제 또는 수정할 수 없습니다.

  • 새 객체의 출력 필드에서 기존 객체를 참조할 수 없습니다.

  • 객체의 예약된 시작 날짜를 변경할 수 없습니다(그 대신, 특정 날짜와 시간의 파이프라인을 활성화합니다).

AWS CLI를 사용하여 파이프라인 편집

명령줄 도구를 사용하여 파이프라인을 편집할 수 있습니다.

먼저 get-pipeline-definition 명령을 사용하여 현재 파이프라인 정의 사본을 다운로드합니다. 이렇게 하면 가장 최근 파이프라인 정의를 수정할 수 있습니다. 다음 예제에서는 파이프라인 정의를 표준 출력(stdout)으로 인쇄합니다.

aws datapipeline get-pipeline-definition --pipeline-id df-00627471SOVYZEXAMPLE

파이프라인 정의를 파일로 저장하고 필요에 따라 편집합니다. put-pipeline-definition 명령을 사용하여 파이프라인 정의를 업데이트합니다. 다음 예제에서는 업데이트된 파이프라인 정의 파일을 업로드합니다.

aws datapipeline put-pipeline-definition --pipeline-id df-00627471SOVYZEXAMPLE --pipeline-definition file://MyEmrPipelineDefinition.json

get-pipeline-definition 명령을 사용하여 파이프라인 정의를 다시 검색하고 업데이트가 성공했는지 확인할 수 있습니다. 파이프라인을 활성화하려면 다음 activate-pipeline 명령을 사용하십시오.

aws datapipeline activate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE

필요할 경우 다음과 같이 --start-timestamp 옵션을 사용하여 특정 날짜와 시간의 파이프라인을 활성화할 수 있습니다.

aws datapipeline activate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE --start-timestamp YYYY-MM-DDTHH:MM:SSZ

하나 이상의 파이프라인 구성요소를 다시 실행하려면 set-status 명령을 사용합니다.