Apache Flink - Amazon EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Apache Flink

Apache Flink는 처리량이 많은 데이터 원본에서 실시간 스트림 처리를 실행하는 데 사용할 수 있는 스트리밍 데이터플로우 엔진입니다. Flink는 out-of-order 이벤트에 대한 이벤트 시간 시맨틱, 정확히 한 번의 시맨틱, 백프레셔 제어, 스트리밍 및 배치 애플리케이션 작성에 최적화된 API를 지원합니다.

또한, Flink에는 다음과 같은 타사 데이터 원본용 커넥터가 있습니다.

Amazon EMR에서는 클러스터에 있는 다른 애플리케이션과 함께 리소스를 관리할 수 있도록 YARN 애플리케이션으로 Flink를 지원합니다. Flink-on-YARN을 사용하여 임시 Flink 작업을 제출하거나 여러 작업을 허용하고 전체 YARN 동일 시작 인스턴스에 따라 리소스를 할당하는 장기 실행 클러스터를 생성할 수 있습니다.

Flink는 Amazon EMR 릴리스 버전 5.1.0 이상에 포함되어 있습니다.

참고

FlinkKinesisConsumer 클래스에 대한 지원이 Amazon EMR 릴리스 버전 5.2.1에 추가되었습니다.

다음 테이블에는 Amazon EMR이 Flink를 통해 설치하는 구성 요소와 함께 Amazon EMR 7.x 시리즈의 최신 릴리스에 포함된 Flink의 버전이 나열되어 있습니다.

이번 릴리스에서 Flink와 함께 설치된 구성 요소 버전은 릴리스 7.1.0 구성 요소 버전을 참조하십시오.

emr-7.1.0의 플링크 버전 정보
Amazon EMR 릴리스 레이블 Flink 버전 Flink와 함께 설치된 구성 요소

emr-7.1.0

Flink 1.18.1

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta

다음 테이블에는 Amazon EMR이 Flink를 통해 설치하는 구성 요소와 함께 Amazon EMR 6.x 시리즈의 최신 릴리스에 포함된 Flink의 버전이 나열되어 있습니다.

이 릴리스에서 Flink와 함께 설치된 구성 요소의 버전은 릴리스 6.15.0 구성 요소 버전을 참조하세요.

emr-6.15.0용 Flink 버전 정보
Amazon EMR 릴리스 레이블 Flink 버전 Flink와 함께 설치된 구성 요소

emr-6.15.0

Flink 1.17.1

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta-standalone-connectors

다음 테이블에는 Amazon EMR이 Flink를 통해 설치하는 구성 요소와 함께 Amazon EMR 5.x 시리즈의 최신 릴리스에 포함된 Flink의 버전이 나열되어 있습니다.

이번 릴리스에서 Flink와 함께 설치된 구성 요소 버전은 릴리스 5.36.2 구성 요소 버전을 참조하십시오.

emr-5.36.2의 플링크 버전 정보
Amazon EMR 릴리스 레이블 Flink 버전 Flink와 함께 설치된 구성 요소

emr-5.36.2

Flink 1.14.2

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config