Apache Flink - 아마존 EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Apache Flink

Apache Flink는 처리량이 많은 데이터 원본에서 실시간 스트림 처리를 실행하는 데 사용할 수 있는 스트리밍 데이터플로우 엔진입니다. Flink는 out-of-order 이벤트에 대한 이벤트 시간 시맨틱, 정확히 한 번의 시맨틱, 백프레셔 제어를 지원하며 스트리밍 및 배치 애플리케이션 작성에 최적화되어 있습니다. APIs

또한, Flink에는 다음과 같은 타사 데이터 원본용 커넥터가 있습니다.

EMRAmazon은 클러스터 내의 다른 YARN 애플리케이션과 함께 리소스를 관리할 수 있도록 Flink를 애플리케이션으로 지원합니다. YARNFlink-on-를 사용하면 일시적인 Flink 작업을 제출하거나, 여러 작업을 수락하고 전체 예약에 따라 리소스를 할당하는 장기 실행 클러스터를 만들 수 있습니다. YARN

Flink는 아마존 EMR 릴리스 버전 5.1.0 이상에 포함되어 있습니다.

참고

FlinkKinesisConsumer클래스에 대한 지원은 Amazon EMR 릴리스 버전 5.2.1에 추가되었습니다.

다음 표에는 Amazon EMR 7.x 시리즈의 최신 릴리스에 포함된 Flink 버전과 Amazon이 Flink로 EMR 설치하는 구성 요소가 나와 있습니다.

이번 릴리스에서 Flink와 함께 설치된 구성 요소 버전은 릴리스 7.2.0 구성 요소 버전을 참조하십시오.

emr-7.2.0의 플링크 버전 정보
아마존 EMR 출시 라벨 Flink 버전 Flink와 함께 설치된 구성 요소

emr-7.2.0

Flink 1.18.1

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta

다음 표에는 아마존 EMR 6.x 시리즈의 최신 릴리스에 포함된 Flink 버전과 아마존이 Flink와 함께 EMR 설치하는 구성 요소가 나와 있습니다.

이 릴리스에서 Flink와 함께 설치된 구성 요소의 버전은 릴리스 6.15.0 구성 요소 버전을 참조하세요.

emr-6.15.0용 Flink 버전 정보
아마존 EMR 출시 라벨 Flink 버전 Flink와 함께 설치된 구성 요소

emr-6.15.0

Flink 1.17.1

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta-standalone-connectors

다음 표에는 Amazon EMR 5.x 시리즈의 최신 릴리스에 포함된 Flink 버전과 Amazon이 Flink로 EMR 설치하는 구성 요소가 나와 있습니다.

이번 릴리스에서 Flink와 함께 설치된 구성 요소 버전은 릴리스 5.36.2 구성 요소 버전을 참조하십시오.

emr-5.36.2의 플링크 버전 정보
아마존 EMR 출시 라벨 Flink 버전 Flink와 함께 설치된 구성 요소

emr-5.36.2

Flink 1.14.2

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config