Amazon Managed Service for Apache Flink 1.18

Managed Service for Apache Flink는 이제 Apache Flink 버전 1.18.1을 지원합니다. Apache Flink 1.18.1의 Managed Service for Apache Flink 지원에 도입된 새로운 주요 기능과 변경 사항에 대해 알아봅니다.

참고

이전에 지원되는 버전의 Apache Flink를 사용하고 있고 기존 애플리케이션을 Apache Flink 1.18.1로 업그레이드하려는 경우 현재 위치의 Apache Flink 버전 업그레이드를 사용하여 업그레이드할 수 있습니다. 현재 위치 버전 업그레이드를 사용하면 스냅샷, 로그, 지표, 태그, Flink 구성 등을 포함하여 Apache Flink 버전 ARN 전체에서 단일 에 대한 애플리케이션 추적성을 유지할 수 있습니다. RUNNING 및 READY 상태에서 이 기능을 사용할 수 있습니다. 자세한 내용은 Apache Flink에 현재 위치 버전 업그레이드 사용 단원을 참조하십시오.

Apache Flink 설명서 참조로 지원되는 기능

지원되는 기능	설명	Apache Flink 설명서 참조
Opensearch 커넥터	이 커넥터에는 보증을 제공하는 at-least-once 싱크가 포함되어 있습니다.	github: Opensearch 커넥터
Amazon DynamoDB 커넥터	이 커넥터에는 보증을 제공하는 at-least-once 싱크가 포함되어 있습니다.	Amazon DynamoDB 싱크
MongoDB 커넥터	이 커넥터에는 보증을 제공하는 at-least-once 소스와 싱크가 포함되어 있습니다.	MongoDB 커넥터
Hive를 Flink 플래너와 분리	추가 JAR 교체 없이 직접 Hive 방언을 사용할 수 있습니다.	FLINK-26603: Hive와 Flink 플래너 분리
ocksDBWriteBatchWrapper 기본적으로 RWAL에서 비활성화	이렇게 하면 복구 시간이 단축됩니다.	FLINK-32326: ocksDBWriteBatchWrapper 기본적으로 RWAL에서 비활성화
워터마크 정렬을 활성화할 때 워터마크 집계 성능 개선	워터마크 정렬을 활성화할 때 워터마크 집계 성능을 개선하고 관련 벤치마크를 추가합니다.	FLINK-32524: 워터마크 집계 성능
워터마크 정렬을 프로덕션용으로 준비	대규모 작업 과부하 위험 제거 JobManager	FLINK-32548: 워터마크 정렬 준비
비동기 싱크 RateLimitingStratey 용으로 구성 가능	RateLimitingStrategy 를 사용하면 규모 조정 대상, 규모 조정 시기 및 규모 조정량에 대한 결정을 구성할 수 있습니다.	FLIP-242: Async Sink RateLimitingStrategy 에 대해 구성 가능한 소개
테이블 및 열 통계 대량 가져오기	쿼리 성능이 개선되었습니다.	FLIP-247: 지정된 파티션에 대한 테이블 및 열 통계 대량 가져오기

Apache Flink 1.18.1 릴리스 설명서는 Apache Flink 1.18.1 릴리스 공지 를 참조하세요.

Amazon Managed Service for Apache Flink with Apache Flink 1.18의 변경 사항

Akka가 Pekko로 대체됨

Apache Flink는 Apache Flink 1.18에서 Akka를 Pekko로 대체했습니다. 이 변경 사항은 Managed Service for Apache Flink from Apache Flink 1.18.1 이상에서 완전히 지원됩니다. 이 변경으로 인해 애플리케이션을 수정할 필요가 없습니다. 자세한 내용은 FLINK-32468: Akka를 Pekko로 바꾸기를 참조하세요.

스레드 모드에서 PyFlink 런타임 실행 지원

이 Apache Flink 변경 사항에서는 Pyflink 런타임 프레임워크인 프로세스 모드에 대한 새 실행 모드를 도입합니다. 이제 프로세스 모드는 별도의 프로세스 대신 동일한 스레드에서 Python 사용자 정의 함수를 실행할 수 있습니다.

백포팅된 버그 수정

Amazon Managed Service for Apache Flink 백포트는 중요한 문제에 대해 Flink 커뮤니티에서 수정합니다. 즉, 런타임이 Apache Flink 1.18.1 릴리스와 다릅니다. 다음은 백포팅한 버그 수정 사항 목록입니다.

백포팅된 버그 수정

Apache Flink JIRA 링크	설명
FLINK-33863	이 수정은 압축된 스냅샷에 대한 상태 복원이 실패할 때 발생하는 문제를 해결합니다.
FLINK-34063	이 수정은 스냅샷 압축이 활성화될 때 소스 연산자가 분할을 잃을 때 발생하는 문제를 해결합니다.
FLINK-35069	이 수정은 Flink 작업이 중단되어 창 끝에서 타이머를 트리거하는 문제를 해결합니다.
FLINK-35097	이 수정은 원시 형식으로 테이블 API 파일 시스템 커넥터의 중복 레코드 문제를 해결합니다.
FLINK-34379	이 수정은 동적 테이블 필터링을 활성화할 OutOfMemoryError 때 의 문제를 해결합니다.
FLINK-28693	이 수정은 워터마크에 columnBy 표현식이 있는 경우 테이블이 그래프를 생성할 API 수 없는 문제를 해결합니다.
FLINK-35217	이 수정은 특정 Flink 작업 실패 모드 중에 손상된 체크포인트의 문제를 해결합니다.

구성 요소

구성 요소	버전
Java	11 (권장)
Scala	버전 1.15 이후 Flink는 Scala에 구애받지 않습니다. 참조용으로 MSF Flink 1.18은 Scala 3.3(LTS)에 대해 확인되었습니다.
Managed Service for Apache Flink Flink 런타임(aws-kinesisanalytics-runtime)	1.2.0
AWS Kinesis Connector(flink-connector-kinesis)[소스]	4.2.0~1.18
AWS Kinesis 커넥터(flink-connector-kinesis)[싱크]	4.2.0~1.18
Apache Beam (빔 애플리케이션만 해당)	이전 버전 및 버전 2.75.0까지. 자세한 내용은 Flink 버전 호환성을 참조하세요.

버그 수정

Apache Flink 1.18.1의 상태 압축

Apache Flink는 모든 체크포인트 및 저장 포인트에 대해 선택적 압축(기본값: 꺼짐)을 제공합니다. Apache Flink는 스냅샷 압축이 활성화되었을 때 연산자 상태를 제대로 복원할 수 없는 Flink 1.18.1의 버그를 식별했습니다. 이로 인해 데이터 손실 또는 체크포인트에서 복원할 수 없게 될 수 있습니다. 자세한 내용은 FLINK-34063: 스냅샷 압축이 활성화되면 소스 연산자를 다시 조정하면 일부 스플릿이 손실됩니다 를 참조하세요.

이를 해결하기 위해 Amazon Managed Service for Apache Flink는 향후 버전의 Apache Flink에 포함될 수정 사항을 백포팅했습니다. 자세한 내용은 github: 항상 압축 버퍼 플러시를 참조하세요.

알려진 문제

Amazon Managed Service for Apache Flink Studio

Studio는 Apache Zeppelin 노트북을 사용하여 Apache Flink 스트림 처리 애플리케이션을 개발, 디버깅 및 실행하기 위한 단일 인터페이스 개발 경험을 제공합니다. Flink 1.18을 지원하려면 Zeppelin의 Flink 인터프리터를 업그레이드해야 합니다. 이 작업은 Zeppelin 커뮤니티에서 예약되며 완료되면 이러한 참고 사항을 업데이트합니다. Amazon Managed Service for Apache Flink Studio에서 Flink 1.15를 계속 사용할 수 있습니다. 자세한 내용은 Studio 노트북 생성을 참조하세요.

하위 작업이 역압될 때 잘못된 워터마크 유휴 상태

하위 작업이 역압될 때 워터마크 생성에 알려진 문제가 있으며, 이는 Flink 1.19 이상에서 수정되었습니다. Flink 작업 그래프에 역압이 가해질 때 지연 레코드 수가 급증할 수 있습니다. 이 수정 사항을 적용하려면 최신 Flink 버전으로 업그레이드하는 것이 좋습니다. 자세한 내용은 하위 작업이 역압/차단될 때 잘못된 워터마크 유휴 시간 초과 계산을 참조하세요.