Amazon Managed Service for Apache Flink는 이전에 Amazon Kinesis Data Analytics for Apache Flink로 알려졌습니다.
기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
아파치 플링크용 아마존 매니지드 서비스 1.19
아파치 플링크용 관리형 서비스는 이제 아파치 플링크 버전 1.19.1을 지원합니다. 이 섹션에서는 Apache Flink 1.19.1의 Apache Flink용 관리 서비스 지원에 도입된 주요 새 기능 및 변경 사항을 소개합니다.
참고
지원되는 이전 버전의 Apache Flink를 사용 중이고 기존 애플리케이션을 Apache Flink 1.19.1로 업그레이드하려는 경우 현재 Apache Flink 버전 업그레이드를 사용하여 업그레이드할 수 있습니다. 자세한 내용은 아파치 플링크의 인플레이스 버전 업그레이드 사용 단원을 참조하십시오. 인플레이스 버전 업그레이드를 사용하면 스냅샷, 로그, 메트릭, 태그, Flink 구성 등을 포함하여 Apache Flink 버전 ARN 전반에서 단일 버전에 대한 애플리케이션 추적성을 유지할 수 있습니다.
지원되는 기능
Apache Flink 1.19.1에서는 명명된 매개변수, 사용자 지정 소스 병렬화 SQLAPI, 다양한 Flink 연산자의 다양한 상태 등과 같은 개선 사항을 도입했습니다. TTLs
지원되는 기능 및 관련 문서 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 지원되는 기능 | 설명 | 아파치 플링크 설명서 참조 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQLAPI: Support: TTLs SQL 힌트를 사용하여 다른 상태 구성 지원 | 이제 사용자는 스트림 일반 조인 및 그룹 TTL 애그리게이트에서 상태를 구성할 수 있습니다. | FLIP-373: 힌트를 사용하여 다양한 상태 구성 TTLs SQL |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQLAPI: 함수 및 호출 프로시저에 대한 명명된 매개 변수 지원 | 이제 사용자는 매개 변수 순서에 의존하지 않고 함수에서 명명된 매개 변수를 사용할 수 있습니다. | FLIP-378: 함수 및 호출 프로시저에 대한 명명된 매개 변수 지원 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQLAPI: 소스의 병렬성 설정 SQL | 이제 사용자가 소스의 병렬성을 지정할 수 있습니다. SQL | FLIP-367: 테이블/소스에 대한 병렬성 설정 지원 SQL |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQLAPI: Support 세션 창 TVF | 이제 사용자는 세션 창 테이블 반환 함수를 사용할 수 있습니다. | FLINK-24024: 지원 세션 창 TVF |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQLAPI: 윈도우 TVF 어그리게이션, 변경 로그 입력 지원 | 이제 사용자는 변경 로그 입력에 대해 창 집계를 수행할 수 있습니다. | FLINK-20281: 창 집계는 변경 로그 스트림 입력을 지원합니다. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Support Python 3.11 지원 |
플링크는 이제 파이썬 3.11을 지원합니다. 파이썬 3.11은 파이썬 3.10에 비해 10~ 60% 더 빠릅니다. 자세한 내용은 Python 3.11의 새로운 |
FLINK-33030: 파이썬 3.11 지원 추가 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 싱크에 대한 메트릭을 제공하세요 TwoPhaseCommitting | 사용자는 2단계 커밋 싱크의 커미터 상태에 대한 통계를 볼 수 있습니다. | FLIP-371: 커미터 생성을 위한 초기화 컨텍스트를 제공합니다. TwoPhaseCommittingSink |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
작업 재시작 및 체크포인트를 위한 추적 리포터 |
이제 사용자는 체크포인트 기간 및 복구 추세에 대한 추적을 모니터링할 수 있습니다. Apache Flink용 Amazon Managed Service에서는 기본적으로 SLF4j 추적 보고기를 활성화하여 사용자가 애플리케이션 로그를 통해 체크포인트 및 작업 추적을 모니터링할 수 있습니다. CloudWatch | FLIP-384: 체크포인트 및 복구 트레이스를 TraceReporter 도입하고 이를 사용하여 체크포인트 및 복구 트레이스를 생성합니다. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
옵트인 기능 및 관련 문서 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 옵트인 기능 | 설명 | 아파치 플링크 문서 참조 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 소스에서 백로그를 처리 중일 때 더 큰 체크포인트 간격 사용 지원 | 사용자가 특정 작업 요구 사항에 맞게 구성을 조정해야 하므로 이는 옵트인 기능입니다. | FLIP-309: 소스에서 백로그를 처리할 때 더 큰 체크포인트 간격 사용 지원 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| System.out 및 System.err를 자바 로그로 리디렉션합니다. | 이 기능은 옵트인 기능입니다. Apache Flink용 Amazon Managed Service의 기본 동작은 System.out 및 System.err의 출력을 무시하는 것입니다. 프로덕션 환경에서는 네이티브 자바 로거를 사용하는 것이 가장 좋기 때문입니다. | FLIP-390: Support System Out 및 오류가 리디렉션되거나 삭제됨 LOG |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
아파치 플링크 1.19.1 릴리스 문서는 아파치 플링크 설명서 v1.19.1을 참조하십시오.
아파치 플링크용 아마존 매니지드 서비스 1.19.1의 변경
로깅 트레이스 리포터는 기본적으로 활성화되어 있습니다.
Apache Flink 1.19.1에는 체크포인트 및 복구 트레이스가 도입되어 사용자가 체크포인트 및 작업 복구 문제를 더 잘 디버깅할 수 있게 되었습니다. Amazon Managed Service for Apache Flink에서는 이러한 추적이 CloudWatch 로그 스트림에 기록되므로 사용자는 작업 초기화에 소요된 시간을 세분화하고 체크포인트의 과거 크기를 기록할 수 있습니다.
기본 재시작 전략은 이제 지수 지연입니다.
Apache Flink 1.19.1에서는 지수 지연 재시작 전략이 크게 개선되었습니다. Flink 1.19.1 이후 버전의 Apache Flink용 Amazon 매니지드 서비스에서 Flink 작업은 기본적으로 지수 지연 재시작 전략을 사용합니다. 즉, 사용자 작업은 일시적 오류로부터 더 빨리 복구되지만 작업이 계속 재시작되더라도 외부 시스템에 과부하가 걸리지는 않습니다.
구성 요소
| 구성 요소 | 버전 |
|---|---|
| Java | 11 (권장) |
| Python |
3.11 |
| Kinesis Data Analytics 플링크 런타임 () aws-kinesisanalytics-runtime | 1.2.0 |
| 커넥터 | 사용 가능한 커넥터에 대한 자세한 내용은 Apache Flink 커넥터를 참조하십시오. |
| Apache Beam (빔 애플리케이션만 해당) |
플링크 1.19와 호환되는 아파치 플링크 러너는 없습니다. 자세한 내용은 Flink 버전 호환성을 참조하십시오. |
알려진 문제
아파치 빔
현재 아파치 빔에는 플링크 1.19와 호환되는 아파치 플링크 러너가 없습니다. 자세한 내용은 Flink 버전 호환성을 참조하십시오.
아파치 플링크 스튜디오용 아마존 매니지드 서비스
스튜디오는 Apache Zeppelin 노트북을 사용하여 Apache Flink 스트림 처리 애플리케이션을 개발, 디버깅 및 실행하기 위한 단일 인터페이스 개발 환경을 제공합니다. Flink 1.19를 지원하려면 제플린의 플링크 인터프리터를 업그레이드해야 합니다. 이 작업은 Zeppelin 커뮤니티와 함께 진행될 예정이며, 작업이 완료되면 이 노트를 업데이트할 예정입니다. 아파치 플링크 스튜디오용 아마존 매니지드 서비스와 함께 Flink 1.15를 계속 사용할 수 있습니다. 자세한 내용은 스튜디오 노트북 만들기를 참조하십시오.
