Amazon Managed Service for Apache Flink는 이전에 Amazon Kinesis Data Analytics for Apache Flink로 알려졌습니다.
기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon Managed Service for Apache Flink 1.15
Managed Service for Apache Flink는 Apache 1.15.2에서 다음과 같은 새로운 기능을 지원합니다.
| 기능 | 설명 | Apache FLIP 참조 |
|---|---|---|
| 비동기식 싱크 | 개발자가 이전 작업의 절반 미만으로 사용자 지정 AWS 커넥터를 구축할 수 있도록 하는 비동기 대상을 구축하는 데 AWS 기여한 프레임워크입니다. 자세한 내용은 일반 비동기식 베이스 싱크 |
FLIP-171: 비동기 싱크 |
| Kinesis Data Firehose Sink | AWS 는 Async 프레임워크를 사용하여 새로운 Amazon Kinesis Firehose Sink에 기여했습니다. | Amazon Kinesis Data Firehose Sink |
| 세이브 포인트로 중지 | 세이브 포인트로 중지는 클린 스탑 오퍼레이션을 보장하며, 가장 중요한 것은 이를 신뢰하는 고객을 위해 정확히 한 번의 시맨틱을 지원한다는 것입니다. | FLIP-34: Savepoint 로 작업 종료/일시 중지 |
| Scala 디커플링 | 이제 사용자는 Scala 3을 포함한 모든 Scala 버전API에서 Java를 활용할 수 있습니다. 고객은 Scala 애플리케이션에 원하는 Scala 표준 라이브러리를 번들로 제공해야 합니다. | FLIP-28: 링크 테이블 Scala-free 를 만드는 장기 목표 |
| Scala | 위의 Scala 디커플링을 참조하세요. | FLIP-28: 링크 테이블 Scala-free 를 만드는 장기 목표 |
| 통합 커넥터 지표 | Flink는 작업, 작업 및 연산자에 대한 표준 지표를 정의numRestarts을(를) 가용성 지표fullRestarts와 병행하여 도입될 예정입니다. |
FLIP-33: 커넥터 지표 표준화 |
| 완료된 작업 체크포인트 | 이 기능은 Flink 1.15에서 기본적으로 활성화되어 있으며, 작업 그래프의 일부가 모든 데이터 처리를 완료한 경우에도 체크포인트를 계속 수행할 수 있습니다. 이는 제한된 (일괄 처리) 소스가 포함된 경우 발생할 수 있습니다. | FLIP-147: 작업 완료 후 체크포인트 지원 |
Apache Flink 1.15를 사용하는 Amazon Managed Service for Apache Flink의 변경 사항
Studio 노트북
이제 Managed Service for Apache Flink Studio가 Apache Flink 1.15를 지원합니다. Managed Service for Apache Flink Studio는 Apache Zeppelin 노트북을 활용하여 Apache Flink 스트림 처리 애플리케이션을 개발, 디버깅 및 실행하기 위한 단일 인터페이스 개발 환경을 제공합니다. Managed Service for Apache Flink Studio 및 시작 방법에 대한 자세한 내용은 Managed Service for Apache Flink와 함께 Studio 노트북 사용에서 확인할 수 있습니다.
EFO 커넥터
Managed Service for Apache Flink 버전 1.15로 업그레이드할 때는 최신 EFO 커넥터, 즉 버전 1.15.3 이상을 사용해야 합니다. 이유에 대한 자세한 내용은 FLINK-29324
Scala 디커플링
Flink 1.15.2부터 Scala 애플리케이션에 원하는 Scala 표준 라이브러리를 번들로 제공해야 합니다.
Kinesis Data Firehose Sink
Managed Service for Apache Flink 버전 1.15로 업그레이드할 때는 최신 Amazon Kinesis Data Firehose Sink
Kafka 커넥터
Amazon Managed Service for Apache Flink for Apache Flink 버전 1.15로 업그레이드할 때는 최신 Kafka 커넥터 를 사용해야 합니다APIs. Apache Flink가 더 이상 사용되지 FlinkKafkaConsumer
구성 요소
| 구성 요소 | 버전 |
|---|---|
| Java | 11 (권장) |
| Scala | 2.12 |
| Managed Service for Apache Flink Flink 런타임(aws-kinesisanalytics-runtime) | 1.2.0 |
| AWS Kinesis 커넥터(flink-connector-kinesis) |
1.15.4 |
| Apache Beam (빔 애플리케이션만 해당) |
2.33.0(Jackson 버전 2.12.2 포함) |
알려진 문제
Kafka Commit on checkpointing은 브로커 재시작 후 반복적으로 실패합니다.
Kafka Client 2.8.1의 중요한 오픈 소스 Kafka Client 버그로 인해 Flink 버전 1.15의 Apache Kafka 커넥터에 알려진 오픈 소스 Apache Flink 문제가 있습니다. 자세한 내용은 브로커를 다시 시작한 후 체크포인트에 대한 Kafka 커밋이 반복적으로 실패
이 문제를 방지하려면 Amazon Managed Service for Apache Flink에서 Apache Flink 1.18 이상을 사용하는 것이 좋습니다.
