기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon MSK 데이터 전송
Amazon MSK 데이터 전송을 사용하면 관리할 커넥터나 추가 인프라 없이 Amazon MSK Express 브로커의 Apache Kafka 데이터를 Amazon S3로 직접 전송할 수 있습니다. Amazon MSK Express는 자동으로 조정, 재시도 및 역압을 처리하고 전송 간격 없이 용량 조정 및 버전 업그레이드와 같은 일상적인 작업을 관리합니다. 이러한 기능은 네이티브 브로커 기능이므로 브로커 송신 처리량을 추가하지 않으므로 커넥터 기반 파이프라인을 확장할 때 일반적으로 발생하는 증분 인프라 비용을 피하고 용량을 피크에 프로비저닝하는 대신 실제 워크로드 수요와 일치시킵니다. 각 기능은 최대 10GBps의 처리량을 지원합니다.
두 가지 기능은 다음과 같습니다.
Apache Iceberg용 스트리밍 테이블로 데이터 전송 - Amazon MSK 데이터 전송을 사용하면 Apache Kafka 주제를 Amazon S3 테이블의 Apache Iceberg 테이블로 지속적으로 구체화할 수 있습니다. 지능형 인라인 압축은 작은 파일의 성능 영향을 제거하고 데이터 신선도를 저하시키지 않으면서 쿼리 성능을 예측 가능하게 유지합니다. 기본 제공 조정은 처리량이 많은 소비자 간의 동시 라이터 충돌을 해결합니다. Amazon S3 Tables는 압축, 스냅샷 만료, 참조되지 않은 파일 정리 등 지속적인 테이블 유지 관리를 자동으로 처리합니다.
Amazon S3 범용 버킷으로 데이터 전송 - Amazon MSK 데이터 전송을 사용하면 미션 크리티컬 워크로드에 대한 end-to-end 신뢰성과 함께 다운스트림 처리를 위해 소스 형식의 Apache Kafka 데이터를 Amazon S3 범용 버킷에 제공할 수 있습니다. 로그 아카이브, 규정 준수 보존, Kafka 재생, AI/ML 모델 훈련과 같은 사용 사례를 위해 Amazon S3에 Kafka 데이터를 랜딩하는 데 사용합니다. 이 접근 방식을 사용하면 워크로드 규모에 따라 비용이 많이 들고 운영이 복잡한 자체 관리형 커넥터 파이프라인을 구축할 필요가 없습니다.
