기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon S3 범용 버킷으로 데이터 전송
Amazon MSK Data Delivery를 사용하면 미션 크리티컬 워크로드에 대한 end-to-end 안정성과 함께 다운스트림 처리를 위해 소스 형식의 Apache Kafka 데이터를 Amazon S3 범용 버킷에 제공할 수 있습니다. 로그 아카이브, 규정 준수 보존, Kafka 재생, AI/ML 모델 훈련과 같은 사용 사례를 위해 Amazon S3에 Kafka 데이터를 랜딩하는 데 사용합니다. 이 접근 방식을 사용하면 워크로드 규모에 따라 비용이 많이 들고 운영이 복잡한 자체 관리형 커넥터 파이프라인을 구축할 필요가 없습니다.
통합
Amazon MSK Express 브로커 - 데이터 소스.
Amazon S3 - 범용 객체 대상입니다.
Amazon CloudWatch - 지표 및 운영 로그.
AWS CloudTrail - API 감사 로깅.
AWS KMS - 선택적 고객 관리형 저장 데이터 암호화.
일반 사용 사례
스토리지, 재생 또는 다운스트림 배치 처리를 위해 Kafka 주제 데이터를 S3에 아카이브합니다.
브로커 로드를 추가하지 않고 단일 주제를 여러 대상으로 팬아웃합니다.
API 사양은 Amazon MSK API 참조ListChannels의 CreateChannel, DescribeChannelUpdateChannel, DeleteChannel, 및 섹션을 참조하세요.
데이터 흐름
다음 다이어그램은 Amazon MSK Express 브로커 주제에서 데이터 전송 채널을 통해 대상으로 레코드가 흐르는 방식을 보여 주며, 처리할 수 없는 레코드는 배달 못한 편지 대기열로 라우팅됩니다.
이점
관리할 인프라 없음 - 커넥터 또는 컴퓨팅 클러스터가 없습니다. 채널을 구성하면 서비스가 전송, 조정 및 내결함성을 처리합니다.
브로커 영향 없음 - 채널은 브로커 처리량을 소비하거나 생산자 및 소비자 워크로드에 영향을 주지 않고 주제에서 읽습니다.
데이터에 따라 조정 - 수동 조정 없이 최대 10GBps의 데이터 전송 처리량을 지원합니다.
몇 분 안에 데이터 새로 고침 - 주제에 생성된 후 5~15분 이내에 전송된 데이터를 쿼리하거나 처리할 수 있습니다.
기본 제공 오류 처리 - 처리할 수 없는 레코드는 오류 컨텍스트와 함께 배달 못한 편지 대기열로 라우팅되므로 전송이 중단되지 않습니다.
작동 방식
범용 S3 버킷에 데이터를 전송하려면 채널을 생성합니다. Express 브로커를 사용하는 Amazon MSK 프로비저닝 클러스터에서 채널을 생성합니다. 채널은 Kafka 주제에서 레코드를 읽고 구성된 대상으로 전송합니다.
Amazon S3 범용 버킷의 경우 채널은 구성 가능한 출력 키 템플릿을 사용하여 레코드(JSON, ByteArray 또는 String)를 범용 S3 버킷에 객체로 기록합니다.
처리할 수 없는 레코드는 필요한 DLQ(Dead Letter Queue) S3 버킷으로 라우팅됩니다.
참고
채널은 이전에 생성된 데이터를 채우지 않고 활성화가 전송된 후 생성된 데이터만 채웁니다.
요구 사항 및 지원되는 구성
Express 브로커가 있는 Amazon MSK 프로비저닝 클러스터입니다. 표준 브로커 및 Amazon MSK Serverless는 지원되지 않습니다.
하나 이상의 Kafka 주제.
DLQ(Dead Letter Queue)용 Amazon S3 버킷입니다. 이는 필수입니다.
채널이 데이터를 전송하기 위해 수임하는 IAM 서비스 역할입니다.
5~15분으로 구성된 데이터 새로 고침.
JSON, ByteArray 또는 문자열 형식의 주제 데이터입니다.
전송용 범용 Amazon S3 버킷입니다.
