Apache Kafka에서 Lambda 사용 - AWS Lambda

Apache Kafka에서 Lambda 사용

Lambda는 이벤트 소스Apache Kafka를 지원합니다. Apache Kafka는 처리량이 많은 실시간 데이터 파이프라인과 스트리밍 애플리케이션을 처리하도록 설계된 오픈 소스 이벤트 스트리밍 플랫폼입니다. Apache Kafka에서 Lambda를 사용하는 방법은 크게 두 가지입니다.

  • Amazon MSK에서 Lambda 사용 - Amazon Managed Streaming for Apache Kafka(Amazon MSK)는 AWS의 완전관리형 서비스입니다. Amazon MSK는 프로비저닝, 패치 적용 및 스케일링을 포함하여 Kafka 인프라 관리를 자동화하는 데 도움이 됩니다.

  • 자체 관리형 Apache Kafka에서 Lambda 사용 – AWS 용어에서 자체 관리형 클러스터는 AWS가 아닌 다른 서비스에 호스팅된 Kafka 클러스터를 포함합니다. 예를 들어, Confluent Cloud, Redpanda 등의 AWS가 아닌 클라우드 제공업체에서 호스팅되는 Kafka 클러스터에서 Lambda를 계속 사용할 수 있습니다.

Amazon MSK와 자체 관리형 Apache Kafka 중에서 결정할 때는 운영 요구 사항과 제어 요구 사항을 고려하세요. 최소한의 운영 오버헤드로 확장 가능하고 프로덕션에 바로 사용할 수 있는 Kafka 설정을 관리하는 데 AWS의 도움을 받으려면 Amazon MSK가 더 나은 선택입니다. 보안, 모니터링, 고가용성이 간소화되어 인프라 관리보다는 애플리케이션 개발에 집중할 수 있습니다. 반면, 자체 관리형 Apache Kafka는 온프레미스 클러스터를 포함하여 AWS 호스팅 환경이 아닌 곳에서 실행되는 사용 사례에 더 적합합니다.