MSK Connect 이해

MSK Connect는 개발자가 Apache Kafka 클러스터에서 데이터를 쉽게 스트리밍할 수 MSK 있는 Amazon의 기능입니다. MSK Connect는 Apache Kafka 클러스터를 데이터베이스, 검색 인덱스 및 파일 시스템과 같은 외부 시스템과 연결하기 위한 오픈 소스 프레임워크인 Kafka Connect 2.7.1을 사용합니다. MSK Connect를 사용하면 데이터를 Amazon S3 및 Amazon OpenSearch Service와 같은 인기 있는 데이터 스토어로 이동하거나 데이터에서 가져오는 Kafka Connect용으로 구축된 완전 관리형 커넥터를 배포할 수 있습니다. 데이터베이스의 변경 로그를 Apache Kafka 클러스터로 스트리밍하기 위해 Debezium과 같은 타사 개발 커넥터를 배포하거나 코드 변경 없이 기존 커넥터를 배포할 수 있습니다. 커넥터는 부하 변화에 따라 자동으로 규모를 조정하며 사용한 리소스에 대해서만 비용을 지불합니다.

소스 커넥터를 사용하여 외부 시스템에서 주제로 데이터를 가져올 수 있습니다. 싱크 커넥터를 사용하면 주제의 데이터를 외부 시스템으로 내보낼 수 있습니다.

MSK Connect는 MSK 클러스터든 독립적으로 호스팅되는 Apache Kafka 클러스터VPC든 관계없이 Amazon 에 연결된 모든 Apache Kafka 클러스터에 대한 커넥터를 지원합니다.

MSK Connect는 커넥터 상태 및 전송 상태를 지속적으로 모니터링하고, 기본 하드웨어를 패치 및 관리하고, 처리량의 변화에 맞게 커넥터를 자동 조정합니다.

MSK Connect 사용을 시작하려면 섹션을 참조하세요MSK Connect 시작하기.

MSK Connect를 사용하여 생성할 수 있는 AWS 리소스에 대한 자세한 내용은 커넥터 이해, 사용자 지정 플러그인 생성및 섹션을 참조하세요MSK Connect 작업자 이해.

MSK 연결 에 대한 자세한 API내용은 Amazon MSK Connect API 참조 를 참조하세요.

Amazon MSK Connect 사용의 이점

Apache Kafka는 실시간 데이터 스트림을 수집 및 처리하기 위해 가장 널리 사용되는 오픈 소스 스트리밍 플랫폼 중 하나입니다. Apache Kafka를 사용하면 데이터 생성 및 데이터 소비 애플리케이션을 분리하여 독립적으로 확장할 수 있습니다.

Kafka Connect는 Apache Kafka를 사용하여 스트리밍 애플리케이션을 구축하고 실행하는 데 중요한 구성 요소입니다. Kafka Connect는 Kafka와 외부 시스템 간에 데이터를 이동하는 표준화된 방법을 제공합니다. Kafka Connect는 확장성이 뛰어나며 대량의 데이터를 처리할 수 있습니다. Kafka Connect는 Kafka 주제와 외부 시스템 간에 데이터를 이동하는 커넥터를 구성, 배포 및 모니터링하기 위한 강력한 API 작업 및 도구 세트를 제공합니다. 이러한 도구를 사용하여 Kafka Connect의 기능을 사용자 지정하고 확장하여 스트리밍 애플리케이션의 특정 요구 사항을 충족할 수 있습니다.

Apache Kafka Connect 클러스터를 단독으로 운영하거나 오픈 소스 Apache Kafka Connect 애플리케이션을 로 마이그레이션하려고 할 때 문제가 발생할 수 있습니다 AWS. 이러한 문제에는 인프라를 설정하고 애플리케이션을 배포하는 데 필요한 시간, 자체 관리형 Apache Kafka Connect 클러스터를 설정할 때 발생하는 엔지니어링 장애물, 관리 운영 오버헤드가 포함됩니다.

이러한 문제를 해결하려면 Amazon Managed Streaming for Apache Kafka Connect(Amazon MSK Connect)를 사용하여 오픈 소스 Apache Kafka Connect 애플리케이션을 로 마이그레이션하는 것이 좋습니다 AWS. Amazon MSK Connect는 Kafka Connect를 사용하여 Apache Kafka 클러스터와 데이터베이스, 검색 인덱스 및 파일 시스템과 같은 외부 시스템 간에 데이터를 스트리밍하는 것을 간소화합니다.

다음은 Amazon MSK Connect로 마이그레이션할 때 얻을 수 있는 몇 가지 이점입니다.

• 운영 오버헤드 제거 — Amazon MSK Connect는 Apache Kafka Connect 클러스터의 패치 적용, 프로비저닝 및 확장과 관련된 운영 부담을 덜어줍니다. Amazon MSK Connect는 Connect 클러스터의 상태를 지속적으로 모니터링하고 워크로드에 지장을 주지 않고 패치 및 버전 업그레이드를 자동화합니다.

• Connect 작업 자동 재시작 - Amazon MSK Connect는 실패한 작업을 자동으로 복구하여 프로덕션 중단을 줄일 수 있습니다. 작업 실패는 Kafka에 대한 TCP 연결 제한 위반, 새 작업자가 싱크 커넥터에 대한 소비자 그룹에 가입할 때 작업 재조정과 같은 일시적인 오류로 인해 발생할 수 있습니다.

• 자동 수평 및 수직 조정 - Amazon MSK Connect를 사용하면 커넥터 애플리케이션이 더 높은 처리량을 지원하도록 자동으로 확장할 수 있습니다. Amazon MSK Connect는 확장을 관리합니다. Auto Scaling 그룹의 작업자 수와 사용률 임계값만 지정하면 됩니다. Amazon MSK Connect UpdateConnector API 작업을 사용하여 변수 처리량을 지원하기 위해 1~8 vCPUs 사이의 를 수직으로 확장하거나 축소 vCPUs 할 수 있습니다.

• 프라이빗 네트워크 연결 - Amazon MSK Connect는 AWS PrivateLink 및 프라이빗 DNS 이름을 사용하여 소스 및 싱크 시스템에 비공개로 연결합니다.