MSKConnect verstehen

MSKConnect ist eine Funktion von AmazonMSK, die es Entwicklern erleichtert, Daten zu und von ihren Apache Kafka-Clustern zu streamen. MSKConnect verwendet Kafka Connect 2.7.1, ein Open-Source-Framework für die Verbindung von Apache Kafka-Clustern mit externen Systemen wie Datenbanken, Suchindizes und Dateisystemen. Mit MSK Connect können Sie vollständig verwaltete Konnektoren bereitstellen, die für Kafka Connect entwickelt wurden und Daten in beliebte Datenspeicher wie Amazon S3 und Amazon OpenSearch Service verschieben oder Daten aus diesen abrufen. Sie können Konnektoren einsetzen, die von Drittanbietern wie Debezium entwickelt wurden, um Änderungsprotokolle aus Datenbanken in einen Apache-Kafka-Cluster zu streamen, oder einen vorhandenen Konnektor ohne Codeänderungen bereitstellen. Konnektoren skalieren automatisch, um sich an Laständerungen anzupassen. Sie zahlen nur für die tatsächlich genutzten Ressourcen.

Verwenden Sie Quell-Konnektoren, um Daten aus externen Systemen in Ihre Themen zu importieren. Mit Sink-Konnektoren können Sie Daten aus Ihren Themen in externe Systeme exportieren.

MSKConnect unterstützt Konnektoren für jeden Apache Kafka-Cluster mit Konnektivität zu einem AmazonVPC, unabhängig davon, ob es sich um einen MSK Cluster oder einen unabhängig gehosteten Apache Kafka-Cluster handelt.

MSKConnect überwacht kontinuierlich den Zustand und den Bereitstellungsstatus der Konnektoren, patcht und verwaltet die zugrunde liegende Hardware und skaliert die Konnektoren automatisch, um sie an Änderungen im Durchsatz anzupassen.

Informationen zu den ersten Schritten mit MSK Connect finden Sie unterErste Schritte mit MSK Connect.

Informationen zu den AWS Ressourcen, die Sie mit MSK Connect erstellen können, finden Sie unter Steckverbinder verstehenErstellen Sie benutzerdefinierte Plugins, undMSKConnect-Mitarbeiter verstehen.

Informationen zum MSK Connect API finden Sie in der Amazon MSK API Connect-Referenz.

Vorteile der Nutzung von Amazon MSK Connect

Apache Kafka ist eine der am weitesten verbreiteten Open-Source-Streaming-Plattformen für die Aufnahme und Verarbeitung von Echtzeit-Datenströmen. Mit Apache Kafka können Sie Ihre datenproduzierenden und datenverbrauchenden Anwendungen entkoppeln und unabhängig voneinander skalieren.

Kafka Connect ist eine wichtige Komponente beim Erstellen und Ausführen von Streaming-Anwendungen mit Apache Kafka. Kafka Connect bietet eine standardisierte Methode zum Verschieben von Daten zwischen Kafka und externen Systemen. Kafka Connect ist hochgradig skalierbar und kann große Datenmengen verarbeiten. Kafka Connect bietet leistungsstarke API Operationen und Tools für die Konfiguration, Bereitstellung und Überwachung von Konnektoren, die Daten zwischen Kafka-Themen und externen Systemen übertragen. Sie können diese Tools verwenden, um die Funktionalität von Kafka Connect an die spezifischen Anforderungen Ihrer Streaming-Anwendung anzupassen und zu erweitern.

Sie können auf Probleme stoßen, wenn Sie Apache Kafka Connect-Cluster eigenständig betreiben oder wenn Sie versuchen, Open-Source-Apache Kafka Connect-Anwendungen zu migrieren. AWS Zu diesen Herausforderungen gehören der Zeitaufwand für die Einrichtung der Infrastruktur und die Bereitstellung von Anwendungen, technische Hindernisse bei der Einrichtung selbstverwalteter Apache Kafka Connect-Cluster und der administrative Betriebsaufwand.

Um diesen Herausforderungen zu begegnen, empfehlen wir, Amazon Managed Streaming for Apache Kafka Connect (Amazon MSK Connect) zu verwenden, um Ihre Open-Source-Apache Kafka Connect-Anwendungen zu migrieren. AWS Amazon MSK Connect vereinfacht die Verwendung von Kafka Connect zum Streamen von Daten zu und zwischen Apache Kafka-Clustern und externen Systemen wie Datenbanken, Suchindizes und Dateisystemen.

Hier sind einige der Vorteile einer Migration zu Amazon MSK Connect:

• Eliminierung des betrieblichen Overheads — Amazon MSK Connect verringert den betrieblichen Aufwand, der mit dem Patchen, Bereitstellen und Skalieren von Apache Kafka Connect-Clustern verbunden ist. Amazon MSK Connect überwacht kontinuierlich den Zustand Ihrer Connect-Cluster und automatisiert Patches und Versions-Upgrades, ohne dass Ihre Workloads unterbrochen werden.

• Automatischer Neustart von Connect-Aufgaben — Amazon MSK Connect kann fehlgeschlagene Aufgaben automatisch wiederherstellen, um Produktionsunterbrechungen zu reduzieren. Aufgabenausfälle können durch vorübergehende Fehler verursacht werden, wie z. B. das Überschreiten des TCP Verbindungslimits für Kafka und die Neuverteilung von Aufgaben, wenn neue Mitarbeiter der Kundengruppe für Senkenanschlüsse beitreten.

• Automatische horizontale und vertikale Skalierung — Amazon MSK Connect ermöglicht es der Connector-Anwendung, automatisch zu skalieren, um höhere Durchsätze zu unterstützen. Amazon MSK Connect verwaltet die Skalierung für Sie. Sie müssen nur die Anzahl der Mitarbeiter in der Auto Scaling-Gruppe und die Nutzungsschwellenwerte angeben. Sie können den Amazon MSK UpdateConnector API Connect-Vorgang verwenden, um den Wert vCPUs zwischen 1 und 8 vertikal nach oben oder unten zu skalieren, um vCPUs einen variablen Durchsatz zu unterstützen.

• Private Netzwerkkonnektivität — Amazon MSK Connect stellt über private DNS Namen eine private Verbindung zu Quell AWS PrivateLink - und Senkensystemen her.