Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Problembehandlung bei MSK As Source
In diesem Abschnitt werden allgemeine Schritte zur Fehlerbehebung bei der Verwendung von MSK As Source beschrieben
Informationen zur Behebung von Problemen bei der Verarbeitung, Transformation oder S3-Bereitstellung finden Sie in den vorherigen Abschnitten
Fehler bei der Schlaucherstellung
Überprüfen Sie Folgendes, wenn Ihr Schlauch mit MSK als Quelle nicht erstellt werden kann:
-
Stellen Sie sicher, dass sich der Quell-MSK-Cluster im Status Aktiv befindet.
-
Wenn Sie private Konnektivität verwenden, stellen Sie Folgendes sicher Private Verbindung auf dem Cluster ist aktiviert.
Wenn Sie öffentliche Konnektivität verwenden, stellen Sie sicher, dass Der öffentliche Zugriff auf dem Cluster ist aktiviert.
-
Wenn Sie private Konnektivität verwenden, stellen Sie sicher, dass Sie eine ressourcenbasierte Richtlinie hinzufügen, die es Firehose ermöglicht, Private Links zu erstellen. Siehe auch: Kontoübergreifende MSK-Berechtigungen.
-
Stellen Sie sicher, dass die Rolle in der Quellkonfiguration Erlaubnis, Daten aus dem Cluster-Thema aufzunehmen.
-
Stellen Sie sicher, dass Ihre VPC-Sicherheitsgruppen eingehenden Datenverkehr zulassen Ports, die von den Bootstrap-Servern des Clusters verwendet werden.
Schlauch suspendiert
Prüfen Sie Folgendes, wenn sich Ihr Schlauch im Zustand SUSPENDIERT befindet
-
Stellen Sie sicher, dass sich der Quell-MSK-Cluster im Status Aktiv befindet.
-
Stellen Sie sicher, dass das Quellthema vorhanden ist. Falls das Thema gelöscht und neu erstellt wurde, müssen Sie auch den Firehose-Stream löschen und neu erstellen.
Schlauch mit Gegendruck
Der Wert von DataReadFromSource.Backpressured wird 1 sein wenn BytesPerSecondLimit pro Partition überschritten wird oder dass der normale Lieferfluss langsam ist oder gestoppt wird.
-
Wenn du schlägst BytesPerSecondLimit bitte überprüfe DataReadFromSource.Bytes Metrik und fordern Sie eine Erhöhung des Limits an.
-
Überprüfe das CloudWatch Protokolle, Zielmetriken, Metriken für die Datentransformation und Metriken für die Formatkonvertierung, um die Engpässe zu identifizieren.
Falsche Datenaktualität
Die Aktualität der Daten scheint falsch zu sein
-
Firehose berechnet die Datenaktualität anhand des Zeitstempels des verbrauchten Datensatzes. Um sicherzustellen, dass dieser Zeitstempel korrekt aufgezeichnet wird, wenn der Produzentendatensatz in den Broker-Protokollen von Kafka gespeichert wird, stellen Sie die Konfiguration des Zeitstempeltyps Kafka-Thema auf
message.timestamp.type=LogAppendTime.
Verbindungsprobleme mit dem MSK-Cluster
Das folgende Verfahren erklärt, wie Sie die Konnektivität zu MSK-Clustern überprüfen können. Einzelheiten zur Einrichtung des Amazon MSK-Clients finden Sie unter Erste Schritte mit Amazon MSK in der Amazon Managed Streaming für Apache Kafka — Entwicklerhandbuch.
Um die Konnektivität zu MSK-Clustern zu überprüfen
Erstellen Sie eine Unix-based (vorzugsweise AL2) Amazon EC2-Instance. Wenn in Ihrem Cluster nur VPC-Konnektivität aktiviert ist, stellen Sie sicher, dass Ihre EC2-Instance in derselben VPC ausgeführt wird. Stellen Sie eine SSH-Verbindung zur Instance her, sobald sie verfügbar ist. Weitere Informationen finden Sie unter dieses Tutorial in der Amazon EC2-Benutzerhandbuch.
Installieren Sie Java mit dem Yum-Paketmanager, indem Sie den folgenden Befehl ausführen. Weitere Informationen finden Sie auf der Anweisungen zur Installation im Amazon Corretto 8-Benutzerhandbuch.
sudo yum install java-1.8.0Installieren Sie das AWS Auftraggeber
indem Sie den folgenden Befehl ausführen. curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip" unzip awscliv2.zip sudo ./aws/installLaden Sie die Version 2.6* des Apache Kafka-Clients herunter, indem Sie den folgenden Befehl ausführen.
wget https://archive.apache.org/dist/kafka/2.6.2/kafka_2.12-2.6.2.tgz tar -xzf kafka_2.12-2.6.2.tgz-
Wechseln Sie zum Verzeichnis
kafka_2.12-2.6.2/libsund führen Sie dann den folgenden Befehl aus, um die Amazon-MSK-IAM-JAR-Datei herunterzuladen.wget https://github.com/aws/aws-msk-iam-auth/releases/download/v1.1.3/aws-msk-iam-auth-1.1.3-all.jar -
Erstellen
client.propertiesDatei im Kafka-Bin-Ordner. -
Ersetzen
awsRoleArnmit dem Rollen-ARN, den Sie in Ihrem Firehose verwendet habenSourceConfigurationund verifizieren Sie den Speicherort des Zertifikats. Erlaube deinen AWS Der Client-Benutzer darf die Rolle übernehmenawsRoleArn. AWS Der Client-Benutzer wird versuchen, die Rolle zu übernehmen, die Sie hier angegeben haben.[ec2-user@ip-xx-xx-xx-xx bin]$ cat client.properties security.protocol=SASL_SSL sasl.mechanism=AWS_MSK_IAM sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required awsRoleArn="<role arn>" awsStsRegion="<region name>"; sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler awsDebugCreds=true ssl.truststore.location=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.342.b07-1.amzn2.0.1.x86_64/jre/lib/security/cacerts ssl.truststore.password=changeit Führen Sie den folgenden Kafka-Befehl aus, um Themen aufzulisten. Wenn Ihre Verbindung öffentlich ist, verwenden Sie die öffentlichen Endpunkt-Bootstrap-Server. Wenn Ihre Verbindung privat ist, verwenden Sie die privaten Endpunkt-Bootstrap-Server.
bin/kafka-topics.sh --list --bootstrap-server<bootstrap servers>--command-config bin/client.propertiesWenn die Anfrage erfolgreich ist, sollten Sie eine Ausgabe sehen, die der folgenden Beispiel ähnelt.
[ec2-user@ip-xx-xx-xx-xx kafka_2.12-2.6.2]$ bin/kafka-topics.sh --list --bootstrap-server<bootstrap servers>--command-config bin/client.properties [xxxx-xx-xx 05:49:50,877] WARN The configuration 'awsDebugCreds' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig) [xxxx-xx-xx 05:49:50,878] WARN The configuration 'ssl.truststore.location' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig) [xxxx-xx-xx 05:49:50,878] WARN The configuration 'sasl.jaas.config' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig) [xxxx-xx-xx 05:49:50,878] WARN The configuration 'sasl.client.callback.handler.class' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig) [xxxx-xx-xx 05:49:50,878] WARN The configuration 'ssl.truststore.password' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig) [xxxx-xx-xx 05:50:21,629] WARN [AdminClient clientId=adminclient-1] Connection to node... __amazon_msk_canary __consumer_offsetsWenn beim Ausführen des vorherigen Skripts Probleme auftreten, stellen Sie sicher, dass die von Ihnen angegebenen Bootstrap-Server über den angegebenen Port erreichbar sind. Dazu könnten Sie Folgendes herunterladen und verwenden Telnet oder ein ähnliches Hilfsprogramm wie im folgenden Befehl gezeigt.
sudo yum install telnet telnet<bootstrap servers><port>Wenn die Anfrage erfolgreich ist, erhalten Sie die folgende Ausgabe. Das bedeutet, dass Sie innerhalb Ihrer lokalen VPC eine Verbindung zu Ihrem MSK-Cluster herstellen können und die Bootstrap-Server auf dem angegebenen Port fehlerfrei sind.
Connected to ..Wenn die Anfrage nicht erfolgreich ist, überprüfen Sie die Regeln für eingehenden Datenverkehr auf Ihrer VPC Sicherheitsgruppe. Als Beispiel könnten Sie die folgenden Eigenschaften für die Regel für eingehenden Datenverkehr verwenden.
Type: All traffic Port: Port used by the bootstrap server (e.g. 14001) Source: 0.0.0.0/0Versuchen Sie es erneut Telnet Verbindung wie im vorherigen Schritt gezeigt. Wenn Sie immer noch keine Verbindung herstellen können oder Ihre Firehose-Verbindung immer noch ausfällt, wenden Sie sich an den AWS Unterstützung
.