View a markdown version of this page

Problembehandlung bei MSK As Source - Amazon Data Firehose

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Problembehandlung bei MSK As Source

In diesem Abschnitt werden allgemeine Schritte zur Fehlerbehebung bei der Verwendung von MSK As Source beschrieben

Anmerkung

Informationen zur Behebung von Problemen bei der Verarbeitung, Transformation oder S3-Bereitstellung finden Sie in den vorherigen Abschnitten

Fehler bei der Schlaucherstellung

Überprüfen Sie Folgendes, wenn Ihr Schlauch mit MSK als Quelle nicht erstellt werden kann:

Schlauch suspendiert

Prüfen Sie Folgendes, wenn sich Ihr Schlauch im Zustand SUSPENDIERT befindet

  • Stellen Sie sicher, dass sich der Quell-MSK-Cluster im Status Aktiv befindet.

  • Stellen Sie sicher, dass das Quellthema vorhanden ist. Falls das Thema gelöscht und neu erstellt wurde, müssen Sie auch den Firehose-Stream löschen und neu erstellen.

Schlauch mit Gegendruck

Der Wert von DataReadFromSource.Backpressured wird 1 sein wenn BytesPerSecondLimit pro Partition überschritten wird oder dass der normale Lieferfluss langsam ist oder gestoppt wird.

  • Wenn du schlägst BytesPerSecondLimit bitte überprüfe DataReadFromSource.Bytes Metrik und fordern Sie eine Erhöhung des Limits an.

  • Überprüfe das CloudWatch Protokolle, Zielmetriken, Metriken für die Datentransformation und Metriken für die Formatkonvertierung, um die Engpässe zu identifizieren.

Falsche Datenaktualität

Die Aktualität der Daten scheint falsch zu sein

  • Firehose berechnet die Datenaktualität anhand des Zeitstempels des verbrauchten Datensatzes. Um sicherzustellen, dass dieser Zeitstempel korrekt aufgezeichnet wird, wenn der Produzentendatensatz in den Broker-Protokollen von Kafka gespeichert wird, stellen Sie die Konfiguration des Zeitstempeltyps Kafka-Thema auf message.timestamp.type=LogAppendTime.

Verbindungsprobleme mit dem MSK-Cluster

Das folgende Verfahren erklärt, wie Sie die Konnektivität zu MSK-Clustern überprüfen können. Einzelheiten zur Einrichtung des Amazon MSK-Clients finden Sie unter Erste Schritte mit Amazon MSK in der Amazon Managed Streaming für Apache Kafka — Entwicklerhandbuch.

Um die Konnektivität zu MSK-Clustern zu überprüfen
  1. Erstellen Sie eine Unix-based (vorzugsweise AL2) Amazon EC2-Instance. Wenn in Ihrem Cluster nur VPC-Konnektivität aktiviert ist, stellen Sie sicher, dass Ihre EC2-Instance in derselben VPC ausgeführt wird. Stellen Sie eine SSH-Verbindung zur Instance her, sobald sie verfügbar ist. Weitere Informationen finden Sie unter dieses Tutorial in der Amazon EC2-Benutzerhandbuch.

  2. Installieren Sie Java mit dem Yum-Paketmanager, indem Sie den folgenden Befehl ausführen. Weitere Informationen finden Sie auf der Anweisungen zur Installation im Amazon Corretto 8-Benutzerhandbuch.

    sudo yum install java-1.8.0
  3. Installieren Sie das AWS Auftraggeber indem Sie den folgenden Befehl ausführen.

    curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip" unzip awscliv2.zip sudo ./aws/install
  4. Laden Sie die Version 2.6* des Apache Kafka-Clients herunter, indem Sie den folgenden Befehl ausführen.

    wget https://archive.apache.org/dist/kafka/2.6.2/kafka_2.12-2.6.2.tgz tar -xzf kafka_2.12-2.6.2.tgz
  5. Wechseln Sie zum Verzeichnis kafka_2.12-2.6.2/libs und führen Sie dann den folgenden Befehl aus, um die Amazon-MSK-IAM-JAR-Datei herunterzuladen.

    wget https://github.com/aws/aws-msk-iam-auth/releases/download/v1.1.3/aws-msk-iam-auth-1.1.3-all.jar
  6. Erstellen client.properties Datei im Kafka-Bin-Ordner.

  7. Ersetzen awsRoleArn mit dem Rollen-ARN, den Sie in Ihrem Firehose verwendet haben SourceConfiguration und verifizieren Sie den Speicherort des Zertifikats. Erlaube deinen AWS Der Client-Benutzer darf die Rolle übernehmen awsRoleArn. AWS Der Client-Benutzer wird versuchen, die Rolle zu übernehmen, die Sie hier angegeben haben.

    [ec2-user@ip-xx-xx-xx-xx bin]$ cat client.properties security.protocol=SASL_SSL sasl.mechanism=AWS_MSK_IAM sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required awsRoleArn="<role arn>" awsStsRegion="<region name>"; sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler awsDebugCreds=true ssl.truststore.location=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.342.b07-1.amzn2.0.1.x86_64/jre/lib/security/cacerts ssl.truststore.password=changeit
  8. Führen Sie den folgenden Kafka-Befehl aus, um Themen aufzulisten. Wenn Ihre Verbindung öffentlich ist, verwenden Sie die öffentlichen Endpunkt-Bootstrap-Server. Wenn Ihre Verbindung privat ist, verwenden Sie die privaten Endpunkt-Bootstrap-Server.

    bin/kafka-topics.sh --list --bootstrap-server <bootstrap servers> --command-config bin/client.properties

    Wenn die Anfrage erfolgreich ist, sollten Sie eine Ausgabe sehen, die der folgenden Beispiel ähnelt.

    [ec2-user@ip-xx-xx-xx-xx kafka_2.12-2.6.2]$ bin/kafka-topics.sh --list --bootstrap-server <bootstrap servers> --command-config bin/client.properties [xxxx-xx-xx 05:49:50,877] WARN The configuration 'awsDebugCreds' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig) [xxxx-xx-xx 05:49:50,878] WARN The configuration 'ssl.truststore.location' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig) [xxxx-xx-xx 05:49:50,878] WARN The configuration 'sasl.jaas.config' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig) [xxxx-xx-xx 05:49:50,878] WARN The configuration 'sasl.client.callback.handler.class' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig) [xxxx-xx-xx 05:49:50,878] WARN The configuration 'ssl.truststore.password' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig) [xxxx-xx-xx 05:50:21,629] WARN [AdminClient clientId=adminclient-1] Connection to node... __amazon_msk_canary __consumer_offsets
  9. Wenn beim Ausführen des vorherigen Skripts Probleme auftreten, stellen Sie sicher, dass die von Ihnen angegebenen Bootstrap-Server über den angegebenen Port erreichbar sind. Dazu könnten Sie Folgendes herunterladen und verwenden Telnet oder ein ähnliches Hilfsprogramm wie im folgenden Befehl gezeigt.

    sudo yum install telnet telnet <bootstrap servers><port>

    Wenn die Anfrage erfolgreich ist, erhalten Sie die folgende Ausgabe. Das bedeutet, dass Sie innerhalb Ihrer lokalen VPC eine Verbindung zu Ihrem MSK-Cluster herstellen können und die Bootstrap-Server auf dem angegebenen Port fehlerfrei sind.

    Connected to ..
  10. Wenn die Anfrage nicht erfolgreich ist, überprüfen Sie die Regeln für eingehenden Datenverkehr auf Ihrer VPC Sicherheitsgruppe. Als Beispiel könnten Sie die folgenden Eigenschaften für die Regel für eingehenden Datenverkehr verwenden.

    Type: All traffic Port: Port used by the bootstrap server (e.g. 14001) Source: 0.0.0.0/0

    Versuchen Sie es erneut Telnet Verbindung wie im vorherigen Schritt gezeigt. Wenn Sie immer noch keine Verbindung herstellen können oder Ihre Firehose-Verbindung immer noch ausfällt, wenden Sie sich an den AWS Unterstützung.