Behebung häufiger Fehler bei der Verwendung des Spark Cassandra Connectors mit Amazon Keyspaces

Wenn Sie Amazon Virtual Private Cloud verwenden und eine Verbindung zu Amazon Keyspaces herstellen, werden die häufigsten Fehler bei der Verwendung des Spark-Connectors durch die folgenden Konfigurationsprobleme verursacht.

• Dem in der VPC verwendeten IAM-Benutzer oder -Rolle fehlen die erforderlichen Berechtigungen für den Zugriff aufsystem.peersTabelle in Amazon Keyspaces. Weitere Informationen finden Sie unter Auffüllen von system.peers Tabelleneinträgen mit VPC-Endpunktinformationen der Schnittstelle.

• Dem IAM-Benutzer oder der IAM-Rolle fehlen die erforderlichen Lese-/Schreibberechtigungen für die Benutzertabelle und der Lesezugriff auf die Systemtabellen in Amazon Keyspaces. Weitere Informationen finden Sie unter Schritt 1: Amazon Keyspaces für die Integration mit dem Apache Cassandra Spark Connector konfigurieren.

• Die Java-Treiberkonfiguration deaktiviert die Überprüfung des Hostnamens beim Erstellen der SSL/TLS-Verbindung nicht. Beispiele finden Sie unter Schritt 2: Konfigurieren Sie den Treiber.

Detaillierte Schritte zur Verbindungsbehebung finden Sie unterMeine VPC-Endpunktverbindung funktioniert nicht richtig.

Darüber hinaus können Sie Amazon verwendenCloudWatchMetriken, die Ihnen bei der Behebung von Problemen mit Ihrer Spark Cassandra Connector-Konfiguration in Amazon Keyspaces helfen. Erfahren Sie mehr über die Verwendung von Amazon Keyspaces mitCloudWatch, sieheÜberwachung von Amazon Keyspaces mit Amazon CloudWatch.

Im folgenden Abschnitt werden die nützlichsten Metriken beschrieben, die Sie bei der Verwendung des Spark Cassandra Connectors beobachten sollten.

PerConnectionRequestRateExceeded

Amazon Keyspaces hat ein Kontingent von 3.000 Anfragen pro Sekunde und Verbindung. Jeder Spark-Executor stellt eine Verbindung mit Amazon Keyspaces her. Wenn Sie mehrere Wiederholungsversuche ausführen, kann Ihr Kontingent für die Anforderungsrate pro Verbindung erschöpft sein. Wenn Sie dieses Kontingent überschreiten, gibt Amazon Keyspaces einePerConnectionRequestRateExceededmetrisch inCloudWatch.

Wenn du siehstPerConnectionRequestRateExceededWenn Ereignisse zusammen mit anderen System- oder Benutzerfehlern auftreten, ist es wahrscheinlich, dass Spark mehrere Wiederholungsversuche durchführt, die die zugewiesene Anzahl von Anfragen pro Verbindung überschreiten.

Wenn du siehstPerConnectionRequestRateExceededEreignisse ohne weitere Fehler, dann müssen Sie möglicherweise die Anzahl der Verbindungen in Ihren Treibereinstellungen erhöhen, um einen höheren Durchsatz zu ermöglichen, oder Sie müssen möglicherweise die Anzahl der Executoren in Ihrem Spark-Job erhöhen.

StoragePartitionThroughputCapacityExceeded

Amazon Keyspaces hat ein Kontingent von 1.000 WCUs oder WRUs pro Sekunde/3.000 RCUs oder RRUs pro Sekunde und Partition. Wenn du siehstStoragePartitionThroughputCapacityExceeded CloudWatchEreignisse, dies könnte darauf hindeuten, dass die Daten bei Belastung nicht randomisiert werden. Beispiele für das Mischen von Daten finden Sie unterSchritt 4: Bereiten Sie die Quelldaten und die Zieltabelle in Amazon Keyspaces vor.

Häufige Fehler und Warnungen

Wenn Sie Amazon Virtual Private Cloud verwenden und eine Verbindung zu Amazon Keyspaces herstellen, gibt der Cassandra-Treiber möglicherweise eine Warnmeldung über den Kontrollknoten selbst in dersystem.peerstabelle. Weitere Informationen finden Sie unter Häufige Fehler und Warnungen. Sie können diese Warnung getrost ignorieren.