Amazon 키스페이스와 함께 Spark Cassandra 커넥터를 사용할 때 발생하는 일반적인 오류 문제 해결

Amazon Virtual Private Cloud 사용하고 있고 Amazon Keyspace에 연결하는 경우 Spark 커넥터를 사용할 때 발생하는 가장 일반적인 오류는 다음과 같은 구성 문제로 인해 발생합니다.

• VPC 사용되는 IAM 사용자 또는 역할에는 Amazon 키스페이스의system.peers 테이블에 액세스하는 데 필요한 권한이 없습니다. 자세한 내용은 거주하는 중system.peers인터페이스 VPC 엔드포인트 정보가 포함된 테이블 항목을 참조하세요.

• IAM 사용자 또는 역할에는 사용자 테이블에 대한 필수 읽기/쓰기 권한과 Amazon Keyspace의 시스템 테이블에 대한 읽기 권한이 없습니다. 자세한 내용은 1단계: 아파치 카산드라 스파크 커넥터와 통합할 수 있도록 아마존 Keyspaces 구성을 참조하세요.

• Java 드라이버 구성은 SSL/TLS 연결을 생성할 때 호스트 이름 확인을 비활성화하지 않습니다. 예를 보려면 2단계: 드라이버 구성 섹션을 참조하세요.

자세한 연결 문제 해결 단계는 섹션을 참조하세요VPC 엔드포인트 연결이 제대로 작동하지 않음.

또한 Amazon CloudWatch 메트릭을 사용하여 Amazon 키스페이스의 Spark Cassandra 커넥터 구성 관련 문제를 해결할 수 있습니다. 에서 Amazon Keyspace를 사용하는 방법에 대한 자세한 내용은 CloudWatch 섹션을 참조하세요아마존을 통한 아마존 Keyspaces 모니터링 CloudWatch.

다음 섹션에서는 Spark Cassandra 커넥터를 사용할 때 관찰해야 할 가장 유용한 메트릭에 대해 설명합니다.

PerConnectionRequestRateExceeded

Amazon Keyspace에는 연결당 초당 3,000개의 요청 할당량이 있습니다. 각 Spark 실행기는 Amazon 키스페이스와 연결을 설정합니다. 재시도를 여러 번 실행하면 연결당 요청 속도 할당량이 소진될 수 있습니다. 이 할당량을 초과하면 Amazon Keyspace에서PerConnectionRequestRateExceeded 지표를 내보냅니다 CloudWatch.

다른 시스템 또는 사용자 오류와 함께 PerConnectionRequestRateExceeded 이벤트가 표시되는 경우 Spark에서 연결당 할당된 요청 수를 초과하여 여러 번 재시도를 실행하고 있을 수 있습니다.

다른 오류 없이PerConnectionRequestRateExceeded 이벤트가 표시되면 드라이버 설정에서 연결 수를 늘려 처리량을 늘리거나 Spark 작업의 실행자 수를 늘려야 할 수 있습니다.

StoragePartitionThroughputCapacityExceeded

아마존 키스페이스의 할당량은 파티션당 초당 1,000개의 WCU 또는 WRU/초당 3,000개의 RCU 또는 RRU입니다. StoragePartitionThroughputCapacityExceeded CloudWatch 이벤트가 표시되면 로드 시 데이터가 무작위로 지정되지 않았음을 의미할 수 있습니다. 데이터를 섞는 방법에 대한 예제는 을 참조하십시오4단계: Amazon 키스페이스에서 원본 데이터 및 대상 테이블 준비.

일반 오류 및 경고

Amazon Virtual Private Cloud를 사용하고 있고 Amazon Keyspace에 연결하면 카산드라 드라이버가system.peers 테이블의 제어 노드 자체에 대한 경고 메시지를 발행할 수 있습니다. 자세한 내용은 일반적인 오류 및 경고을 참조하세요. 이 경고는 무시해도 됩니다.