Amazon Keyspaces와 함께 Spark Cassandra 커넥터를 사용할 때 발생하는 일반적인 오류 문제 해결

Amazon Virtual Private Cloud를 사용하고 Amazon Keyspaces에 연결하는 경우 Spark 커넥터를 사용할 때 발생하는 가장 일반적인 오류는 다음과 같은 구성 문제로 인해 발생합니다.

• VPC에서 사용되는 IAM 사용자 또는 역할에는 Amazon Keyspaces의 system.peers 테이블에 액세스하는 데 필요한 권한이 없습니다. 자세한 내용은 인터페이스 VPC 엔드포인트 정보로 system.peers 테이블 항목 채우기 섹션을 참조하세요.

• IAM 사용자 또는 역할에는 사용자 테이블에 대한 필수 읽기/쓰기 권한과 Amazon Keyspaces의 시스템 테이블에 대한 읽기 액세스 권한이 없습니다. 자세한 내용은 1단계: Apache Cassandra Spark 커넥터와의 통합을 위한 Amazon Keyspaces 구성 섹션을 참조하세요.

• Java 드라이버 구성은 SSL/TLS 연결을 생성할 때 호스트 이름 확인을 비활성화하지 않습니다. 예제는 2단계: 드라이버 구성 섹션을 참조하세요.

자세한 연결 문제 해결 단계는 VPC 엔드포인트 연결이 제대로 작동하지 않음 섹션을 참조하세요.

또한 Amazon CloudWatch 지표를 사용하면 Amazon Keyspaces의 Spark Cassandra 커넥터 구성과 관련된 문제를 해결하는 데 도움이 될 수 있습니다. CloudWatch와 함께 Amazon Keyspaces를 사용하는 방법에 대한 자세한 내용은 아마존을 통한 아마존 키스페이스 모니터링 CloudWatch 섹션을 참조하세요.

다음 섹션에서는 Spark Cassandra 커넥터를 사용할 때 관찰할 수 있는 가장 유용한 지표를 설명합니다.

PerConnectionRequestRateExceeded

Amazon Keyspaces에는 연결당 초당 3,000개의 요청 할당량이 있습니다. 각 Spark 실행자는 Amazon Keyspaces와 연결을 설정합니다. 재시도를 여러 번 실행하면 연결당 요청 속도 할당량이 소진될 수 있습니다. 이 할당량을 초과하면 Amazon Keyspaces는 CloudWatch에서 PerConnectionRequestRateExceeded 지표를 내보냅니다.

다른 시스템 또는 사용자 오류와 함께 PerConnectionRequestRateExceeded 이벤트가 나타나는 경우 Spark에서 연결당 할당된 요청 수를 초과하여 여러 번 재시도를 실행하고 있는 것일 수 있습니다.

다른 오류가 없는 PerConnectionRequestRateExceeded 이벤트가 표시되면 처리량을 늘리기 위해 드라이버 설정에서 연결 수를 늘리거나 Spark 작업의 실행자 수를 늘려야 할 수 있습니다.

StoragePartitionThroughputCapacityExceeded

Amazon Keyspaces의 할당량은 파티션당 초당 1,000개의 WCU 또는 WRU/초당 3,000개의 RCU 또는 RRU입니다. StoragePartitionThroughputCapacityExceeded CloudWatch 이벤트가 표시되는 경우 로드 시 데이터가 무작위화되지 않았음을 의미할 수 있습니다. 데이터 셔플 방법에 대한 예는 4단계: Amazon Keyspaces에서 원본 데이터 및 대상 테이블 준비 섹션을 참조하세요.

일반적인 오류 및 경고

Amazon Virtual Private Cloud를 사용하고 있고 Amazon Keyspaces에 연결하는 경우 Cassandra 드라이버는 system.peers 테이블의 제어 노드 자체에 대한 경고 메시지를 발행할 수 있습니다. 자세한 내용은 일반적인 오류 및 경고 섹션을 참조하세요. 이 경고는 무시해도 됩니다.