1단계: 아파치 카산드라 스파크 커넥터와 통합할 수 있도록 아마존 Keyspaces 구성

이 단계에서는 계정의 파티셔너가 Apache Spark 커넥터와 호환되는지 확인하고 필요한 IAM 권한을 설정합니다. 다음 모범 사례는 테이블에 충분한 읽기/쓰기 용량을 제공하는 데 도움이 됩니다.

1. Murmur3Partitioner파티셔너가 계정의 기본 파티셔너인지 확인합니다. 이 파티셔너는 스파크 카산드라 커넥터와 호환됩니다. 파티셔너 및 변경 방법에 대한 자세한 내용은 을 참조하십시오Amazon 키스페이스에서 파티셔너로 작업하기.

2. Apache Spark를 사용하여 인터페이스 VPC 엔드포인트를 사용하여 아마존 키스페이스에 대한 IAM 권한을 설정합니다.

   • 아래 나열된 IAM 정책 예와 같이 사용자 테이블에 읽기/쓰기 권한을 할당하고 시스템 테이블에 읽기 권한을 할당합니다.

   • Spark를 통해 VPC 엔드포인트를 사용하여 Amazon 키스페이스에 액세스하는 클라이언트의 경우 system.peers 테이블을 사용 가능한 인터페이스 VPC 엔드포인트로 채워야 합니다.

   {
      "Version":"2012-10-17",
      "Statement":[
         {
            "Effect":"Allow",
            "Action":[
               "cassandra:Select",
               "cassandra:Modify"
            ],
            "Resource":[
               "arn:aws:cassandra:us-east-1:111122223333:/keyspace/mykeyspace/table/mytable",
               "arn:aws:cassandra:us-east-1:111122223333:/keyspace/system*"
            ]
         },
         {
            "Sid":"ListVPCEndpoints",
            "Effect":"Allow",
            "Action":[
               "ec2:DescribeNetworkInterfaces",
               "ec2:DescribeVpcEndpoints"
            ],
            "Resource":"*"
         }
      ]
   }

3. 다음 모범 사례를 고려하여 Spark Cassandra 커넥터의 트래픽을 지원할 수 있도록 Amazon Keyspaces 테이블에 충분한 읽기/쓰기 처리 용량을 구성하십시오.

   • 온디맨드 용량 사용을 시작하면 시나리오를 테스트하는 데 도움이 됩니다.

   • 프로덕션 환경의 테이블 처리량 비용을 최적화하려면 커넥터의 트래픽에 대한 속도 제한기를 사용하고 자동 조정과 함께 프로비저닝된 용량을 사용하도록 테이블을 구성하십시오. 자세한 내용은 Application Auto Scaling으로 Amazon Keyspaces 처리 용량을 참조하세요.

   • Cassandra 드라이버와 함께 제공되는 고정 속도 제한기를 사용할 수 있습니다. AWS샘플 리포지토리에는 Amazon 키스페이스에 맞게 조정된 몇 가지 속도 제한이 있습니다.

   • 용량 관리에 대한 자세한 내용은 섹션을 참조하세요Amazon Keyspaces (Keyspaces) 의 읽기/쓰기 용량 모드.