민감한 데이터 처리

일반적으로 민감한 데이터에는 규정 준수 또는 법적 이유로 보호해야 하는 PII 또는 기밀 정보가 포함됩니다. 행 또는 열 수준에서만 암호화가 필요한 경우 landing zone 레이어를 사용하는 것이 좋습니다. 이는 부분적으로 민감한 데이터입니다.

하지만 전체 데이터 세트가 민감한 것으로 간주되는 경우 별도의 Amazon Simple Storage Service (Amazon S3) 버킷을 사용하여 데이터를 포함하는 것이 좋습니다. 이는 매우 민감한 데이터입니다. 이러한 개별 S3 버킷은 각 데이터 계층에 사용해야 하며 버킷 이름에 “민감한” 버킷을 포함해야 합니다. 클라이언트 측 암호화를 사용하여AWS Key Management Service (AWS KMS) 로 민감한 버킷을 암호화하는 것이 좋습니다. 또한 클라이언트 측 암호화를 사용하여 데이터를 변환하는AWS Glue 작업을 암호화해야 합니다.

landing zone 존을 사용하여 민감한 데이터를 마스킹합니다.

부분적으로 민감한 데이터세트 (예: 행 또는 열 수준에서만 암호화가 필요한 경우) 에 landing zone 레이어를 사용할 수 있습니다. 이 데이터는 랜딩 존의 S3 버킷으로 수집된 다음 마스킹됩니다. 마스킹된 데이터는 Amazon S3-관리형 키 (SSE-S3) 를 사용한 서버 측 암호화로 암호화된 원시 계층의 S3 버킷으로 수집됩니다. 필요한 경우 객체 수준에서 데이터에 태그를 지정할 수 있습니다.

이미 마스킹된 모든 데이터는 landing zone 존을 우회하여 원시 레이어의 S3 버킷으로 직접 수집될 수 있습니다. 스테이지 및 분석 계층에는 부분적으로 민감한 데이터셋에 대한 두 가지 액세스 수준이 있습니다. 한 수준에서는 모든 데이터에 대한 전체 액세스 권한이 있고 다른 수준에서는 중요하지 않은 행과 열에만 액세스할 수 있습니다.

다음 다이어그램은 부분적으로 민감한 데이터 세트는 landing zone 사용하여 민감한 데이터를 마스킹하지만 매우 민감한 데이터 세트는 별도의 암호화된 S3 버킷을 사용하는 데이터 레이크를 보여줍니다. landing zone 존은 제한적인 IAM 및 S3 버킷 정책을 사용하여 격리되며, 암호화된 버킷은 클라이언트 측 암호화를 사용하여AWS KMS 격리됩니다.

이 다이어그램은 다음 워크플로를 보여줍니다.

1. 매우 민감한 데이터는 원시 데이터 계층의 암호화된 S3 버킷으로 전송됩니다.

2. AWS Glue작업은 데이터를 검증하고 바로 사용할 수 있는 형식으로 변환한 다음 스테이지 레이어의 암호화된 S3 버킷에 파일을 배치합니다.

3. AWS Glue작업은 비즈니스 요구 사항에 따라 데이터를 집계하고 분석 계층의 암호화된 S3 버킷에 데이터를 배치합니다.

4. 부분적으로 민감한 데이터는 landing zone 버킷으로 전송됩니다.

5. 민감한 행과 열은 마스킹되고 데이터는 원시 계층의 S3 버킷으로 전송됩니다.

6. 중요하지 않은 데이터는 원시 계층의 S3 버킷으로 직접 전송됩니다.

7. AWS Glue작업은 데이터를 검증하고 바로 사용할 수 있는 형식으로 변환한 다음 스테이지 레이어의 S3 버킷에 파일을 배치합니다.

8. AWS Glue작업은 조직의 요구 사항에 따라 데이터를 집계하고 분석 계층의 S3 버킷에 데이터를 배치합니다.