SPICE로 데이터 가져오기 - Amazon QuickSight
SPICE 데이터 세트 크기 추정

SPICE로 데이터 가져오기

직접 SQL 쿼리를 사용하지 않고 데이터 세트로 데이터를 가져오면 데이터가 저장되는 방식 때문에 SPICE 데이터가 됩니다. SPICE (Super-fast, Parallel, In-memory Calculation Engine)는 Amazon QuickSight가 사용하는 강력한 인 메모리 엔진입니다. 이는 신속한 고급 계산 수행 및 데이터 제공을 목적으로 설계되었습니다. 엔터프라이즈 에디션에서는 유휴 시 SPICE에 저장된 데이터가 암호화됩니다.

데이터 세트를 생성하거나 편집할 때 SPICE 또는 직접 쿼리를 사용하도록 선택합니다. 단, 데이터 세트에 업로드한 파일이 포함된 경우는 예외입니다. 데이터를 SPICE로 가져오면(수집이라고도 함) 시간과 비용을 절약할 수 있습니다.

  • 분석 쿼리가 더 빠르게 처리됩니다.

  • 직접 쿼리가 처리될 때까지 기다릴 필요가 없습니다.

  • SPICE에 저장된 데이터는 추가 비용 없이 여러 번 재사용할 수 있습니다. 쿼리당 요금이 부과되는 데이터 원본을 사용하는 경우 데이터 세트를 처음 만들 때와 나중에 데이터 세트를 새로 고칠 때 데이터 쿼리 요금이 부과됩니다.

SPICE 용량은 각 AWS 리전에 개별적으로 할당됩니다. 기본 SPICE 용량은 홈 AWS 리전에 자동으로 할당됩니다. 각 AWS 계정에서 단일 AWS 리전의 QuickSight를 사용하는 모든 사용자가 SPICE 용량을 공유합니다. 용량을 별도로 구매하지 않는 한 다른 AWS 리전에는 SPICE 용량이 없습니다. QuickSight 관리자는 사용자가 보유한 각 AWS 리전와(과) 현재 사용 중인 SPICE 용량을 확인할 수 있습니다. QuickSight 관리자는 필요에 따라 SPICE 용량을 추가로 구매하거나 사용하지 않은 SPICE 용량을 릴리스할 수 있습니다. 자세한 내용은 SPICE 메모리 용량 관리 단원을 참조하십시오.

SPICE 데이터 세트 크기 추정

계정의 SPICE 용량을 기준으로 SPICE의 데이터 세트 크기를 논리적 크기라고 합니다. 데이터 세트의 논리적 크기는 데이터 세트의 원본 파일 또는 테이블 크기와 같지 않습니다. 데이터 준비 과정 동안 모든 데이터 형식 변환 및 계산된 열이 정의된 이후에 데이터 세트의 논리적 크기 계산이 수행됩니다. 이러한 필드는 쿼리 성능을 개선하는 방식으로 SPICE에서 구체화되었습니다. 분석을 변경해도 SPICE에서 데이터의 논리적 크기에 영향을 주지 않습니다. 데이터 세트에 저장된 변경 사항만 SPICE 용량에 적용됩니다.

SPICE 데이터 세트의 논리적 크기는 데이터 세트 필드의 데이터 유형과 데이터 세트의 행 수에 따라 달라집니다. SPICE 데이터의 세 가지 유형은 십진수, 날짜, 문자열입니다. 데이터 준비 단계에서 필드의 데이터 유형을 데이터 시각화 요구 사항에 맞게 변환할 수 있습니다. 예를 들어, 가져오려는 파일에 모든 문자열(텍스트)이 포함될 수 있습니다. 단, 이러한 문자열을 분석에서 유의미한 방식으로 사용하려면 데이터 형식을 적절한 형식으로 변경하여 데이터를 준비해야 합니다. 가격이 포함된 필드는 문자열에서 소수로 변경될 수 있고, 날짜가 포함된 필드는 문자열에서 날짜로 변경될 수 있습니다. 계산된 필드를 만들고 원본 테이블에서 필요하지 않은 필드를 제외할 수도 있습니다. 데이터 세트 준비와 모든 변환이 완료되면 최종 스키마의 논리적 크기를 추정할 수 있습니다.

참고

지리 공간 데이터 형식에서는 메타데이터를 사용하여 물리적 데이터 형식을 해석합니다. 위도와 경도는 숫자입니다. 모든 다른 지리 공간 범주는 문자열입니다.

아래 공식에서 십진수와 날짜는 셀당 8바이트로 계산되며 보조로 4바이트가 추가됩니다. 문자열은 UTF-8 인코딩의 텍스트 길이에 보조 24바이트를 더한 값을 기준으로 계산됩니다. 문자열 데이터 형식은 높은 쿼리 성능을 제공하기 위해 추가 인덱싱이 SPICE에 필요하기 때문에 더 많은 공간이 필요합니다.

Logical dataset size in bytes =
(Number of Numeric cells *  (12 bytes per cell))
+ (Number of Date cells    *  (12 bytes per cell))
+ SUM ((24 bytes + UTF-8 encoded length) per Text cell)

위 공식은 SPICE에서 단일 데이터 세트의 크기를 추정하는 데만 사용해야 합니다. SPICE 용량 사용은 특정 리전의 계정에 있는 모든 데이터 세트의 총 크기입니다. 계정에서 사용하는 총 SPICE 용량을 추정할 때는 이 공식을 사용하지 않는 것이 좋습니다.