将数据导入到 SPICE - Amazon QuickSight

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

将数据导入到 SPICE

当您将数据导入数据集而不是使用直接SQL查询时,SPICE数据会因为其存储方式而变成数据SPICE (Super-fast, Parallel, In-memory Calculation Engine)是 Amazon QuickSight 使用的强大内存引擎。该引擎设计为快速执行高级计算及快速提供数据。在企业版中,SPICE 中存储的数据采用静态加密。

创建或编辑数据集时,除非数据集包含已上传的文件,否则您可以选择使用 SPICE 或直接查询。将数据导入(也称为摄取)SPICE 可以节省时间和金钱:

  • 分析查询处理速度加快。

  • 无需等待直接查询处理完成。

  • 存储在 SPICE 中的数据可以多次重复使用,而不会产生额外成本。如果您使用的数据来源按查询收费,则在首次创建数据集时以及稍后刷新数据集时,您需要支付查询数据的费用。

SPICE分别为每个容量分配 AWS 区域。默认SPICE容量会自动分配给您的房屋 AWS 区域。对于每个 AWS 账户,SPICE容量由所有在单个账户 QuickSight 中使用的人共享 AWS 区域。除非你选择购买一些,否则另一个 AWS 区域 没有SPICE容量。 QuickSight 管理员可以查看每个SPICE容量中有多少 AWS 区域 以及当前正在使用多少容量。 QuickSight 管理员可以根据需要购买更多SPICE容量或释放未使用的SPICE容量。有关更多信息,请参阅 管理 SPICE 内存容量

估计数据集的大SPICE小

SPICE相对于账户SPICE容量而言,数据集的大小称为逻辑大小。数据集的逻辑大小与数据集的源文件或表的大小不同。数据集的逻辑大小的计算是在数据准备期间定义了所有数据类型转换和计算列之后进行的。这些字段的实现SPICE方式可以增强查询性能。您在分析中所做的任何更改都不会影响中数据的逻辑大小SPICE。只有保存在数据集中的更改才适用于SPICE容量。

SPICE数据集的逻辑大小取决于数据集字段的数据类型和数据集中的行数。三种类型的SPICE数据是小数、日期和字符串。您可以在数据准备阶段转换字段的数据类型,以满足您的数据可视化需求。例如,您要导入的文件可能包含所有字符串(文本)。但是,为了在分析中以有意义的方式使用这些数据,您可以通过将数据类型更改为正确的形式来准备数据。包含价格的字段可以从字符串更改为小数,包含日期的字段可以从字符串更改为日期。您也可以创建计算字段,并从源表中排除不需要的字段。当您准备完数据集并且所有转换都完成后,您可以估计最终架构的逻辑大小。

注意

地理空间数据类型使用元数据来解释物理数据类型。经度和纬度都是数字。所有其他地理空间类别都是字符串。

在下面的公式中,小数和日期计算为每个单元格 8 个字节,辅助 4 个额外字节。字符串的计算依据是 UTF -8 编码中的文本长度加上 24 字节作为辅助字节。字符串数据类型需要更多空间,因为需要额外的索引SPICE才能提供较高的查询性能。

Logical dataset size in bytes = (Number of Numeric cells * (12 bytes per cell)) + (Number of Date cells * (12 bytes per cell)) + SUM ((24 bytes + UTF-8 encoded length) per Text cell)

上面的公式只能用于估计中单个数据集的大小SPICE。SPICE容量使用量是特定区域中账户中所有数据集的总大小。不建议您使用此公式来估算您的账户使用的总SPICE容量。