刷新 SPICE 数据 - Amazon QuickSight

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

刷新 SPICE 数据

刷新数据集

要在数据集页面上刷新基于 Amazon S3 或数据库数据来源的 SPICE 数据集,请按照以下过程操作。

从数据集页面刷新 SPICE 数据
  1. 数据集页面上,选择数据集以打开它。

  2. 在打开的数据集详细信息页面上,选择刷新选项卡,然后选择立即刷新

    立即刷新数据集。
  3. 将刷新类型保留为完全刷新

  4. 如果刷新的是 Amazon S3 数据集,请为 S3 清单选择以下任一选项:

    • 要使用您上次提供给 Amazon 的相同清单文件 QuickSight,请选择现有清单。如果您更改了位于上次提供的文件位置或 URL 处的清单文件,则返回数据将反映这些更改。

    • 要通过从本地网络上传新的清单文件来指定清单文件,请选择 Upload Manifest,然后选择 Upload manifest file。对于 Open,请选择一个文件,然后选择 Open

    • 要提供 URL 以指定新的清单文件,请在 Input manifest URL (输入清单 URL) 中输入清单的 URL。您可以通过以下方式在 Amazon S3 控制台中找到清单文件 URL:打开清单文件的上下文菜单(单击右键),选择属性,然后查看链接框。

  5. 选择 Refresh

  6. 如果刷新的是 Amazon S3 数据集,请选择确定,然后再次选择确定

    如果刷新的是数据库数据集,请选择确定

增量刷新数据集

 适用于:企业版 

对于基于 SQL 的数据来源,例如 Amazon Redshift、Amazon Athena、PostgreSQL 或 Snowflake,您可以在回顾时间窗口内增量刷新数据。

增量刷新仅查询数据集在指定的回顾时间窗口内定义的数据。它将该窗口的时间范围内对数据集进行的所有插入、删除和修改从其来源传输到数据集。该窗口中当前位于 SPICE 的数据将被删除并替换为新数据。

使用增量刷新后,每次刷新时查询和传输的数据会减少。例如,假设您有一个包含 18 万条记录的数据集,其中包括从 1 月 1 日到 6 月 30 日的数据。7 月 1 日,您对数据进行增量刷新,回顾窗口为七天。 QuickSight 查询数据库,询问自6月24日(7天前)以来的所有数据,即7,000条记录。 QuickSight 然后删除 6 月 24 SPICE 日及之后的当前数据,并追加新查询的数据。第二天(7月2日) QuickSight 做同样的事情,但是从6月25日开始查询(又是7,000条记录),然后从同一日期的现有数据集中删除。系统不必每天摄取 18 万条记录,而只需摄取 7000 条记录。

要在数据集页面上增量刷新基于 SQL 数据来源的 SPICE 数据集,请按照以下过程操作。

增量刷新基于 SQL SPICE 的数据集
  1. 在数据集页面上,选择数据集以打开它。

  2. 在打开的数据集详细信息页面上,选择刷新选项卡,然后选择立即刷新

    立即刷新数据集。
  3. 对于刷新类型,选择增量刷新

  4. 如果这是您第一次对数据集进行增量刷新,请选择配置

  5. 配置增量刷新页面上,执行以下操作:

    1. 对于日期列,选择回顾时间窗口所基于的日期列。

    2. 对于窗口大小,输入大小的数字,然后选择要回顾更改的时间长度。

      您可以选择刷新从现在开始的指定小时数、天数或周数内发生的数据更改。例如,您可以选择刷新在当前日期后两周内发生的数据更改。

  6. 选择提交

在数据准备期间刷新数据集

要在数据准备期间刷新基于 Amazon S3 或数据库数据来源的 SPICE 数据集,请按照以下过程操作。

在数据准备期间刷新 SPICE 数据
  1. 数据集页面上,选择数据集,然后选择编辑数据集

  2. 在数据集屏幕上,选择立即刷新

  3. 将刷新类型设置为完全刷新

  4. (可选)如果刷新的是 Amazon S3 数据集,请为 S3 清单选择以下任一选项:

    • 要使用您上次提供给 Amazon 的相同清单文件 QuickSight,请选择现有清单。如果您更改了位于上次提供的文件位置或 URL 处的清单文件,则返回数据将反映这些更改。

    • 要通过从本地网络上传新的清单文件来指定清单文件,请选择 Upload Manifest,然后选择 Upload manifest file。对于 Open,请选择一个文件,然后选择 Open

    • 要提供 URL 以指定新的清单文件,请在 Input manifest URL (输入清单 URL) 中输入清单的 URL。您可以通过以下方式在 Amazon S3 控制台中找到清单文件 URL:打开清单文件的上下文菜单(单击右键),选择属性,然后查看链接框。

  5. 选择 Refresh

  6. 如果刷新的是 Amazon S3 数据集,请选择确定,然后再次选择确定

    如果刷新的是数据库数据集,请选择确定

按计划刷新数据集

要计划刷新数据,请按照以下过程操作。如果数据集基于直接查询而未存储在 SPICE 中,您可以打开数据集以刷新数据。您也可以刷新分析或控制面板中的页面以刷新数据。

按计划刷新 SPICE 数据
  1. 在数据集页面上,选择数据集以打开它。

  2. 在打开的数据集详细信息页面上,选择刷新选项卡,然后选择添加新计划

    按计划刷新数据集。
  3. 创建刷新计划屏幕上,为您的计划选择各项设置:

    1. 对于 Time zone (时区),选择适用于数据刷新的时区。

    2. 对于开始时间,选择刷新开始日期和时间。使用 HH:MM 和 24 小时格式,例如,13:30。

    3. 对于频率,选择以下任一选项:

      • 对于 Standard 或 Enterprise 版,您可以选择 Daily(每天)Weekly(每周)Monthly(每月)

        • 每天:每天重复。

        • 每周:在每周的同一天重复。

        • Monthly:在每月的同一天重复。要在每月的 29、30 或 31 日刷新数据,请从列表中选择 Last day of month

      • 对于 Enterprise 版,您可以选择 Hourly(每小时)。此设置将从您选择的时间开始每小时刷新一次您的数据集。因此,如果您选择 1:05 作为开始时间,数据将每个小时刷新一次,刷新时间为整点的五分钟后。

        如果您决定使用每小时刷新,则无法同时使用额外的刷新计划。要创建每小时刷新计划,请删除该数据集的任何其他现有计划。此外,在创建每日、每周或每月计划之前,请删除任何现有的每小时计划。

  4. 选择保存

计划的数据集摄取将在预定日期和时间的 10 分钟内进行。

使用 Amazon QuickSight 控制台,您可以为每个数据集创建五个计划。创建五个计划后,创建按钮会变成禁用状态。

按计划增量刷新数据集

 适用于:企业版 

对于基于 SQL 的数据来源,例如 Amazon Redshift、Athena、PostgreSQL 或 Snowflake,您可以安排增量刷新。要在数据集页面上增量刷新基于 SQL 数据来源的 SPICE 数据集,请按照以下过程操作。

为基于 SQL 的 SPICE 数据集设置增量刷新计划
  1. 数据集页面上,选择数据集以打开它。

  2. 在打开的数据集详细信息页面上,选择刷新选项卡,然后选择添加新计划

    按计划刷新数据集。
  3. 创建计划页面上,对于刷新类型,选择增量刷新

  4. 如果这是您对该数据集进行的首次增量刷新,请选择配置,然后执行以下操作:

    1. 对于日期列,选择回顾时间窗口所基于的日期列。

    2. 对于窗口大小,输入大小的数字,然后选择要回顾更改的时间长度。

      您可以选择刷新从现在开始的指定小时数、天数或周数内发生的数据更改。例如,您可以选择刷新在当前日期后两周内发生的数据更改。

    3. 选择提交

  5. 对于 Time zone (时区),选择适用于数据刷新的时区。

  6. 对于 Repeats(重复),选择以下选项之一:

    • 您可以选择每 15 分钟每 30 分钟每小时每天每周每月

      • 每 15 分钟:从您选择的时间开始,每 15 分钟重复一次。因此,如果您选择 1:05 作为开始时间,则数据将在 1:20 刷新,然后在 1:35 再次刷新,依此类推。

      • 每 30 分钟:从您选择的时间开始,每 30 分钟重复一次。因此,如果您选择 1:05 作为开始时间,则数据将在 1:35 刷新,然后在 2:05 再次刷新,依此类推。

      • 每小时:从您选择的时间开始,每小时重复一次。因此,如果您选择 1:05 作为开始时间,数据将每个小时刷新一次,刷新时间为整点的五分钟后。

      • 每天:每天重复。

      • 每周:在每周的同一天重复。

      • Monthly:在每月的同一天重复。要在每月的 29、30 或 31 日刷新数据,请从列表中选择 Last day of month

    • 如果您决定使用每 15 或 30 分钟或每小时刷新,则无法同时使用额外的刷新计划。要按照每 15 分钟、每 30 分钟或每小时创建刷新计划,请移除该数据集的所有其他现有计划。此外,在创建每天、每周或每月计划之前,请删除任何现有的每分钟或小时计划。

  7. 对于开始,选择刷新开始日期。

  8. 对于时间,指定应开始刷新的时间。使用 HH:MM 和 24 小时格式,例如,13:30。

计划的数据集摄取将在预定日期和时间的 10 分钟内进行。

在某些情况下,增量刷新数据集可能会出现问题,导致您想要回滚数据集。或者,您可能不想再增量刷新数据集。在这种情况下,您可以删除计划刷新。

为此,请在数据集页面上选择数据集,选择计划刷新,然后选择计划刷新右侧的 x 图标。删除增量刷新配置会启动完全刷新。作为此完全刷新的一部分,所有为增量刷新准备的配置都将被删除。