使用 Amazon S3 Storage Lens 存储统计管理工具优化您的存储成本 - Amazon Simple Storage Service

使用 Amazon S3 Storage Lens 存储统计管理工具优化您的存储成本

您可以使用 S3 Storage Lens 存储统计管理工具成本优化指标来降低 S3 存储的总体成本。成本优化指标可以帮助您确认您已根据最佳实践经济高效地配置 Amazon S3。例如,您可以确定以下成本优化机会:

  • 具有超过 7 天的未完成分段上传的桶

  • 累积了许多非当前版本的桶

  • 不具有生命周期规则来中止未完成分段上传的桶

  • 不具有使非当前版本对象过期的生命周期规则的桶

  • 不具有将对象转换为其他存储类的生命周期规则的桶

然后,您可以使用这些数据向桶添加额外的生命周期规则。

以下示例说明如何使用 S3 Storage Lens 存储统计管理工具控制面板中的成本优化指标来优化存储成本。

识别您最大的 S3 桶

您要为在 S3 桶中存储对象付费。您需付费的费率取决于对象的大小、对象的存储时长及其存储类。利用 S3 Storage Lens 存储统计管理工具,您可以集中查看账户中的所有桶。要查看组织的所有账户中的所有桶,您可以配置 AWS Organizations 级 S3 Storage Lens 存储统计管理工具控制面板。在此控制面板视图中,您可以识别最大的桶。

步骤 1:识别最大的 S3 桶

  1. 登录到 AWS Management Console,然后通过以下网址打开 Amazon S3 控制台:https://console.aws.amazon.com/s3/

  2. 在左侧导航窗格中,选择 Storage LensDashboards(控制面板)。

  3. 控制面板列表中,选择要查看的控制面板。

    控制面板打开后,您可以看到 S3 Storage Lens 存储统计管理工具收集指标的最新日期。您的控制面板始终加载指标可用的最新日期。

  4. 要查看所选日期范围内按 Total storage(总存储)指标排列的最大桶的排名,请向下滚动到 Top N overview for date(日期的前 N 个概览)部分。

    您可以切换排序顺序以显示最小的桶。您还可以调整 Metric(指标)选择,以根据任何可用指标对桶进行排名。Top N overview for date(日期的前 N 个概览)部分还显示与前一天或前一周相比的百分比变化以及用于可视化趋势的火花线。该趋势对于免费指标为 14 天趋势,对于高级指标和建议为 30 天趋势。

    注意

    使用 S3 Storage Lens 存储统计管理工具高级指标和建议,指标可用于 15 个月的查询。有关更多信息,请参阅指标选择

  5. 要了解有关您的桶的更详细的见解,请向上滚动到页面顶部,然后选择 Bucket(桶)选项卡。

    Bucket(桶)选项卡上,您可以看到诸如近期增长率、平均对象大小、最大前缀和对象数等详细信息。

步骤 2:导航到您的桶并进行调查

在确定最大的 S3 桶之后,您可以导航到 S3 控制台中的每个桶,以查看桶中的对象,了解其关联的工作负载,或识别桶的内部拥有者。您可以与桶拥有者联系,以了解此增长是否符合预期,或者此增长是否需要进一步监控和控制。

发现冷的 Amazon S3 桶

如果启用了 S3 Storage Lens 存储统计管理工具高级指标,您可以使用活动指标了解 S3 桶的活跃度。“冷”桶是指不再访问(或极少访问)其存储的桶。这种活跃程度缺乏通常表示桶的对象不经常访问。

活动指标,例如 GET Requests(Get 请求)Download Bytes(下载字节数),指明每天访问桶的频率。要了解访问模式的一致性并发现根本不再访问的桶,您可以对这些数据进行几个月的趋势分析。Retrieval rate(检索率)指标(计算方法为下载字节数/总存储),表示桶中每天访问的存储比例。

注意

如果同一对象在一天中多次下载,则下载字节数会加倍。

先决条件

要在 S3 Storage Lens 存储统计管理工具控制面板中查看活动指标,您必须启用 S3 Storage Lens 存储统计管理工具 Advanced metrics and recommendations(高级指标和建议),然后选择 Activity metrics(活动指标)。有关更多信息,请参阅创建和更新 Amazon S3 Storage Lens 存储统计管理工具控制面板

步骤 1:识别活动的桶

  1. 登录到 AWS Management Console,然后通过以下网址打开 Amazon S3 控制台:https://console.aws.amazon.com/s3/

  2. 在左侧导航窗格中,选择 Storage LensDashboards(控制面板)。

  3. 控制面板列表中,选择要查看的控制面板。

  4. 选择 Bucket(桶)选项卡,然后向下滚动到 Bubble analysis by buckets for date(按日期的桶划分的气泡分析)图表。

    Bubble analysis by buckets for date(按日期的桶划分的气泡分析)部分中,您可以使用任意三个指标在多个维度上绘制桶,以表示气泡的 X-axis(X 轴)、Y-axis(Y 轴)和 Size(大小)。

  5. 要查找变冷的桶,请为 X-axis(X 轴)、Y-axis(Y 轴)和 Size(大小)选择 Total storage(总存储空间)、% retrieval rate(检索率百分比)和 Average object size(平均对象大小)指标。

  6. Bubble analysis by buckets for date(按日期的桶划分的气泡分析)部分中,查找检索率为零(或接近零)且相对存储大小较大的任何桶,然后选择代表桶的气泡。

    此时将出现一个方框,其中包含可提供更精细见解的选项。请执行下列操作之一:

    1. 要更新 Bucket(桶)选项卡以仅显示选定桶的指标,请选择 Drill down(深入分析),然后选择 Apply(应用)。

    2. 要按账户、AWS 区域、存储类或桶聚合桶级别数据,请选择 Analyze by(分析依据),然后选择 Dimension(维度)。例如,要按存储类进行聚合,请为 Dimension(维度)选择 Storage class(存储类)。

    要查找已经冷的桶,请使用 Total storage(总存储)% retrieval rate(检索率百分比)Average object size(平均对象大小)指标执行气泡分析。查找检索率为零(或接近零)且相对存储大小较大的任何桶。

    控制面板的 Bucket(桶)选项卡将更新,以显示所选聚合或筛选条件的数据。如果您按存储类或其他维度进行汇总,则该新选项卡将在您的控制面板中打开 [例如,Storage class(存储类)选项卡]。

步骤 2:调查冷桶

在此处,您可以识别您账户或组织中冷桶的拥有者,并了解是否仍然需要该存储。然后,您可以通过为这些桶配置生命周期过期配置或将数据存档到其中一个 Amazon S3 Glacier 存储类来优化成本。

为了避免冷桶继续发展的问题,您可以使用 S3 生命周期配置为桶自动转换数据,也可以启用使用 S3 Intelligent-Tiering 自动存档

您也可以使用步骤 1 来识别热桶。然后,您可以确保这些桶使用正确的 S3 存储类,以确保它们在性能和成本方面最有效地处理请求。

查找未完成的分段上传

您可以使用分段上传将非常大的对象(最大 5TB)分成多个分段上载,以提高吞吐量并更快地从网络问题中恢复。如果分段上传过程未完成,则未完成的分段将保留在桶中(处于不可用状态)。这些未完成的分段将产生存储成本,直到上载过程完成或删除未完成的分段。有关更多信息,请参阅使用分段上传来上传和复制对象

借助 S3 Storage Lens 存储统计管理工具,您可以确定账户中或整个组织中未完成的分段上传字节数,包括超过 7 天的未完成多段上传。有关未完成分段上传指标的完整列表,请参阅Amazon S3 Storage Lens 存储统计管理工具指标词汇表

作为最佳实践,我们建议配置生命周期规则,使超过特定天数的未完成分段上传过期。当您创建生命周期规则以使未完成分段上传过期时,我们建议以 7 天作为一个良好的起点。

步骤 1:查看未完成分段上传的总体趋势

  1. 登录到 AWS Management Console,然后通过以下网址打开 Amazon S3 控制台:https://console.aws.amazon.com/s3/

  2. 在左侧导航窗格中,选择 Storage LensDashboards(控制面板)。

  3. 控制面板列表中,选择要查看的控制面板。

  4. Snapshot for date(日期的快照)部分中的 Metrics categories(指标类别)下,选择 Cost optimization(成本优化)。

    Snapshot for date(日期的快照)部分将更新,以显示 Cost optimization(成本优化)指标,其中包括 Incomplete multipart upload bytes greater than 7 days old(超过 7 天的未完成分段上传字节数)。

    在 S3 Storage Lens 存储统计管理工具控制面板的任何图表中,您都可以看到未完成分段上传的指标。您可以使用这些指标进一步评估未完成分段上传字节对存储的影响,包括对总体增长趋势的贡献。您还可以使用 Account(账户)、AWS 区域Bucket(桶)或 Storage class(存储类)选项卡深入到更深层次的聚合,对数据进行更深入的分析。有关示例,请参阅 发现冷的 Amazon S3 桶

步骤 2:识别具有最多不完整分段上传字节但没有生命周期规则来中止不完整分段上传的桶

先决条件

要在 S3 Storage Lens 存储统计管理工具控制面板中查看 Abort incomplete multipart upload lifecycle rule count(中止未完成分段上传生命周期规则计数)指标,您必须启用 S3 Storage Lens 存储统计管理工具 Advanced metrics and recommendations(高级指标和建议),然后选择 Advanced cost optimization metrics(高级成本优化指标)。有关更多信息,请参阅创建和更新 Amazon S3 Storage Lens 存储统计管理工具控制面板

  1. 登录到 AWS Management Console,然后通过以下网址打开 Amazon S3 控制台:https://console.aws.amazon.com/s3/

  2. 在左侧导航窗格中,选择 Storage LensDashboards(控制面板)。

  3. 控制面板列表中,选择要查看的控制面板。

  4. 要确定累积了超过 7 天的未完成分段上传的特定桶,请转到 Top N overview for date(日期的前 N 个概览)部分。

    原定设置情况下,Top N overview for date(日期的前 N 个概览)部分显示前 3 个桶的指标。您可以增加或减少 Top N(前 N 个)字段中的桶数量。Top N overview for date(日期的前 N 个概览)部分还显示与前一天或前一周相比的百分比变化以及用于可视化趋势的火花线。(该趋势对于免费指标为 14 天趋势,对于高级指标和建议为 30 天趋势。)

    注意

    使用 S3 Storage Lens 存储统计管理工具高级指标和建议,指标可用于 15 个月的查询。有关更多信息,请参阅指标选择

  5. 对于 Metric(指标),在 Cost optimization(成本优化)类别中选择 Incomplete multipart upload bytes greater than 7 days old(超过 7 天的未完成分段上传字节数)。

    Top number buckets(前 number 个桶)下,您可以看到具有最多的超过 7 天的不完整分段上传存储字节的桶。

  6. 要查看未完成分段上传的更详细的桶级指标,请滚动到页面顶部,然后选择 Bucket(桶)选项卡。

  7. 向下滚动到 Bucket(桶)部分。对于 Metrics categories(指标类别),选择 Cost optimization(成本优化)。然后清除 Summary(摘要)。

    Buckets(桶)列表将更新,以显示所显示的桶的所有可用 Cost optimization(成本优化)指标。

  8. 要筛选 Buckets(桶)列表以仅显示特定的成本优化指标,请选择首选项图标( 
                                A screenshot that shows the preferences icon in the S3 Storage Lens
                                    dashboard.
                            )。

  9. 清除所有成本优化指标的切换开关,直到只有 Incomplete multipart upload bytes greater than 7 days old(超过 7 天的未完成分段上传字节)和 Abort incomplete multipart upload lifecycle rule count(中止未完成的分段上传生命周期规则计数)保持选中状态。

  10. (可选)在 Page size(页面大小)下,选择要在列表中显示的桶数。

  11. 选择 Confirm(确认)。

    Buckets(桶)列表会更新,以显示未完成分段上传和生命周期规则计数的桶级指标。您可以使用这些数据来识别具有最多的超过 7 天的不完整分段上传字节且缺少生命周期规则来中止未完成分段上传的桶。然后,您可以在 S3 控制台中导航到这些桶,并添加生命周期规则以删除已丢弃的未完成分段上传。

步骤 3:添加生命周期规则以在 7 天后删除未完成分段上传

要自动管理未完成的分段上传,您可以使用 S3 控制台创建生命周期配置,以使桶中的未完成分段上传字节在指定天数后过期。有关更多信息,请参阅配置存储桶生命周期配置以删除未完成的分段上传

减少保留的非当前版本的数量

启用后,S3 版本控制会保留同一对象的多个不同版本,当对象被意外删除或覆盖时,可以使用这些版本快速恢复数据。如果您在未配置生命周期规则以使非当前版本转换或过期的情况下启用了 S3 版本控制,则会累积大量以前的非当前版本,这可能会对存储成本产生影响。有关更多信息,请参阅在 S3 存储桶中使用版本控制

步骤 1:识别具有最多非当前对象版本的桶

  1. 登录到 AWS Management Console,然后通过以下网址打开 Amazon S3 控制台:https://console.aws.amazon.com/s3/

  2. 在左侧导航窗格中,选择 Storage LensDashboards(控制面板)。

  3. 控制面板列表中,选择要查看的控制面板。

  4. Snapshot for date(日期的快照)部分中的 Metric categories(指标类别)下,选择 Cost optimization(成本优化)。

    Snapshot for date(日期的快照)部分将更新,以显示 Cost optimization(成本优化)指标,其中包括 % noncurrent version bytes(非当前版本字节百分比)的指标。% noncurrent version bytes(非当前版本字节百分比)指标表示控制面板范围中在所选日期内归属于非当前版本的总存储字节的比例。

    注意

    如果 % noncurrent version bytes(非当前版本字节百分比)大于账户级存储的 10%,则可能表明您所存储的对象版本太多。

  5. 要确定积累了大量非当前版本的特定桶,请执行以下操作:

    1. 向下滚动到 Top N overview for date(日期的前 N 个概览)部分。对于 Top N(前 N 个),输入您想要查看其数据的桶数。

    2. 对于 Metric(指标),选择 % noncurrent version bytes(非当前版本字节百分比)。

      Top number buckets(前 number 个桶)下,您可以看到 % noncurrent version bytes(非当前版本字节百分比)最高的桶(针对您指定的数字)。Top N overview for date(日期的前 N 个概览)部分还显示与前一天或前一周相比的百分比变化以及用于可视化趋势的火花线。该趋势对于免费指标为 14 天趋势,对于高级指标和建议为 30 天趋势。

      注意

      使用 S3 Storage Lens 存储统计管理工具高级指标和建议,指标可用于 15 个月的查询。有关更多信息,请参阅指标选择

    3. 要查看非当前对象版本的更详细的桶级指标,请滚动到页面顶部,然后选择 Bucket(桶)选项卡。

      在 S3 Storage Lens 存储统计管理工具控制面板中的任何图表或可视化效果中,您都可以使用 Account(账户)、AWS 区域Storage class(存储类)或 Bucket(桶)选项卡深入到更深层次的聚合。有关示例,请参阅 发现冷的 Amazon S3 桶

    4. Buckets(桶)部分中,对于 Metric categories(指标类别),选择 Cost optimization(成本优化)。然后,清除 Summary(摘要)。

      现在,您可以看到 % noncurrent version bytes(非当前版本字节百分比)指标,以及与非当前版本相关的其他指标。

步骤 2:确定缺少用于管理非当前版本的转换和过期生命周期规则的桶

先决条件

要在 S3 Storage Lens 存储统计管理工具控制面板中查看 Noncurrent version transition lifecycle rule count(非当前版本转换生命周期规则计数)和 Noncurrent version expiration lifecycle rule count(非当前版本过期生命周期规则计数)指标,必须启用 S3 Storage Lens 存储统计管理工具 Advanced metrics and recommendations(高级指标和建议),然后选择 Advanced cost optimization metrics(高级成本优化指标)。有关更多信息,请参阅创建和更新 Amazon S3 Storage Lens 存储统计管理工具控制面板

  1. 登录到 AWS Management Console,然后通过以下网址打开 Amazon S3 控制台:https://console.aws.amazon.com/s3/

  2. 在左侧导航窗格中,选择 Storage LensDashboards(控制面板)。

  3. 控制面板列表中,选择要查看的控制面板。

  4. 在 Storage Lens 存储统计管理工具控制面板中,选择 Bucket(桶)选项卡。

  5. 向下滚动到 Bucket(桶)部分。对于 Metrics categories(指标类别),选择 Cost optimization(成本优化)。然后清除 Summary(摘要)。

    Buckets(桶)列表将更新,以显示所显示的桶的所有可用 Cost optimization(成本优化)指标。

  6. 要筛选 Buckets(桶)列表以仅显示特定的成本优化指标,请选择首选项图标( 
                                A screenshot that shows the preferences icon in the S3 Storage Lens
                                    dashboard.
                            )。

  7. 清除所有成本优化指标的切换开关,直到只有以下指标保持选中状态:

    • % noncurrent version bytes(非当前版本字节百分比)

    • Noncurrent version transition lifecycle rule count(非当前版本转换生命周期规则计数)

    • Noncurrent version expiration lifecycle rule count(非当前版本过期生命周期规则计数)

  8. (可选)在 Page size(页面大小)下,选择要在列表中显示的桶数。

  9. 选择 Confirm(确认)。

    Buckets(桶)列表将更新,以显示非当前版本字节和非当前版本生命周期规则计数的指标。您可以使用这些数据来识别非当前版本字节百分比高但缺少转换和过期生命周期规则的桶。然后,您可以在 S3 控制台中导航到这些桶,并将生命周期规则添加到这些桶。

步骤 3:添加转换非当前对象版本或使其过期的生命周期规则

确定哪些桶需要进一步调查后,您可以导航到 S3 控制台中的桶,并添加生命周期规则以使非当前版本在指定天数后过期。或者,为了降低成本,同时仍然保留非当前版本,您可以配置生命周期规则将非当前版本转换到 Amazon S3 Glacier 存储类之一。有关更多信息,请参阅示例 6:为启用了版本控制的存储桶指定生命周期规则

识别没有生命周期规则的桶并查看生命周期规则计数

S3 Storage Lens 存储统计管理工具提供 S3 生命周期规则计数指标,您可以使用这些指标来识别缺少生命周期规则的桶。要查找没有生命周期规则的桶,您可以使用 Total buckets without lifecycle rules(无生命周期规则的桶总数)指标。没有 S3 生命周期配置的桶可能有您不再需要的存储,或者可以迁移到成本较低的存储类。您还可以使用生命周期规则计数指标来识别缺少特定类型的生命周期规则(例如过期或转换规则)的桶。

先决条件

要在 S3 Storage Lens 存储统计管理工具控制面板中查看生命规则计数指标和 Total buckets without lifecycle rules(无生命周期规则的桶总数)指标,您必须启用 S3 Storage Lens 存储统计管理工具 Advanced metrics and recommendations(高级指标和建议),然后选择 Advanced cost optimization metrics(高级成本优化指标)。有关更多信息,请参阅创建和更新 Amazon S3 Storage Lens 存储统计管理工具控制面板

步骤 1:识别没有生命周期规则的桶

  1. 登录到 AWS Management Console,然后通过以下网址打开 Amazon S3 控制台:https://console.aws.amazon.com/s3/

  2. 在左侧导航窗格中,选择 Storage LensDashboards(控制面板)。

  3. 控制面板列表中,选择要查看的控制面板。

  4. 要识别没有生命周期规则的特定桶,请向下滚动到 Top N overview for date(日期的前 N 个概览)部分。

    原定设置情况下,Top N overview for date(日期的前 N 个概览)部分显示前 3 个桶的指标。在 Top N(前 N 个)字段中,您可以增加桶的数量。Top N overview for date(日期的前 N 个概览)部分还显示与前一天或前一周相比的百分比变化以及用于可视化趋势的火花线。该趋势对于免费指标为 14 天趋势,对于高级指标和建议为 30 天趋势。

    注意

    使用 S3 Storage Lens 存储统计管理工具高级指标和建议,指标可用于 15 个月的查询。有关更多信息,请参阅指标选择

  5. 对于 Metric(指标),从 Cost optimization(成本优化)类别中选择 Total buckets without lifecycle rules(没有生命周期规则的桶总数)。

  6. 查看 Total buckets without lifecycle rules(没有生命周期规则的桶总数)的以下数据:

    • Top number accounts(前 number 个账户)‐ 查看哪些账户拥有最多的没有生命周期规则的桶。

    • Top number Regions(前 number 个区域)‐ 按区域查看没有生命周期规则的桶的明细。

    • Top number buckets(前 number 个桶)‐ 查看哪些桶没有生命周期规则。

    在 S3 Storage Lens 存储统计管理工具控制面板中的任何图表或可视化效果中,您都可以使用 Account(账户)、AWS 区域Storage class(存储类)或 Bucket(桶)选项卡深入到更深层次的聚合。有关示例,请参阅 发现冷的 Amazon S3 桶

    在识别哪些桶没有生命周期规则后,您还可以查看桶的特定生命周期规则计数。

步骤 2:查看桶的生命周期规则计数

  1. 登录到 AWS Management Console,然后通过以下网址打开 Amazon S3 控制台:https://console.aws.amazon.com/s3/

  2. 在左侧导航窗格中,选择 Storage LensDashboards(控制面板)。

  3. 控制面板列表中,选择要查看的控制面板。

  4. 在 S3 Storage Lens 存储统计管理工具控制面板中,选择 Bucket(桶)选项卡。

  5. 向下滚动到 Bucket(桶)部分。在 Metrics categories(指标类别)下,选择 Cost optimization(成本优化)。然后清除 Summary(摘要)。

    Buckets(桶)列表将更新,以显示所显示的桶的所有可用 Cost optimization(成本优化)指标。

  6. 要筛选 Buckets(桶)列表以仅显示特定的成本优化指标,请选择首选项图标( 
                                A screenshot that shows the preferences icon in the S3 Storage Lens
                                    dashboard.
                            )。

  7. 清除所有成本优化指标的切换开关,直到只有以下指标保持选中状态:

    • Transition lifecycle rule count(转换生命周期规则计数)

    • Expiration lifecycle rule count(过期生命周期规则计数)

    • Noncurrent version transition lifecycle rule count(非当前版本转换生命周期规则计数)

    • Noncurrent version expiration lifecycle rule count(非当前版本过期生命周期规则计数)

    • Abort incomplete multipart upload lifecycle rule count(中止未完成分段上传生命周期规则计数)

    • Total lifecycle rule count(生命周期规则总计数)

  8. (可选)在 Page size(页面大小)下,选择要在列表中显示的桶数。

  9. 选择 Confirm(确认)。

    Buckets(桶)列表会更新,以显示您的桶的生命周期规则计数指标。您可以使用这些数据来识别没有生命周期规则的桶或缺少特定类型的生命周期规则(例如过期或转换规则)的桶。然后,您可以在 S3 控制台中导航到这些桶,并将生命周期规则添加到这些桶。

步骤 3:添加生命周期规则

识别没有生命周期规则的桶后,您可以添加生命周期规则。有关更多信息,请参阅 在存储桶上设置生命周期配置S3 生命周期配置的示例