数据分层
组成一个复制组并使用 r6gd 系列节点类型的集群将在内存和本地 SSD(固态硬盘)存储之间进行数据分层。借助数据分层功能,除可在内存中存储数据外,还可以在每个集群节点中使用成本更低的固态硬盘 (SSD),从而为 Redis 工作负载提供新的高性价比选择。它非常适合经常访问的数据不超过总体数据集的 20% 的工作负载,以及能够容忍访问 SSD 中数据时所出现的额外延迟的应用程序。
对于启用了数据分层功能的集群,ElastiCache 会监控集群所存储每个项目的最近访问时间。当可用内存 (DRAM) 耗尽时,ElastiCache 将使用最近最少使用 (LRU) 算法,自动将不频繁访问的项目从内存移动到 SSD 中。随后访问 SSD 上的数据时,ElastiCache 会在处理请求之前自动异步将其移回内存中。如果您的工作负载只会经常访问部分数据,则数据分层将是经济高效地扩缩容量的极佳方法。
请注意,使用数据分层时,键本身始终保留在内存中,而 LRU 将控制值在内存和磁盘上的位置。通常,在使用数据分层时,我们建议您的键大小小于值。
数据分层旨在将对应用程序工作负载的性能影响降至最低。例如,假设 500 字节的字符串值,与请求存储在内存中的数据相比,请求存储在 SSD 上的数据预计平均会增加 300 微秒的延迟。
如果使用最大型号的数据分层节点 (cache.r6gd.16xlarge),您可以在单个 500 节点集群中存储最高 1PB 的数据(使用 1 个只读副本时 500TB)。数据分层功能兼容 ElastiCache 中支持的所有 Redis 命令和数据结构。使用此功能无需任何客户端更改。
最佳实践
我们建议您遵循以下最佳实践:
数据分层非常适合经常访问的数据不超过总体数据集的 20% 的工作负载,以及能够容忍访问 SSD 中数据时所出现的额外延迟的应用程序。
在数据分层节点上使用可用的 SSD 容量时,我们建议值大小大于键。在 DRAM 和 SSD 之间移动项目时,键将始终保留在内存中,并且只有值会移动到 SSD 层。
限制
数据分层功能存在以下限制:
您只能在复制组中的集群上使用数据分层。
您使用的节点类型必须属于 r6gd 系列,目前可在以下区域使用:
us-east-2
、us-east-1
、us-west-2
、us-west-1
、eu-west-1
、eu-central-1
、eu-north-1
、eu-west-3
、ap-northeast-1
、ap-southeast-1
、ap-southeast-2
、ap-south-1
、ca-central-1
和sa-east-1
。您必须使用 Redis 6.2 或更高版本的引擎。
除非两个集群都为 r6gd 集群,否则不能将 r6gd 集群的备份还原到其他集群。
不能将使用数据分层功能的集群备份导出到 Amazon S3。
在 r6gd 节点类型上运行的集群不支持在线迁移。
不支持将使用数据分层功能的集群(例如,使用 r6gd 节点类型的集群)扩缩至不使用数据分层功能的集群(例如,使用 r6g 节点类型的集群)。有关更多信息,请参阅ElastiCache for Redis 集群的扩缩。
使用数据分层功能的集群不支持弹性伸缩。有关更多信息,请参阅 ElastiCache for Redis 集群的 Auto Scaling
数据分层仅支持
volatile-lru
、allkeys-lru
和noeviction
maxmemory 策略。不支持无分支保存。有关更多信息,请参阅如何实施同步和备份。
大于 128MiB 的项目不会移动到 SSD。
定价
与 R6g 节点(仅内存)相比,R6gd 节点的总存储容量(内存 + SSD)提高了 4.8 倍,以最大利用率运行时可帮助实现超过 60% 的节省。有关更多信息,请参阅 ElastiCache 定价
监控
ElastiCache for Redis 提供了若干专用于监控使用数据分层功能的高性能集群的指标。要监控 DRAM 中的项目与 SSD 的比例,可以使用 Redis 的指标中的 CurrItems
指标。您可以按以下方式计算百分比:(带维度的 CurrItems:分层 = 内存 * 100)/(不带维度筛选器的 CurrItems)。当内存中的项目百分比降至 5% 以下时,我们建议您考虑横向扩展已启用集群模式的集群或者纵向扩展已禁用集群模式的群集。有关更多信息,请参阅 Redis 的指标中的适用于使用数据分层功能的 Redis 集群的指标。
数据分层功能的使用
您可在创建复制组中的集群时选择 r6gd 系列的节点类型(例如 cache.r6gd.xlarge),从而使用数据分层功能。选择该节点类型将会自动启用数据分层功能。
有关创建集群的更多信息,请参阅创建集群。
您可在使用 AWS CLI 创建复制组时选择 r6gd 系列的节点类型(例如 cache.r6gd.xlarge)并设置 --data-tiering-enabled
参数,从而使用数据分层功能。
选择 r6gd 系列的节点类型时,您将不能选择停止使用数据分层功能。如果您设置 --no-data-tiering-enabled
参数,操作将会失败。
对于 Linux、macOS 或 Unix:
aws elasticache create-replication-group \ --replication-group-id redis-dt-cluster \ --replication-group-description "Redis cluster with data tiering" \ --num-node-groups 1 \ --replicas-per-node-group 1 \ --cache-node-type cache.r6gd.xlarge \ --engine redis \ --cache-subnet-group-name default \ --automatic-failover-enabled \ --data-tiering-enabled
对于 Windows:
aws elasticache create-replication-group ^ --replication-group-id redis-dt-cluster ^ --replication-group-description "Redis cluster with data tiering" ^ --num-node-groups 1 ^ --replicas-per-node-group 1 ^ --cache-node-type cache.r6gd.xlarge ^ --engine redis ^ --cache-subnet-group-name default ^ --automatic-failover-enabled ^ --data-tiering-enabled
运行此操作后,您将会看到一条与以下类似的响应:
{ "ReplicationGroup": { "ReplicationGroupId": "redis-dt-cluster", "Description": "Redis cluster with data tiering", "Status": "creating", "PendingModifiedValues": {}, "MemberClusters": [ "redis-dt-cluster" ], "AutomaticFailover": "enabled", "DataTiering": "enabled", "SnapshotRetentionLimit": 0, "SnapshotWindow": "06:00-07:00", "ClusterEnabled": false, "CacheNodeType": "cache.r6gd.xlarge", "TransitEncryptionEnabled": false, "AtRestEncryptionEnabled": false } }
将数据从备份还原到启用数据分层的集群
您可以通过(控制台)、(AWS CLI) 或 (ElastiCache API) 将数据从备份还原到启用数据分层的新集群。当您使用 r6gd 系列的节点类型创建集群时,系统会启用数据分层。
从备份还原到启用数据分层的集群(控制台)
-
登录 AWS Management Console 并打开 ElastiCache 控制台 (https://console.aws.amazon.com/elasticache/
)。 -
从导航窗格中,选择 Backups(备份)。
-
在备份列表中,选择您要从中进行还原的备份名称左侧的复选框。
-
选择 Restore(还原)。
-
完成 Restore Cluster(还原集群)对话框。务必要填写所有 Required(必填)字段以及您希望更改原定设置的任何其他字段。
-
Cluster ID(集群 ID)– 必填。新集群的名称。
-
Cluster mode enabled(scale out)[已启用集群模式(横向扩展)] – 对 Redis(已启用集群模式)集群选择此项。
-
Node Type(节点类型)– 选择 cache.r6gd.xlarge 或 r6gd 系列中的任何其他节点类型。
-
Number of Shards(分片数量)– 选择您希望新集群拥有的分片(API/CLI:节点组)数量。
-
Replicas per Shard(每个分区的副本数)– 选择您希望各分区拥有的只读副本节点数量。
-
Slots and keyspaces(槽和键空间) – 选择您希望如何在分区之间分布键。如果您选择指定键分配,请完成为各分片指定键范围的表。
-
Availability zone(s)(可用区)– 指定您希望如何选择集群的可用区。
-
Port(端口)– 仅当您希望新集群使用不同端口时才更改此项。
-
Choose a VPC(选择 VPC)– 选择要在其中创建此集群的 VPC。
-
Parameter Group(参数组)– 选择为所选节点类型预留了足够 Redis 内存开销的参数组。
-
-
根据需要进行设置后,选择 Create(创建)。
有关创建集群的更多信息,请参阅创建集群。
使用 AWS CLI 创建复制组时,选择 r6gd 系列的节点类型(例如 cache.r6gd.xlarge)并设置 --data-tiering-enabled
参数后,系统会默认启用数据分层。
选择 r6gd 系列的节点类型时,您将不能选择停止使用数据分层功能。如果您设置 --no-data-tiering-enabled
参数,操作将会失败。
对于 Linux、macOS 或 Unix:
aws elasticache create-replication-group \ --replication-group-id redis-dt-cluster \ --replication-group-description "Redis cluster with data tiering" \ --num-node-groups 1 \ --replicas-per-node-group 1 \ --cache-node-type cache.r6gd.xlarge \ --engine redis \ --cache-subnet-group-name default \ --automatic-failover-enabled \ --data-tiering-enabled \ --snapshot-name
my-snapshot
对于 Linux、macOS 或 Unix:
aws elasticache create-replication-group ^ --replication-group-id redis-dt-cluster ^ --replication-group-description "Redis cluster with data tiering" ^ --num-node-groups 1 ^ --replicas-per-node-group 1 ^ --cache-node-type cache.r6gd.xlarge ^ --engine redis ^ --cache-subnet-group-name default ^ --automatic-failover-enabled ^ --data-tiering-enabled ^ --snapshot-name
my-snapshot
运行此操作后,您将会看到一条与以下类似的响应:
{ "ReplicationGroup": { "ReplicationGroupId": "redis-dt-cluster", "Description": "Redis cluster with data tiering", "Status": "creating", "PendingModifiedValues": {}, "MemberClusters": [ "redis-dt-cluster" ], "AutomaticFailover": "enabled", "DataTiering": "enabled", "SnapshotRetentionLimit": 0, "SnapshotWindow": "06:00-07:00", "ClusterEnabled": false, "CacheNodeType": "cache.r6gd.xlarge", "TransitEncryptionEnabled": false, "AtRestEncryptionEnabled": false } }