如何分割数据以均匀分配工作
分片保存什么
副本保存数据拷贝,分片保存整个数据集的一部分。例如,不同客户的订单可放在不同数据库。请求发往存有所需数据的分片,从而分散存储及不同记录的处理工作。
数据放置规则称为分片键。若键为客户ID,该客户全部记录落在一个分片。若键为单条记录ID,同一客户的不同记录可分布到不同分片。
热点分片从何而来
客户数相等不代表负载相等。一个大客户可能比数百个小客户发出更多请求。若其全部数据固定在同一数据库,它就成为热点分片,而其他库可能空闲。
本课中,一个客户占60%的操作。总流量每秒1 000次,即该客户600次,仅其请求就超过单分片每秒300次的上限。只要键仍基于客户,添加其他分片也无法分散这600次操作。
为什么键的选择很重要
假设大客户有许多不同记录。使用记录键可将处理工作分配到多个分片。本模型假设均匀分布:四个分片处理每秒800次操作,各分片为200次。
分片规则必须每次将相同键发送到同一位置,因此仅更改规则无法拆分单个热点记录的工作。这里能分散,是因为热点组包含许多不同记录。真实应用选键时,还需考虑哪些数据要一起读取或修改。
如何区分容量不足与负载偏斜
先比较各分片负载。全部过载才说明容量确实不足。若仅一个过载、其他空闲,先检查分配键。此时总空闲容量帮不了热点分片。
保持分片数不变,切换键,比较峰值负载、失败与完成操作。模型假设操作独立,不计算现有数据迁移和跨分片操作。