如何在服务过载前限制输入流量
为什么有时必须拒绝请求
服务若只能处理400 请求/秒,800就超出能力。全部放行会造成服务内部失败。另一选择是提前限流,只让服务能处理的工作到达。
限流器决定是否准入请求。被拒绝的请求不占用服务,但用户仍得不到操作结果。因此,通过丢弃几乎所有有效工作来保护服务,不是好的方案。
令牌桶如何工作
令牌桶可以想象成装有许可的盒子。一个请求消耗一个令牌。有令牌就放行,盒子为空则拒绝。令牌按设定速率补充,但总量不超过桶容量。
算法有两个独立参数:补充速率决定长期允许的流量;容量提供短时突增余量。实验开始时令牌桶是满的。拒绝的请求不等待,因为没有独立队列。
令牌储备过大有什么风险
每秒补充 300 个令牌、储备 60 时,可暂时放行超过每秒 300 次请求。储备用尽后,长期流量接近补充速率。未用许可最多积累到 60。
若令牌储备过大,突发开始时限流器可能放行超过服务处理能力的请求。因此仅看平均速率不够,也要考虑短时准入。本实验按100毫秒步长计算。
如何区分两类拒绝
“入口拒绝”指没有足够令牌的请求。“服务失败”指限流器已放行,但服务因过载无法完成的请求。分析中分别显示。
调整补充速率和储备,既保留足够成功工作又不压垮服务。限流器不增加服务容量,只改变多余请求在哪里、被拦截多少。