如何随负载改变服务器数
为何随时间调整容量
应用夜间请求少,促销时请求多。始终维持峰值容量成本很高。自动扩缩容在流量增长时增加实例,在下降后移除。
控制器估算所需容量并下达启动或停止服务器的指令。本课根据输入流量和目标利用率决策,这是简化算法,并非精确复现某个云平台。
最小值、最大值与目标利用率
最小值是低流量时也需保持就绪的服务器数,作为突增开始时的储备。最大值是服务器数上限,允许扩容,但不代表这些服务器已启动。
目标利用率决定控制器追求的容量余量。上限每秒 300 次请求的服务器,目标 50% 时按 150 规划。流量 600 时,若最大值允许,控制器请求四台。实际服务取决于已就绪服务器。
为什么自动扩容会滞后
启动需要时间。实例准备期间不能处理请求。流量突然增加时,控制器可以立即申请足够服务器,但就绪之前容量仍不足。本课中,此时丢失的请求不会排队。
因此有三个不同数量:期望服务器是计算所需,启动中服务器仍在准备,就绪服务器已工作。储备可应对启动延迟,但增加成本。仅提高最大值不足以保护最初几秒。
流量下降后会发生什么
流量短暂下降后立即删除服务器有风险,负载可能再次上涨。稳定窗口要求缩容建议持续一段时间。较长窗口减少仓促停止,但让成本维持更久。
观察整个实验时间线:启动期间的损失、峰值就绪容量及回落后的多余实例。此处就绪和启动中的服务器都计费。好的策略能承受指定突发,并在实验结束前回到合理的实例数。