接收、处理和发送事件是不同阶段
峰值期间会发生什么
源端需要向用户投递通知。前10秒每秒到达500个唯一事件,随后20秒每秒100个,之后停止输入。还剩30秒用于完成任务。工作进程受处理尝试次数限制,供应商受发送次数限制。添加队列不会提高这两种容量。
队列如何提供帮助
队列保存工作进程无法立即接手的任务。输入下降后,空闲容量消化积压。但缓冲区有限,等待时间也有限。两个工作进程加合适队列可摊平短峰值;四个工作进程则可无需队列处理峰值。只要满足全部要求,两种方式都可行。
重复从何而来
即使首次事件已被处理,重试仍可能发生。本模型每十个事件中有一个重复到达。去重器通过标识符识别事件,避免重复发送。识别重复仍有工作开销,但不会产生第二次用户效果。这并非通用的 exactly once 投递保证。 例如,500 个唯一事件会产生 550 次处理尝试。启用去重后,工作进程仍处理全部 550 次尝试,但只有 500 次发送到达提供商。
完成任务意味着什么
仅将所有事件收入队列并显示零损失还不够。区间结束前必须全部投递,无剩余、无重复发送。峰值等待时间估算为队列长度除以处理速率。这里不复现真实 FIFO 时间与网络重试。
任务
前10秒每秒500条新通知,随后20秒每秒100条,再用30秒完成。每十条中有一条重复到达。选择队列和工作进程,全部投递不得重复,等待不得超过12秒。
60个1秒步骤,设定峰值500/秒时共输入7 000个唯一事件。另有10%的重复尝试需要工作进程处理。每个工作进程处理150次尝试/秒。供应商接受600次发送/秒;去重在工作进程处理之后、发送之前过滤重复项。队列容量按原始尝试数计算;没有队列时,每步剩余量都会丢失。
- 添加去重器并选择工作进程容量。
- 若使用队列,请根据峰值和排空时间选择大小。
- 检查损失、重复、剩余和等待,并与无队列方案比较。