Как доставить события после пика без повторных уведомлений
Что происходит во время пика
За первые 10 секунд приходят 500 новых уведомлений в секунду. Затем 20 секунд по 100, после чего вход прекращается. Нужно успеть отправить всё за оставшиеся 30 секунд. Воркеры готовят отправки, а внешний провайдер доставляет их.
Как помогает очередь
Очередь хранит работу, которую воркеры не успели выполнить сразу. После спада они могут разобрать накопление. Два воркера с буфером могут растянуть обработку пика по времени, а четыре способны обработать его сразу без очереди.
Откуда берутся дубли
Каждое десятое событие приходит повторно. Поэтому 500 событий создают 550 попыток обработки. Дедупликатор узнаёт повтор по идентификатору: воркеры обрабатывают все попытки, но провайдер получает только 500 отправок.
Что значит закончить задачу
Проверьте конец эксперимента. Все уведомления должны быть отправлены, очередь пуста, повторных отправок нет. Ожидание оценивается по размеру очереди и скорости обработки; точное время каждой задачи модель не рассчитывает.
Задание
Уведомления приходят всплеском, а часть событий повторяется. Доставьте всё за 60 секунд и не отправляйте одно уведомление дважды.
60 шагов по 1 с, вход 7000 уникальных событий при заданном пике 500/с. Плюс 10% повторных попыток, требующих работы воркера. Воркер обрабатывает 150 попыток/с. Провайдер принимает 600 отправок/с; дедупликация отсекает повторы до отправки, но после работы воркера. Очередь ограничена числом сырых попыток; без неё остаток шага теряется.
- Добавьте дедупликатор и выберите мощность воркеров.
- Если используете очередь, подберите её размер под пик и время разгрузки.
- Проверьте потери, дубли, остаток и ожидание; сравните вариант без очереди.