Как сохранить задачи, которые нельзя выполнить сразу
Чем задача отличается от немедленного ответа
После нажатия «Отправить» приложение может ответить пользователю сразу, а письмо отправить позже. Для этого оно создаёт задачу. Её выполняет отдельный обработчик, воркер.
Воркер успевает выполнить ограниченное число задач. Если новых задач больше, лишним нужно где-то ждать. Без места для ожидания они теряются.
Как очередь переживает всплеск
Очередь хранит задачи, пока воркер занят. Когда он освобождается, берёт следующую. Вместимость ограничивает число задач, которые могут ждать.
Если приходят 500 задач в секунду, а выполняются 200, за секунду накопятся 300. За четыре секунды в очереди окажутся 1 200 задач.
Предел буфера и время ожидания
Большая очередь позволяет дольше откладывать работу, но не ускоряет воркеров. Если задач всегда больше, чем они выполняют, очередь рано или поздно заполнится.
После спада до 100 новых задач в секунду воркеры с мощностью 200 смогут разбирать накопление по 100 задач в секунду. Дополнительные воркеры ускорят разбор, но увеличат стоимость.
Как читать результат эксперимента
Посмотрите на конец эксперимента. Все поступившие задачи должны быть выполнены, потеряны или всё ещё находиться в очереди. Сохранённая задача ещё не считается выполненной.
Сравните потери и оставшиеся задачи с оценкой ожидания. Она рассчитывается по самому большому накоплению и скорости воркеров. Подробности расчёта приведены в разделе «О модели».
Задание
Во время короткого пика задач больше, чем успевает выполнить воркер. Сохраните их в очереди и завершите работу к 60-й секунде.
Начальная очередь пуста. Моделируем 60 шагов по одной секунде: 10 секунд всплеска, затем 50 секунд потока 100 задач/с. Задачи одинаковые, каждый воркер стабильно выполняет 100 задач/с. Это конечный учебный поток, а не измерение брокера. Анимация показывает маршруты; график — полный расчёт за 60 секунд. Задачи текущего шага могут выполняться в этом же шаге; незавершённых in-flight задач между шагами нет. Нет retries, дубликатов, сбоев, TTL, приоритетов и гарантий доставки. Большая очередь не повышает скорость обработки и может увеличивать ожидание.
- Найдите интервал, в котором задач поступает больше, чем выполняется.
- Добавьте очередь и воркеров из панели; сравните скорость накопления и разбора.
- Подберите буфер и мощность так, чтобы завершить работу вовремя без лишних потерь и затрат.