Почему очередь растёт и когда стоит добавить воркеры
Как по скорости поступления и обработки отличить короткий пик от нехватки мощности. Числовой пример разгрузки очереди и показатели, которые стоит проверить.
Что очередь меняет в обработке
Очередь хранит задачи, которые сейчас некому выполнить. Например, письма можно принять во время пика, а отправить позже. Скорость отправки от этого не вырастет. Если письма всегда приходят быстрее отправки, место в очереди закончится.
Посмотрите, сколько задач поступает и сколько успешно выполняется за одно и то же время. Затем дождитесь конца пика. Если очередь начала уменьшаться, свободная мощность разбирает накопление. Если продолжает расти, обработки не хватает.
Сколько времени займёт разгрузка
Приходят 120 задач в секунду, а выполняются 100. Каждую секунду остаются 20 задач. За 30 секунд накопятся 600: 20 × 30. Предположим, потерь, повторов и сбоев нет.
После пика вход снизился до 60 задач в секунду. Из мощности 100 теперь 60 заняты новыми задачами, а 40 разбирают очередь. На 600 задач уйдут 15 секунд: 600 / 40. Если бы продолжали приходить 100 задач в секунду, очередь бы не уменьшалась. В настоящей системе результат также зависит от длительности задач, ошибок и повторов.
Глубина очереди и незавершённая работа
Число задач не всегда показывает, сколько осталось работы. Тысяча быстрых задач и тысяча тяжёлых требуют разного времени. Смотрите также, как долго ждёт самая старая задача и сколько времени проходит до завершения. Проверьте ошибки и задачи, уже переданные обработчикам.
RabbitMQ хранит сообщения и выдаёт их обработчикам. Подтверждение публикации означает приём брокером, а подтверждение обработки приходит от потребителя. Сообщение, уже переданное обработчику, ещё может быть невыполненным. Различайте ожидающие и выданные без подтверждения сообщения. Гарантии зависят от настроек и протокола; очередь сама по себе не обеспечивает выполнение ровно один раз.
Проверка мощности воркеров и зависимостей
Дополнительные воркеры помогут, если задачи можно выполнять одновременно. Но им нужны свободные ресурсы базы или внешнего сервиса. Если все ждут один и тот же лимит отправки, новые воркеры могут увеличить только ожидание и ошибки.
Добавьте немного мощности и посмотрите, выросло ли число успешно выполненных задач. Проверьте, уменьшается ли возраст очереди и не замедлился ли внешний сервис. Большее число работающих воркеров полезно, только если они действительно завершают больше задач.
Эксперимент с буфером и обработчиками
В лаборатории очередей сначала увеличьте буфер при том же числе воркеров. Затем добавьте воркера. Сравните потери, ожидание и задачи, оставшиеся к концу эксперимента. В уроке уведомлений можно проверить, что меняет ограничение внешнего провайдера.
Стенд считает результат по правилам учебной модели. Эти правила приведены в лаборатории. Настоящий брокер здесь не запускается. Для оценки своей системы нужно провести нагрузочное тестирование.