Когда повторный запрос помогает, а когда создаёт перегрузку
Почему клиент не получил ответ
Ваше приложение запрашивает данные у другого сервиса, например у каталога товаров. Такой сервис называют зависимостью. Его ответ может задержаться или прийти с ошибкой.
Таймаут задаёт, сколько ждать ответ. Здесь ответ занимает 200 мс. При таймауте 100 мс клиент прекращает ждать слишком рано и не получает результат.
Что меняет повтор
Повтор отправляет ту же операцию ещё раз после неудачи. Если ошибка была временной, следующая попытка может пройти.
Но попыток становится больше. Для 300 операций и 150 повторов зависимость получит 450 вызовов. Усиление нагрузки составит 450 / 300 = 1,5.
Зачем нужны backoff и jitter
Backoff задаёт паузу перед повтором. Она может расти с каждой попыткой: например, 500, 1 000 и 2 000 мс. Так сервис получает время на восстановление.
Если все клиенты повторяют запросы вместе, возникает новый пик. Jitter разносит попытки во времени. Стенд использует фиксированные группы задержек, чтобы результат можно было повторить.
Как оценивать политику повторов
Сначала дайте клиенту дождаться ответа. Затем добавьте повторы и сравните число успешных операций с дополнительной нагрузкой и временем ожидания.
В уроке запросы только читают данные. При записи нужна защита от повторного действия: например, повтор платежа не должен списывать деньги второй раз. Это свойство называют идемпотентностью.
Задание
Сервис отвечает за 200 мс, а клиент ждёт только 100 мс. Настройте ожидание и повторы так, чтобы получать ответы без лишней нагрузки.
Детерминированные когорты запросов, шаг 100 мс, горизонт 60с. Исходный поток идёт 40с. Зависимость обслуживает до 450 попыток/с; мощность шага делится пропорционально между когортами. Первые 20с доля кратковременных ошибок 20%, затем 0%. Одна успешная операция учитывается ровно один раз.
- Сравните исходный таймаут с временем ответа зависимости.
- Добавьте политику повторов из панели и меняйте число попыток, backoff и jitter.
- Найдите баланс между успешными операциями, задержкой и дополнительной нагрузкой.