Как ограничить входящий поток до перегрузки сервиса
Почему иногда приходится отклонять запросы
Сервис выполняет до 400 запросов в секунду. При потоке 800 половину работы выполнить не получится.
Лимитер останавливает лишние запросы до обращения к сервису. Они получают отказ на входе. Чтобы пройти урок, нужно также сохранить достаточно выполненных запросов.
Как работает token bucket
Token bucket хранит разрешения на запросы, токены. Один запрос забирает один токен. Если токены закончились, запрос отклоняется.
Токены пополняются с заданной скоростью. Их запас ограничен вместимостью bucket. В начале эксперимента запас полон.
Как запас влияет на короткий пик
Скорость пополнения задаёт длительный поток. Запас позволяет кратковременно пропустить больше: например, при 300 токенах в секунду можно дополнительно потратить накопленные 60.
Слишком большой запас пропустит пик, с которым сервис не справится. Поэтому проверяйте и пополнение, и вместимость.
Как различать два вида отказов
В разборе разделены два результата. «Отклонено на входе» означает, что не хватило токенов. «Отказы сервиса» означает, что запрос прошёл, но сервис был перегружен.
Подберите настройки, при которых сервис не перегружен и выполняет достаточно полезной работы. Отклонённые запросы в этом уроке не ждут в очереди.
Задание
Во время пика запросов больше, чем может выполнить сервис. Настройте ограничение на входе: защитите сервис и сохраните достаточно успешных ответов.
60 секунд с шагом 100 мс. В начале bucket полон. Токены пополняются до заданной ёмкости, один токен разрешает один запрос. Разрешённый запрос расходует токен даже при отказе сервиса. Запросы не ждут в очереди. Агрегированная модель допускает дробные количества.
- Сопоставьте пик потока с мощностью сервиса и исходными отказами.
- Добавьте лимитер из панели; отдельно исследуйте пополнение и запас токенов.
- Удержите отказы сервиса в пределах задания, не отклоняя слишком много полезных запросов.