Как менять число серверов вслед за нагрузкой
Зачем менять мощность во времени
Во время акции запросов становится больше, после её окончания меньше. Постоянно держать серверы под самый высокий поток дорого.
Контроллер автомасштабирования добавляет серверы при росте нагрузки и убирает их после спада. Он принимает решение по потоку запросов и выбранным настройкам.
Минимум, максимум и целевая загрузка
Минимум задаёт число серверов, готовых заранее. Максимум ограничивает, сколько их вообще можно запустить. Сам по себе высокий максимум не создаёт готовые серверы.
Целевая загрузка задаёт запас мощности. При мощности сервера 300 запросов в секунду и цели 50% контроллер рассчитывает по 150 запросов на сервер. Для потока 600 ему нужны четыре.
Почему автомасштабирование опаздывает
Сервер начинает работать не сразу после заказа: ему нужно время на запуск. До этого запросы выполняют только уже готовые серверы.
На шкале показаны нужные по расчёту, запускаемые и готовые серверы. Резерв помогает пережить запуск. Отклонённые за это время запросы в уроке не сохраняются в очередь.
Что происходит после спада
После спада контроллер некоторое время ждёт перед уменьшением числа серверов. Это окно стабилизации: оно защищает от поспешной остановки при коротком снижении потока.
Сравните потери на старте с расходами после спада. В модели оплачивается время готовых и запускаемых серверов. Подберите настройки, которые выполняют условия и не держат лишние серверы.
Задание
Запросов становится больше, а новые серверы запускаются с задержкой. Подберите готовый запас и правила добавления серверов.
60 шагов по секунде. Готовые серверы обслуживают по 300 req/s. Desired определяется по входящему потоку и целевой загрузке. Уже заказанные серверы учитываются, повторного заказа на каждом шаге нет. Запускаемые экземпляры оплачиваются, но не дают мощности до readyAt. Уменьшение требует стабильной низкой рекомендации.
- Найдите на шкале момент, когда поток вырос, а готовые серверы ещё не появились.
- Добавьте серверы из панели, задав доступный максимум; настройте резерв и целевую загрузку.
- Сравните влияние запуска и стабилизации на потери, итоговое число серверов и стоимость.