Как разделить данные, чтобы работа распределилась равномерно
Что хранится на шардах
Данные можно разделить между несколькими базами. Каждая хранит свою часть и называется шардом. Например, заказы разных клиентов могут лежать в разных базах.
Ключ шардирования определяет, куда положить запись и где потом её искать. Ключ клиента собирает все его записи в одном месте. Ключ записи позволяет разнести их по разным базам. Если 1 000 операций в секунду разделить поровну между четырьмя базами, каждая получит 250.
Откуда берётся горячий шард
Один крупный клиент может создавать больше работы, чем все остальные. База с его данными перегружается, а соседние остаются свободными. Так возникает горячий шард.
В уроке этот клиент создаёт 60% от 1 000 операций в секунду, то есть 600. Одна база выполняет только 300. Добавление соседних баз не изменит размещение его записей.
Почему важен выбор ключа
Если разнести заказы крупного клиента по нескольким базам, они смогут обрабатывать их одновременно. Для этого переключите распределение с ключа клиента на ключ записи.
В модели записи распределяются поровну. Например, поток 800 операций в секунду даст четырём шардам по 200. Работа с одной и той же записью по-прежнему идёт в одно место.
Как отличить нехватку мощности от перекоса
Посмотрите на нагрузку каждой базы. Если перегружены все, нужна мощность. Если перегружена одна, а остальные свободны, проверьте распределение.
При том же числе шардов переключите ключ и сравните результат. В разделе модели описаны ограничения: перенос данных и работа сразу с несколькими шардами здесь не рассчитываются.
Задание
Один крупный клиент перегружает базу. Разделите данные между несколькими базами так, чтобы работа тоже распределилась.
Стационарный поток за 60с. Ключ клиента держит горячую группу на первом шарде; остальные 40% равномерно распределены по всем шардам, включая первый. Ключ записи распределяет множество разных записей этой группы между шардами. Один одинаковый горячий ключ нельзя разделить простым хешированием.
- Сравните нагрузки шардов при распределении по клиенту.
- Добавьте шарды из панели и проверьте, исчезает ли перегрузка горячей группы.
- Исследуйте ключ записи и найдите равномерное распределение в пределах бюджета.