Daten für gleichmäßige Arbeit aufteilen
Was Shards speichern
Ein Replikat speichert eine Datenkopie, ein Shard seinen Teil des Gesamtdatenbestands. Beispielsweise können Bestellungen verschiedener Kunden in verschiedenen Datenbanken liegen. Eine Anfrage geht an den Shard mit den benötigten Daten. So lassen sich Speicher und Arbeit an unterschiedlichen Datensätzen verteilen.
Die Platzierungsregel heißt Sharding-Schlüssel. Ist es die Kunden-ID, landen alle Datensätze dieses Kunden auf einem Shard. Ist es die ID des einzelnen Datensatzes, können Datensätze desselben Kunden auf verschiedene Shards verteilt werden.
Wie ein heißer Shard entsteht
Gleiche Kundenzahlen bedeuten nicht gleiche Last. Ein großer Kunde kann mehr senden als Hunderte kleine. Liegen all seine Daten in einer Datenbank, wird diese zum heißen Shard, während andere untätig sein können.
In dieser Lektion gehören 60 % der Operationen einem Kunden. Bei 1 000 Operationen pro Sekunde sind das 600. Seine Anfragen allein überschreiten bereits das Shard-Limit von 300 Operationen pro Sekunde. Zusätzliche Shards teilen diese 600 nicht, solange der Schlüssel kundenbasiert bleibt.
Warum die Schlüsselwahl zählt
Angenommen, der große Kunde hat viele verschiedene Datensätze. Ein Datensatzschlüssel verteilt deren Bearbeitung auf mehrere Shards. Unser Modell nimmt Gleichverteilung an: Bei vier Shards ergeben 800 Operationen pro Sekunde je 200 pro Shard.
Shard-Auswahl muss denselben Schlüssel immer zum selben Ort leiten. Eine Regeländerung teilt daher die Arbeit einer einzelnen heißen Zeile nicht. Hier hilft, dass die heiße Gruppe viele verschiedene Datensätze enthält. In realen Anwendungen zählen auch gemeinsam gelesene oder geänderte Daten.
Kapazitätsmangel von Schieflast unterscheiden
Vergleiche zuerst einzelne Shard-Lasten. Sind alle überlastet, fehlt Kapazität. Ist nur einer überlastet, prüfe zuerst den Verteilungsschlüssel. Freie Gesamtkapazität hilft diesem heißen Shard nicht.
Wechsle bei gleicher Shard-Anzahl den Schlüssel und vergleiche Spitzenlast, Fehler und erledigte Operationen. Das Modell nimmt unabhängige Operationen an; Datenmigration und shardübergreifende Operationen werden nicht berechnet.