Eingangsverkehr vor der Dienstüberlastung begrenzen
Warum Anfragen manchmal abzulehnen sind
Ein Dienst mit 400 Anfragen/s wird durch 800 überfordert. Man kann alles zulassen und interne Fehler erhalten. Oder man begrenzt den Eingang vorher auf eine bewältigbare Menge.
Ein Limiter entscheidet über die Zulassung einer Anfrage. Abgewiesene Anfragen belegen den Dienst nicht, doch Nutzer erhalten trotzdem kein Ergebnis. Eine Lösung, die den Dienst schützt, indem sie fast alle Nutzarbeit verwirft, ist daher nicht gut.
Wie Token Bucket funktioniert
Ein Token Bucket ist eine Kiste mit Erlaubnissen. Eine Anfrage verbraucht ein Token. Ist eines da, geht sie durch; ist die Kiste leer, wird sie abgelehnt. Token werden mit festgelegter Rate ergänzt, höchstens bis zur Kapazität.
Der Algorithmus hat zwei Einstellungen. Die Nachfüllrate bestimmt dauerhaft zugelassenen Strom. Die Kapazität gibt Reserve für kurze Spitzen. Zu Beginn ist sie voll. Abgewiesene Anfragen warten nicht: Es gibt keine separate Schlange.
Warum ein zu großer Vorrat gefährlich ist
Mit 300 Tokens/s und Reserve 60 dürfen kurzzeitig mehr als 300 Anfragen/s passieren. Ist die Reserve leer, nähert sich der Dauerstrom der Nachfüllrate. Ungenutzte Erlaubnisse sammeln sich höchstens bis 60.
Bei sehr großem Tokenvorrat lässt der Limiter zu Beginn einer Spitze mehr durch, als der Dienst schafft. Die mittlere Rate allein reicht daher nicht: Auch kurzfristige Zulassung zählt. Hier wird in 100-Millisekunden-Schritten gerechnet.
Zwei Ablehnungsarten unterscheiden
Am Eingang abgelehnt sind Anfragen ohne Token. Dienstfehler sind vom Limiter zugelassene Anfragen, die der überlastete Dienst nicht erledigt. Die Analyse zeigt beide getrennt.
Variieren Sie Nachfüllrate und Vorrat, um genug erfolgreiche Arbeit ohne Überlast zu erhalten. Ein Limiter erhöht keine Dienstkapazität. Er ändert, wo und wie viele überzählige Anfragen gestoppt werden.
Aufgabe
Der Dienst schafft 400 req/s. Normalfluss 200 req/s, von Sekunde 10 bis 20 eine Spitze von 800 req/s. Konfigurieren Sie Token Bucket so, dass kontrollierte Ablehnungen schützen.
60 Sekunden in 100-ms-Schritten. Der Bucket startet voll. Token werden bis zur Kapazität nachgefüllt; ein Token erlaubt eine Anfrage. Auch bei Dienstfehler verbraucht eine zugelassene Anfrage ein Token. Keine Warteschlange. Das Aggregatmodell erlaubt Bruchteile.
- Vergleichen Sie Spitzenfluss mit Dienstkapazität und Ausgangsfehlern.
- Fügen Sie einen Limiter hinzu; untersuchen Sie Nachfüllrate und Tokenvorrat getrennt.
- Halten Sie Dienstfehler in den Vorgaben, ohne zu viele nützliche Anfragen abzulehnen.