Ereignisse annehmen, verarbeiten und senden sind getrennte Schritte
Was während der Spitze geschieht
Die Quelle muss Benachrichtigungen an Nutzer zustellen. In den ersten 10 Sekunden kommen 500 eindeutige Ereignisse/s, danach 20 Sekunden lang 100/s, dann endet der Eingang. Weitere 30 Sekunden bleiben zum Abschluss. Worker sind durch Verarbeitungsversuche begrenzt, der Anbieter durch Sendungen. Eine Warteschlange erhöht keine dieser Kapazitäten.
Wie eine Warteschlange hilft
Eine Warteschlange bewahrt Arbeit, die Worker nicht sofort übernehmen können. Sinkt der Eingang, baut freie Kapazität den Rückstand ab. Puffer und Wartezeit sind begrenzt. Zwei Worker mit passender Schlange können eine kurze Spitze verteilen, vier sie ohne Schlange verarbeiten. Beides gilt, wenn alle Anforderungen erfüllt sind.
Woher Duplikate kommen
Ein Wiederholungsversuch kann eintreffen, obwohl das erste Ereignis schon verarbeitet wurde. Hier kommt jedes zehnte Ereignis zweimal. Der Deduplizierer erkennt es an seiner ID und verhindert erneutes Senden. Erkennung kostet weiterhin Arbeit, aber der zweite Nutzereffekt entfällt. Das garantiert keine allgemeine Exactly-once-Zustellung. Zum Beispiel erzeugen 500 eindeutige Ereignisse 550 Verarbeitungsversuche. Mit Deduplizierung bearbeiten die Worker alle 550 Versuche, aber nur 500 Sendungen erreichen den Anbieter.
Was der Aufgabenabschluss bedeutet
Alle Ereignisse aufzunehmen und null Verluste zu zeigen reicht nicht. Am Ende müssen alle ohne Rest und Doppelversand zugestellt sein. Spitzenwartezeit = Warteschlangengröße / Verarbeitungsrate. Echte FIFO-Zeiten und Netzwerkwiederholungen werden nicht nachgebildet.
Aufgabe
Erste 10 s: 500 neue Benachrichtigungen/s, nächste 20 s: 100/s, dann 30 s zum Abschluss. Jede zehnte kommt erneut. Wähle Warteschlange und Worker; alles muss ohne Duplikate und Wartezeiten über 12 s zugestellt werden.
60 Schritte zu je 1 s, insgesamt 7 000 eindeutige Eingangsereignisse bei der eingestellten Spitze von 500/s. Dazu 10 % Wiederholungsversuche mit Workeraufwand. Ein Worker schafft 150 Versuche/s. Der Anbieter akzeptiert 600 Sendungen/s; Deduplizierung entfernt Wiederholungen vor dem Senden, aber nach der Workerarbeit. Die Warteschlange zählt rohe Versuche; ohne sie geht der Rest jedes Schritts verloren.
- Fügen Sie einen Deduplizierer hinzu und wählen Sie Worker-Kapazität.
- Passe eine verwendete Warteschlange an Spitze und Abbauzeit an.
- Prüfe Verluste, Duplikate, Rest und Wartezeit; vergleiche ohne Warteschlange.