Produkt

Das fehlerhafte System debuggen

Stress-Presets und Diagnose-Challenges: wie du mit RodGrid ein Design absichtlich kaputt machst und herausfindest, ob du es reparieren kannst.

Echte Systeme fallen nicht höflich aus. Sie fallen um 2 Uhr nachts aus, unter einem Retry-Sturm, mit kalten Caches, während eine Verfügbarkeitszone dunkel ist. Trotzdem bewerten wir Architektur meist anhand des Schönwetter-Diagramms — in Design-Reviews und in Interviews. Die Stress-Presets und Diagnose-Challenges von RodGrid sollen diese Lücke schließen: das Design absichtlich kaputt machen und sehen, wer es diagnostizieren kann.

Zwölf Wege, einem gesunden System zuzusetzen

Der Traffic-Simulator nimmt zusätzlich zu der Last, die du einstellst, ein Stressszenario an. Grid-weite Presets treffen eine ganze Klasse von Knoten auf einmal:

  • Traffic-Spitze ×3 und Flash Crowd ×10 — das Drei- oder Zehnfache des eingestellten Traffics: Kann das Design die Spitze über Reserven abfangen, oder braucht es Queues, Load Shedding oder Autoscaling?
  • Cache-Stampede — alle Caches liefern gleichzeitig nur noch Misses, und die Speicher dahinter erben die Leselast.
  • Kalter Cache — die alltägliche Variante nach einem Deploy: 30 % der normalen Trefferquote.
  • AZ-Ausfall — die Tiers, die du betreibst, verlieren die Replikate, die sie in der ausgefallenen Zone hatten, und zonenübergreifendes Routing erhöht die Latenz.
  • Langsamer Drittanbieter — alle deine externen Abhängigkeiten haben gleichzeitig einen schlechten Tag; die Lehre heißt Isolation.
  • Retry-Sturm — Fehler erzeugen Retries, Retries erzeugen Last: die Rückkopplungsschleife, die aus einem Aussetzer einen Ausfall macht.

Knotenbezogene Presets legen den Fehler auf eine Komponente fest, die du auswählst:

  • Knotenausfall — er fällt komplett aus.
  • OOM-Kill — ihm geht immer wieder der Speicher aus, und er startet neu: Die Kapazität bricht ein, die Latenz schnellt hoch, die Fehler steigen.
  • Thread-Pool erschöpft — Anfragen stauen sich hinter blockierten Workern.
  • Netzwerkpartition — etwa die Hälfte seiner Aufrufe schlägt fehl, nachdem sie Timeout-Latenz verbraucht hat.
  • Hot Partition — ein ungleich belasteter Shard bekommt den Großteil der Last.
Probier es aus: Was macht eine Cache-Stampede hier?

Diagram components: Web App, Load Balancer, Application Service, Redis, PostgreSQL.

Ein gesunder, leselastiger Stack. Öffne ein solches Grid in RodGrid, schalte den Simulator ein und aktiviere Cache-Stampede — die Datenbank erbt jede Leseanfrage, die der Cache bisher aufgefangen hat; beobachte, ob sie oder etwas anderes an die Grenze kommt.

Diagnose-Challenges

Manche Challenges geben dir ein System, das bereits ausfällt: ein vorgegebenes Start-Design, ein genanntes SLO und ein scharf geschaltetes Stressszenario. Deine Aufgabe ist die des Bereitschaftsdienstes — herausfinden, warum es unter diesem Szenario ausfällt, und es umbauen, bis das SLO hält. Bei der Abgabe baut der Server das Szenario neu auf und lässt die Simulation auf deinem endgültigen Grid erneut laufen, sodass die Bewertung widerspiegelt, was dein Design unter Beschuss tatsächlich leistet, und nicht, was eine Beschreibung davon behauptet.

Hinweis Der Simulator hinter alldem ist ein deterministisches Kapazitätsmodell, kein Emulator auf Paketebene — überall gelten dieselben veröffentlichten Annahmen, und genau das macht Vorher-nachher-Vergleiche fair. Mehr dazu, wie er funktioniert, in „Wie der Traffic-Simulator funktioniert“.