Ein Cache mit 99% Hit Rate gilt meist als Erfolg. Er ist aber auch eine Aussage über die Datenbank dahinter: Diese Datenbank sieht nur 1% deines Traffics, und sie ist meist genau für das ausgelegt, was sie sieht. Das hat niemand aufgeschrieben, und es ist die tragendste Zahl im ganzen Design.
Die Rechnung
Nimm 10.000 Requests pro Sekunde und eine Hit Rate von 99%. Der Origin, die Datenbank hinter dem Cache, sieht 100 Requests pro Sekunde. Damit ist er gut bedient – reichlich Reserve, niedrige Latenz, nichts, wofür jemand alarmiert würde.
Jetzt hilft der Cache nicht mehr: Er startet leer neu, oder die Einträge, die dieser Traffic nutzt, laufen gleichzeitig ab, und jeder Miss fällt bis zum Origin durch. Die Hit Rate fällt auf null, und der Origin sieht 10.000 Requests pro Sekunde. Das ist ein Sprung um den Faktor 100, der auf einmal kommt, bei einer Datenbank, die für die kleine Zahl dimensioniert ist.
Was danach folgt, ist keine sanfte Degradation. Der Origin läuft voll, die Latenz steigt, Aufrufer laufen in Timeouts und wiederholen den Request (Retry), und die Retries legen Last auf ein System, das schon über seiner Kapazität liegt. Der leere Cache ist der Auslöser; die Retry-Schleife hält das System unten, wenn der Auslöser längst weg ist.
Warum alles auf einmal passiert
Der Fehlermodus, der Leute überrascht, ist der synchronisierte. Wenn eine ganze Flotte von Servern ihren Cache im selben Moment aufwärmt – bei einem Deploy, einem Neustart, einem geplanten Refresh –, dann werden die Einträge kurz nacheinander mit derselben TTL geschrieben und laufen auch kurz nacheinander ab. Im Design steckt ein unsichtbarer Wecker, und er ist für alle Replikate gleichzeitig gestellt.
- Ein Deploy rollt durch die Flotte, und jede Instanz startet mit einem leeren lokalen Cache.
- Der Neustart eines Cache-Knotens verwirft seinen Anteil am Keyspace auf einen Schlag.
- Eine einheitliche TTL, die zur selben Zeit geschrieben wird, läuft zur selben Zeit ab.
- Ein Hot Key – ein Eintrag, der einen großen Teil des Traffics bedient – macht aus einem einzelnen Ablauf einen Miss in der ganzen Flotte.
Die drei üblichen Antworten
- Single-Flight (Request Coalescing) – Bei einem Miss berechnet pro Key nur ein Aufrufer neu, und alle anderen warten auf dieses Ergebnis, statt jeweils den Origin anzufragen. Das ist die Maßnahme, die die Last auf den Origin direkt begrenzt: auf einen laufenden Abruf pro Key, bzw. pro Key und Instanz, wenn das Coalescing lokal ist.
- TTL-Jitter – Der Ablauf wird über ein Zeitfenster verteilt statt auf einen einzigen Zeitpunkt gelegt, sodass die Misses der Flotte verteilt eintreffen statt gemeinsam.
- Stale-while-revalidate – Der abgelaufene Wert wird weiter ausgeliefert, während ein Aufrufer ihn im Hintergrund erneuert. Aufrufer sehen leicht veraltete Daten statt einer Warteschlange.
Sie lassen sich kombinieren und lösen unterschiedliche Teile des Problems. Jitter verteilt die Misses; Single-Flight begrenzt, was ein Schwall von Misses dem Origin antun kann. Ein Design nur mit Jitter hat immer noch einen Hot Key, der den Origin allein in die Knie zwingen kann.
Sehen, bevor es passiert
Auf dem Whiteboard ist das schwer zu durchdenken, weil die interessante Zahl – was beim Origin ankommt – das Produkt zweier anderer ist, die in verschiedenen Kästen stehen: der Traffic, der am Cache ankommt, und seine Miss-Rate. Änderst du die Hit Rate, verschiebt sich die Last auf einer Komponente drei Hops weiter um zwei Größenordnungen.
Auf einem RodGrid-Canvas sind die Komponenten typisiert, deshalb weiß der Simulator, welcher Kasten ein Cache ist und welcher dahinter liegt. Das Stress-Preset Cache-Stampede setzt den Cache-Hit-Faktor auf null und rechnet das Modell neu durch. So wird die neue Ankunftsrate am Origin zu einer Zahl im Diagramm statt zu einem Streitpunkt im Meeting.