Un cache avec un hit rate de 99% est généralement présenté comme une réussite. C’est aussi une affirmation sur la base de données qui se trouve derrière : cette base ne voit jamais que 1% de votre trafic, et elle est généralement dimensionnée pour ce qu’elle voit. Personne ne l’a écrit noir sur blanc, et c’est pourtant le chiffre sur lequel repose le plus la conception.
Le calcul
Prenons 10 000 requêtes par seconde et un hit rate de 99%. L’origine, c’est-à-dire la base de données derrière le cache, voit 100 requêtes par seconde. Elle est à l’aise : beaucoup de marge, une latence faible, rien qui justifie de réveiller quelqu’un.
Maintenant, le cache cesse d’aider : il redémarre vide, ou les entrées utilisées par ce trafic expirent en même temps, et chaque miss tombe jusqu’à l’origine. Le hit rate tombe à zéro et l’origine voit 10 000 requêtes par seconde. C’est un saut de 100×, qui arrive d’un coup, sur une base provisionnée pour le petit chiffre.
Ce qui suit n’est pas une dégradation progressive. L’origine sature, la latence grimpe, les appelants expirent (timeout) et refont leur requête (retry), et les retries ajoutent de la charge à un système déjà au-delà de sa capacité. Le cache vide est le déclencheur ; la boucle de retries est ce qui maintient le système à terre une fois le déclencheur disparu.
Pourquoi tout arrive en même temps
Le mode de défaillance qui surprend le plus est le mode synchronisé. Si un parc de serveurs réchauffe son cache au même moment — un déploiement, un redémarrage, un rafraîchissement planifié —, les entrées sont écrites à quelques instants d’écart avec le même TTL, et elles expirent à quelques instants d’écart. La conception contient un réveil invisible, réglé en même temps pour tous les réplicas.
- Un déploiement renouvelle tout le parc, et chaque instance démarre avec un cache local vide.
- Le redémarrage d’un nœud de cache perd d’un coup sa part de l’espace de clés.
- Un TTL uniforme écrit au même moment expire au même moment.
- Une hot key — une seule entrée qui sert une grande part du trafic — transforme une seule expiration en miss pour tout le parc.
Les trois réponses habituelles
- Single-flight (coalescence des requêtes) — sur un miss, un seul appelant par clé recalcule et les autres attendent ce résultat au lieu de frapper chacun l’origine. C’est celle qui borne directement la charge de l’origine : à un seul appel en cours par clé, ou par clé et par instance quand la coalescence est locale.
- Jitter sur le TTL — répartir l’expiration sur une fenêtre au lieu d’un instant unique, pour que les miss du parc arrivent étalés plutôt qu’ensemble.
- Stale-while-revalidate — servir la valeur expirée pendant qu’un seul appelant la rafraîchit en arrière-plan. Les appelants voient des données légèrement périmées au lieu d’une file d’attente.
Elles se combinent, et elles résolvent des parties différentes du problème. Le jitter étale les miss ; le single-flight borne ce qu’une rafale de miss peut faire à l’origine. Une conception avec du jitter seul garde une hot key capable de faire tomber l’origine à elle seule.
Le voir avant que cela n’arrive
Ce qui rend la question difficile à trancher sur un tableau blanc, c’est que le chiffre intéressant — ce que reçoit l’origine — est le produit de deux autres qui vivent dans des boîtes différentes : le trafic qui arrive au cache et son taux de miss. Changez le hit rate et la charge d’un composant situé trois sauts plus loin bouge de deux ordres de grandeur.
Sur un canevas RodGrid, les composants sont typés : le simulateur sait quelle boîte est un cache et laquelle se trouve derrière. Le preset de stress Ruée sur le cache met à zéro le facteur de réussite du cache et relance le modèle, ce qui fait du nouveau débit d’arrivée de l’origine un chiffre sur le diagramme plutôt qu’un argument en réunion.