Sous pression

Tempêtes de retries, ou le correctif qui devient la panne

Réessayer est la réponse standard à une erreur transitoire. Quand l’erreur est de la saturation et non de la malchance, le retry ajoute de la charge au moment exact où le système en a besoin de moins.

Regarder la vidéo

Le retry est la première chose qu’on ajoute à un client, et généralement la bonne. Un paquet a été perdu, un nœud a été remplacé en pleine requête, une connexion a été réinitialisée — réessayer ne coûte presque rien et transforme une erreur visible en un accroc que personne ne remarque, à condition que l’opération soit sûre à répéter (idempotente, ou dédupliquée par le serveur).

Ce raisonnement ne vaut que pour un seul mode de défaillance : le transitoire, où la seconde tentative a de bonnes chances de tomber sur un système sain. Quand l’erreur est de la saturation, la seconde tentative tombe sur le même composant surchargé — et elle arrive comme du travail supplémentaire.

La multiplication que personne n’a prévue

Un client configuré pour trois tentatives — la première et jusqu’à deux retries — transforme une requête en jusqu’à trois. Quand une dépendance commence à échouer sous la charge, ce n’est pas 3% de trafic en plus — c’est jusqu’à 3×, appliqué précisément quand la dépendance est le moins capable de l’absorber.

Cela empire avec la profondeur. Les retries sur plusieurs couches se multiplient au lieu de s’additionner : une passerelle qui fait trois tentatives vers un service, qui fait lui-même trois tentatives vers la base de données à chaque appel, peut mettre neuf tentatives sur la base. Personne n’a écrit 9 nulle part. C’est le produit de deux réglages indépendants, chacun raisonnable pris isolément.

  • Réessayer à une seule couche, généralement la plus externe qui puisse encore être utile.
  • Un budget de retries — faire dépenser aux retries des jetons que seules les requêtes d’origine gagnent, une fraction de jeton chacune, pour que les retries restent une petite fraction du trafic et que le multiplicateur ait un plafond, aussi mal que les choses tournent.
  • Un circuit breaker, pour qu’une dépendance qui échoue de façon constante cesse d’être appelée un moment, au lieu d’être sollicitée de nouveau par tout le monde.

Le backoff est nécessaire mais pas suffisant

Le backoff exponentiel étale les tentatives dans le temps, ce qui soulage réellement. Mais il ne réduit pas le nombre total de tentatives — il les retarde. Si la dépendance reste en panne pendant toute la fenêtre de backoff, le même volume arrive un peu plus tard, et il arrive synchronisé : chaque client qui a échoué au même moment attend le même intervalle et revient en même temps.

Astuce Le jitter est ce qui brise la synchronisation — un étalement aléatoire sur chaque attente, pour que les retries de mille clients ne tombent pas dans la même seconde. Un backoff sans jitter transforme un pic en une série de pics.

Ce qui survit à la panne

Si une tempête de retries mérite d’être nommée à part, c’est qu’elle ne se termine pas quand le problème d’origine se termine. La dépendance se rétablit, trouve les retries accumulés de tous ceux qui ont échoué pendant qu’elle était à l’arrêt, sature de nouveau, et produit la vague suivante. Le déclencheur a disparu et le système est toujours à terre.

C’est la forme à chercher dans un postmortem : un incident qui dure bien au-delà de la fin de sa cause.

Le regarder sur un diagramme

Sur un canevas RodGrid, le preset de stress Tempête de retries ajoute un taux d’erreur aux nœuds de service et donne à chaque requête échouée jusqu’à trois retries (quatre tentatives), puis calcule le trafic que ces retries ajoutent — les deux moitiés qui font la panne, appliquées ensemble. Ce qu’il faut chercher n’est pas de savoir si un composant devient rouge, mais lequel manque de capacité sous la charge multipliée, et si les composants derrière lui ont été dimensionnés pour le chiffre multiplié ou pour l’original.

Note Le modèle est en régime permanent : il montre le système sous une charge multipliée soutenue, pas l’oscillation de vagues de retries successives. Les vraies tempêtes sont plus en dents de scie que cela ; servez-vous donc du résultat pour juger la charge soutenue, car il ne prédit ni les pics ni la durée de la reprise.