O retry é a primeira coisa que qualquer pessoa acrescenta a um cliente e, em regra, é a coisa certa. Um pacote perdeu-se, um nó foi substituído a meio de um pedido, uma ligação foi reiniciada (reset) — tentar de novo custa quase nada e transforma um erro visível num soluço que ninguém nota, desde que a operação seja segura de repetir (idempotente, ou deduplicada pelo servidor).
Esse raciocínio só vale para um modo de falha: o transitório, em que a segunda tentativa tem boas hipóteses de cair num sistema saudável. Quando o erro é saturação, a segunda tentativa cai no mesmo componente sobrecarregado — e chega como trabalho extra.
A multiplicação que ninguém planeou
Um cliente configurado para três tentativas — a primeira e até dois retries — transforma um pedido em até três. Quando uma dependência começa a falhar sob carga, isso não é um aumento de 3% no tráfego — é até 3x, aplicado precisamente quando a dependência é menos capaz de o absorver.
Piora com a profundidade. Os retries em mais do que uma camada multiplicam-se, não se somam: um gateway que faz três tentativas a um serviço, que por sua vez faz três tentativas à base de dados em cada chamada, pode pôr nove tentativas na base de dados. Ninguém escreveu 9 em lado nenhum. É o produto de duas definições independentes, cada uma razoável por si.
- Faça retry numa só camada, normalmente a mais exterior que ainda possa ser útil.
- Um orçamento de retries — deixe os retries gastar tokens que só os pedidos originais ganham, uma fração de token por pedido, para que os retries se mantenham uma pequena fração do tráfego e o multiplicador tenha um teto por pior que as coisas fiquem.
- Um circuit breaker, para que uma dependência que falha de forma consistente deixe de ser chamada durante algum tempo, em vez de voltar a ser interrogada por toda a gente.
O backoff é necessário, mas não suficiente
O backoff exponencial espalha as tentativas no tempo, o que é um alívio real. Mas não reduz o número total de tentativas — adia-as. Se a dependência continuar em baixo durante a janela de backoff, o mesmo volume chega um pouco mais tarde, e chega sincronizado: todos os clientes que falharam no mesmo instante esperam o mesmo intervalo e regressam juntos.
A parte que sobrevive à falha
A razão por que uma tempestade de retries merece nome próprio é que não acaba quando o problema original acaba. A dependência recupera, encontra os retries acumulados de todos os que falharam enquanto esteve em baixo, satura de novo e produz a ronda seguinte. O gatilho desapareceu e o sistema continua no chão.
Esta é a forma a procurar num postmortem: um incidente que dura muito para além do fim da sua causa.
Ver isto num diagrama
Numa tela do RodGrid, o preset de stress Tempestade de retries acrescenta uma taxa de erro aos nós de serviço e dá a cada pedido falhado até três retries (quatro tentativas), e depois calcula o tráfego que esses retries acrescentam — as duas metades que fazem a falha, aplicadas em conjunto. O que se procura não é saber se um componente fica vermelho, mas qual fica sem capacidade sob a carga multiplicada, e se os componentes que estão atrás foram dimensionados para o número multiplicado ou para o original.
