Sob pressão

Tempestades de retries, ou a correção que se torna a falha

Repetir o pedido é a resposta-padrão a um erro transitório. Quando o erro é saturação e não azar, o retry acrescenta carga no preciso momento em que o sistema precisava de menos.

Veja o vídeo

O retry é a primeira coisa que qualquer pessoa acrescenta a um cliente e, em regra, é a coisa certa. Um pacote perdeu-se, um nó foi substituído a meio de um pedido, uma ligação foi reiniciada (reset) — tentar de novo custa quase nada e transforma um erro visível num soluço que ninguém nota, desde que a operação seja segura de repetir (idempotente, ou deduplicada pelo servidor).

Esse raciocínio só vale para um modo de falha: o transitório, em que a segunda tentativa tem boas hipóteses de cair num sistema saudável. Quando o erro é saturação, a segunda tentativa cai no mesmo componente sobrecarregado — e chega como trabalho extra.

A multiplicação que ninguém planeou

Um cliente configurado para três tentativas — a primeira e até dois retries — transforma um pedido em até três. Quando uma dependência começa a falhar sob carga, isso não é um aumento de 3% no tráfego — é até 3x, aplicado precisamente quando a dependência é menos capaz de o absorver.

Piora com a profundidade. Os retries em mais do que uma camada multiplicam-se, não se somam: um gateway que faz três tentativas a um serviço, que por sua vez faz três tentativas à base de dados em cada chamada, pode pôr nove tentativas na base de dados. Ninguém escreveu 9 em lado nenhum. É o produto de duas definições independentes, cada uma razoável por si.

  • Faça retry numa só camada, normalmente a mais exterior que ainda possa ser útil.
  • Um orçamento de retries — deixe os retries gastar tokens que só os pedidos originais ganham, uma fração de token por pedido, para que os retries se mantenham uma pequena fração do tráfego e o multiplicador tenha um teto por pior que as coisas fiquem.
  • Um circuit breaker, para que uma dependência que falha de forma consistente deixe de ser chamada durante algum tempo, em vez de voltar a ser interrogada por toda a gente.

O backoff é necessário, mas não suficiente

O backoff exponencial espalha as tentativas no tempo, o que é um alívio real. Mas não reduz o número total de tentativas — adia-as. Se a dependência continuar em baixo durante a janela de backoff, o mesmo volume chega um pouco mais tarde, e chega sincronizado: todos os clientes que falharam no mesmo instante esperam o mesmo intervalo e regressam juntos.

Dica O jitter é o que quebra a sincronização — uma dispersão aleatória em cada espera, para que os retries de mil clientes não caiam no mesmo segundo. O backoff sem jitter converte um pico numa série de picos.

A parte que sobrevive à falha

A razão por que uma tempestade de retries merece nome próprio é que não acaba quando o problema original acaba. A dependência recupera, encontra os retries acumulados de todos os que falharam enquanto esteve em baixo, satura de novo e produz a ronda seguinte. O gatilho desapareceu e o sistema continua no chão.

Esta é a forma a procurar num postmortem: um incidente que dura muito para além do fim da sua causa.

Ver isto num diagrama

Numa tela do RodGrid, o preset de stress Tempestade de retries acrescenta uma taxa de erro aos nós de serviço e dá a cada pedido falhado até três retries (quatro tentativas), e depois calcula o tráfego que esses retries acrescentam — as duas metades que fazem a falha, aplicadas em conjunto. O que se procura não é saber se um componente fica vermelho, mas qual fica sem capacidade sob a carga multiplicada, e se os componentes que estão atrás foram dimensionados para o número multiplicado ou para o original.

Nota O modelo é de estado estacionário: mostra o sistema sob carga multiplicada sustentada, não a oscilação das ondas sucessivas de retries. As tempestades reais são mais irregulares do que isto, por isso use o resultado para avaliar a carga sustentada; não prevê os picos nem quanto tempo demora a recuperação.