Sob pressão

O cache stampede se esconde atrás da sua taxa de acerto

Uma taxa de acerto de 99% no cache significa que o banco de dados atrás dele vê só 1% do seu tráfego e, em geral, foi dimensionado para isso. Veja o que acontece no instante em que essa premissa deixa de valer, e como enxergar isso em um diagrama antes que aconteça.

Um cache com taxa de acerto (hit rate) de 99% costuma ser reportado como sucesso. Ele também é uma afirmação sobre o banco de dados que fica atrás: esse banco só vê 1% do seu tráfego e, em geral, foi dimensionado para o que vê. Ninguém escreveu isso em lugar nenhum, e é o número que mais sustenta a arquitetura.

A aritmética

Pegue 10.000 requisições por segundo e uma taxa de acerto de 99%. A origem, o banco de dados atrás do cache, recebe 100 requisições por segundo. Ela está confortável nesse ponto: muita folga, latência baixa, sem motivo para alertas de madrugada.

Agora o cache para de ajudar: ele reinicia vazio, ou as entradas que esse tráfego usa expiram juntas, e cada miss cai na origem. A taxa de acerto vai a zero e a origem passa a receber 10.000 requisições por segundo. É um salto de 100x, que chega de uma só vez, em um banco provisionado para o número pequeno.

O que vem depois não é uma degradação suave. A origem satura, a latência sobe, os chamadores estouram o timeout e tentam de novo, e os retries somam carga a um sistema que já passou da capacidade. O cache vazio é o gatilho; o loop de retry é o que mantém o sistema no chão depois que o gatilho já passou.

Por que tudo acontece de uma vez

O modo de falha que pega as pessoas de surpresa é o sincronizado. Se uma frota de servidores aquece o cache no mesmo momento (um deploy, um restart, um refresh agendado), as entradas são gravadas com poucos instantes de diferença, com o mesmo TTL, e expiram com poucos instantes de diferença. A arquitetura carrega um despertador invisível, e ele está programado para todas as réplicas ao mesmo tempo.

  • Um deploy renova a frota e cada instância começa com o cache local vazio.
  • O restart de um nó do cache derruba de uma vez a parte do espaço de chaves que ele guardava.
  • Um TTL uniforme gravado no mesmo instante expira no mesmo instante.
  • Uma hot key, uma única entrada que atende uma fatia grande do tráfego, transforma uma só expiração em um miss em toda a frota.

As três respostas de sempre

  • Single-flight (coalescência de requisições): em um miss, um chamador por chave recalcula e os outros esperam esse resultado em vez de cada um bater na origem. É a que limita diretamente a carga da origem: a uma busca em andamento por chave, ou por chave por instância quando a coalescência é local.
  • Jitter no TTL: espalha a expiração por uma janela em vez de um único instante, para que os misses da frota cheguem distribuídos e não juntos.
  • Stale-while-revalidate: entrega o valor expirado enquanto um chamador o atualiza em segundo plano. Quem chama vê um dado levemente velho em vez de uma fila.

Elas se combinam e resolvem partes diferentes do problema. O jitter espalha os misses; o single-flight limita o estrago que uma rajada de misses pode fazer na origem. Uma arquitetura só com jitter ainda tem uma hot key capaz de derrubar a origem sozinha.

Enxergando antes de acontecer

É difícil enxergar esse efeito em um quadro branco porque o número interessante, o que a origem recebe, é o produto de dois outros que vivem em caixas diferentes: o tráfego que chega ao cache e a sua taxa de miss. Mude a taxa de acerto e a carga de um componente três saltos adiante muda em duas ordens de grandeza.

Em um canvas do RodGrid os componentes são tipados, então o simulador sabe qual caixa é um cache e qual está atrás dele. O preset de estresse Cache stampede zera a taxa de acerto do cache e roda o modelo de novo, o que faz a nova taxa de chegada da origem virar um número no diagrama em vez de uma discussão em reunião.

Nota Este é um modelo de regime estacionário: ele responde como o sistema fica enquanto o cache está frio, não qual é a altura do pico instantâneo no momento da expiração. Retries e trabalho enfileirado podem empurrar o pico para cima. Use o resultado para avaliar se a origem aguenta a carga sustentada com o cache frio, não para prever o pico.
Dica Desenhe o cache em que você mais confia, rode o preset de stampede e olhe o que o componente atrás dele precisa absorver. Se esse número for uma surpresa, a taxa de acerto estava fazendo mais trabalho do que a arquitetura admitia.