Um cache com taxa de acerto (hit rate) de 99% costuma ser reportado como sucesso. Ele também é uma afirmação sobre o banco de dados que fica atrás: esse banco só vê 1% do seu tráfego e, em geral, foi dimensionado para o que vê. Ninguém escreveu isso em lugar nenhum, e é o número que mais sustenta a arquitetura.
A aritmética
Pegue 10.000 requisições por segundo e uma taxa de acerto de 99%. A origem, o banco de dados atrás do cache, recebe 100 requisições por segundo. Ela está confortável nesse ponto: muita folga, latência baixa, sem motivo para alertas de madrugada.
Agora o cache para de ajudar: ele reinicia vazio, ou as entradas que esse tráfego usa expiram juntas, e cada miss cai na origem. A taxa de acerto vai a zero e a origem passa a receber 10.000 requisições por segundo. É um salto de 100x, que chega de uma só vez, em um banco provisionado para o número pequeno.
O que vem depois não é uma degradação suave. A origem satura, a latência sobe, os chamadores estouram o timeout e tentam de novo, e os retries somam carga a um sistema que já passou da capacidade. O cache vazio é o gatilho; o loop de retry é o que mantém o sistema no chão depois que o gatilho já passou.
Por que tudo acontece de uma vez
O modo de falha que pega as pessoas de surpresa é o sincronizado. Se uma frota de servidores aquece o cache no mesmo momento (um deploy, um restart, um refresh agendado), as entradas são gravadas com poucos instantes de diferença, com o mesmo TTL, e expiram com poucos instantes de diferença. A arquitetura carrega um despertador invisível, e ele está programado para todas as réplicas ao mesmo tempo.
- Um deploy renova a frota e cada instância começa com o cache local vazio.
- O restart de um nó do cache derruba de uma vez a parte do espaço de chaves que ele guardava.
- Um TTL uniforme gravado no mesmo instante expira no mesmo instante.
- Uma hot key, uma única entrada que atende uma fatia grande do tráfego, transforma uma só expiração em um miss em toda a frota.
As três respostas de sempre
- Single-flight (coalescência de requisições): em um miss, um chamador por chave recalcula e os outros esperam esse resultado em vez de cada um bater na origem. É a que limita diretamente a carga da origem: a uma busca em andamento por chave, ou por chave por instância quando a coalescência é local.
- Jitter no TTL: espalha a expiração por uma janela em vez de um único instante, para que os misses da frota cheguem distribuídos e não juntos.
- Stale-while-revalidate: entrega o valor expirado enquanto um chamador o atualiza em segundo plano. Quem chama vê um dado levemente velho em vez de uma fila.
Elas se combinam e resolvem partes diferentes do problema. O jitter espalha os misses; o single-flight limita o estrago que uma rajada de misses pode fazer na origem. Uma arquitetura só com jitter ainda tem uma hot key capaz de derrubar a origem sozinha.
Enxergando antes de acontecer
É difícil enxergar esse efeito em um quadro branco porque o número interessante, o que a origem recebe, é o produto de dois outros que vivem em caixas diferentes: o tráfego que chega ao cache e a sua taxa de miss. Mude a taxa de acerto e a carga de um componente três saltos adiante muda em duas ordens de grandeza.
Em um canvas do RodGrid os componentes são tipados, então o simulador sabe qual caixa é um cache e qual está atrás dele. O preset de estresse Cache stampede zera a taxa de acerto do cache e roda o modelo de novo, o que faz a nova taxa de chegada da origem virar um número no diagrama em vez de uma discussão em reunião.