Uma cache com 99% de taxa de acerto (hit rate) costuma ser apresentada como um sucesso. É também uma afirmação sobre a base de dados que está por trás: essa base de dados só vê 1% do seu tráfego e, normalmente, está dimensionada para o que vê. Ninguém o escreveu em lado nenhum, e é o número que mais peso sustenta no design.
A aritmética
Imagine 10 000 pedidos por segundo e uma taxa de acerto de 99%. A origem, a base de dados por trás da cache, vê 100 pedidos por segundo. Está à vontade: muita folga, latência baixa, nada que justifique acordar alguém.
Agora a cache deixa de ajudar: reinicia-se vazia, ou as entradas que este tráfego usa expiram todas ao mesmo tempo, e cada miss cai na origem. A taxa de acerto vai a zero e a origem passa a ver 10 000 pedidos por segundo. É um salto de 100x, que chega de uma só vez a uma base de dados aprovisionada para o número pequeno.
O que se segue não é uma degradação suave. A origem satura, a latência sobe, os chamadores esgotam o tempo limite e repetem o pedido, e as repetições acrescentam carga a um sistema que já ultrapassou a capacidade. A cache vazia é o gatilho; o ciclo de retries é o que a mantém em baixo depois de o gatilho ter desaparecido.
Porque é que acontece tudo ao mesmo tempo
O modo de falha que apanha as pessoas de surpresa é o sincronizado. Se uma frota de servidores aquece a cache no mesmo momento — um deploy, um reinício, uma atualização agendada —, as entradas são escritas com poucos instantes de diferença e com o mesmo TTL, e expiram com poucos instantes de diferença. O design tem lá dentro um despertador invisível, regulado para todas as réplicas ao mesmo tempo.
- Um deploy renova a frota e cada instância começa com a cache local vazia.
- O reinício de um nó de cache perde de uma vez a sua parte do espaço de chaves.
- Um TTL uniforme escrito ao mesmo tempo expira ao mesmo tempo.
- Uma hot key — uma entrada que serve uma grande parte do tráfego — transforma uma única expiração numa falha de cache em toda a frota.
As três respostas habituais
- Single-flight (coalescência de pedidos) — num miss, um único chamador por chave volta a calcular e os restantes esperam por esse resultado em vez de irem todos à origem. É esta que limita diretamente a carga da origem: a um único pedido em curso por chave, ou por chave e por instância quando a coalescência é local.
- Jitter no TTL — espalhar a expiração por uma janela em vez de um único instante, para que os misses da frota cheguem distribuídos e não juntos.
- Stale-while-revalidate — servir o valor expirado enquanto um chamador o atualiza em segundo plano. Os chamadores veem dados ligeiramente antigos em vez de uma fila.
Compõem-se entre si e resolvem partes diferentes do problema. O jitter espalha os misses; o single-flight limita o que uma rajada de misses pode fazer à origem. Um design só com jitter continua a ter uma hot key capaz de deitar a origem abaixo sozinha.
Ver antes de acontecer
O que torna isto difícil de raciocinar num quadro branco é que o número interessante — o que a origem recebe — é o produto de dois outros que vivem em caixas diferentes: o tráfego que chega à cache e a sua taxa de miss. Mude a taxa de acerto e a carga num componente três saltos adiante varia duas ordens de grandeza.
Numa tela do RodGrid os componentes têm tipo, por isso o simulador sabe qual caixa é uma cache e qual está por trás dela. O preset de stress Cache stampede põe o fator de acerto da cache a zero e volta a correr o modelo, o que faz da nova taxa de chegada da origem um número no diagrama em vez de uma discussão numa reunião.