Sob pressão

O cache stampede esconde-se atrás da sua taxa de acerto

Uma taxa de acerto de 99% significa que a base de dados por trás da cache vê 1% do seu tráfego e, normalmente, está dimensionada para isso. Eis o que acontece no momento em que esse pressuposto deixa de se verificar, e como o ver num diagrama antes de acontecer.

Uma cache com 99% de taxa de acerto (hit rate) costuma ser apresentada como um sucesso. É também uma afirmação sobre a base de dados que está por trás: essa base de dados só vê 1% do seu tráfego e, normalmente, está dimensionada para o que vê. Ninguém o escreveu em lado nenhum, e é o número que mais peso sustenta no design.

A aritmética

Imagine 10 000 pedidos por segundo e uma taxa de acerto de 99%. A origem, a base de dados por trás da cache, vê 100 pedidos por segundo. Está à vontade: muita folga, latência baixa, nada que justifique acordar alguém.

Agora a cache deixa de ajudar: reinicia-se vazia, ou as entradas que este tráfego usa expiram todas ao mesmo tempo, e cada miss cai na origem. A taxa de acerto vai a zero e a origem passa a ver 10 000 pedidos por segundo. É um salto de 100x, que chega de uma só vez a uma base de dados aprovisionada para o número pequeno.

O que se segue não é uma degradação suave. A origem satura, a latência sobe, os chamadores esgotam o tempo limite e repetem o pedido, e as repetições acrescentam carga a um sistema que já ultrapassou a capacidade. A cache vazia é o gatilho; o ciclo de retries é o que a mantém em baixo depois de o gatilho ter desaparecido.

Porque é que acontece tudo ao mesmo tempo

O modo de falha que apanha as pessoas de surpresa é o sincronizado. Se uma frota de servidores aquece a cache no mesmo momento — um deploy, um reinício, uma atualização agendada —, as entradas são escritas com poucos instantes de diferença e com o mesmo TTL, e expiram com poucos instantes de diferença. O design tem lá dentro um despertador invisível, regulado para todas as réplicas ao mesmo tempo.

  • Um deploy renova a frota e cada instância começa com a cache local vazia.
  • O reinício de um nó de cache perde de uma vez a sua parte do espaço de chaves.
  • Um TTL uniforme escrito ao mesmo tempo expira ao mesmo tempo.
  • Uma hot key — uma entrada que serve uma grande parte do tráfego — transforma uma única expiração numa falha de cache em toda a frota.

As três respostas habituais

  • Single-flight (coalescência de pedidos) — num miss, um único chamador por chave volta a calcular e os restantes esperam por esse resultado em vez de irem todos à origem. É esta que limita diretamente a carga da origem: a um único pedido em curso por chave, ou por chave e por instância quando a coalescência é local.
  • Jitter no TTL — espalhar a expiração por uma janela em vez de um único instante, para que os misses da frota cheguem distribuídos e não juntos.
  • Stale-while-revalidate — servir o valor expirado enquanto um chamador o atualiza em segundo plano. Os chamadores veem dados ligeiramente antigos em vez de uma fila.

Compõem-se entre si e resolvem partes diferentes do problema. O jitter espalha os misses; o single-flight limita o que uma rajada de misses pode fazer à origem. Um design só com jitter continua a ter uma hot key capaz de deitar a origem abaixo sozinha.

Ver antes de acontecer

O que torna isto difícil de raciocinar num quadro branco é que o número interessante — o que a origem recebe — é o produto de dois outros que vivem em caixas diferentes: o tráfego que chega à cache e a sua taxa de miss. Mude a taxa de acerto e a carga num componente três saltos adiante varia duas ordens de grandeza.

Numa tela do RodGrid os componentes têm tipo, por isso o simulador sabe qual caixa é uma cache e qual está por trás dela. O preset de stress Cache stampede põe o fator de acerto da cache a zero e volta a correr o modelo, o que faz da nova taxa de chegada da origem um número no diagrama em vez de uma discussão numa reunião.

Nota Este é um modelo de estado estacionário: mostra como fica o sistema enquanto a cache está fria, não a altura do pico instantâneo no momento da expiração. Os retries e o trabalho em fila podem fazer o pico subir mais. Use o resultado para avaliar se a origem aguenta a carga sustentada com a cache fria, não para prever o máximo.
Dica Desenhe a cache em que mais confia, corra o preset de stampede e veja o que se pede ao componente que está atrás dela. Se esse número for uma surpresa, a taxa de acerto estava a fazer mais trabalho do que o design admitia.