Produto

Depurar o sistema que falha

Presets de stress e desafios de diagnóstico: como o RodGrid lhe permite quebrar um desenho de propósito e descobrir se consegue repará-lo.

Os sistemas reais não falham com delicadeza. Falham às 2 da manhã, sob uma tempestade de retries, com caches frias, enquanto uma zona de disponibilidade está às escuras. Mas a forma como costumamos avaliar arquitetura — em revisões de desenho e em entrevistas — é a olhar para o diagrama do dia em que tudo corre bem. Os presets de stress e os desafios de diagnóstico do RodGrid existem para fechar essa lacuna: quebrar o desenho de propósito e ver quem consegue diagnosticá-lo.

Doze maneiras de maltratar um sistema saudável

O simulador de tráfego aceita um cenário de stress por cima da carga que definir. Os presets que afetam o Grid inteiro atingem de uma só vez toda uma classe de nós:

  • Pico de tráfego ×3 e Multidão ×10 — três ou dez vezes o tráfego definido: o desenho aguenta o pico com a margem que tem, ou precisa de filas, load shedding ou autoscaling?
  • Cache stampede — todas as caches dão miss ao mesmo tempo e os armazenamentos por trás herdam a carga de leitura.
  • Cache fria — a versão do dia a dia após um deploy: 30% da taxa de acerto normal.
  • Perda de AZ — as camadas que tem em execução perdem as réplicas que tinham na zona perdida, e o encaminhamento entre zonas acrescenta latência.
  • Terceiro lento — todas as suas dependências externas têm um mau dia ao mesmo tempo; a lição é o isolamento.
  • Tempestade de retries — as falhas geram retries, que geram carga, o ciclo de realimentação que transforma um soluço numa indisponibilidade.

Os presets dirigidos a um nó fixam a falha num componente que escolher:

  • Perda de nó — fica completamente às escuras.
  • OOM kill — fica repetidamente sem memória e reinicia: a capacidade desaba, a latência dispara, os erros sobem.
  • Pool de threads esgotado — os pedidos ficam em fila atrás de workers bloqueados.
  • Partição de rede — cerca de metade das suas chamadas falha, depois de gastar a latência do timeout.
  • Partição quente — um shard desequilibrado fica com a maior parte da carga.
Experimente: o que faz aqui uma cache stampede?

Diagram components: Web App, Load Balancer, Application Service, Redis, PostgreSQL.

Uma stack saudável, com muitas leituras. Abra um Grid como este no RodGrid, ative o simulador e ligue Cache stampede — a base de dados herda todas as leituras que a cache absorvia; veja se é ela, ou outra coisa, a atingir o limite.

Desafios de diagnóstico

Alguns desafios entregam-lhe um sistema que já está a falhar: um desenho inicial pré-preparado, um SLO declarado e um cenário de stress armado. O seu trabalho é o de quem está de prevenção — perceber porque é que falha nesse cenário e redesenhá-lo até o SLO se cumprir. Quando submete, o servidor reconstrói o cenário e volta a executar a simulação sobre o seu Grid final, pelo que a nota reflete o que o seu desenho realmente faz sob fogo, e não o que uma descrição dele afirma.

Nota O simulador por trás de tudo isto é um modelo de capacidade determinístico, não um emulador ao nível do pacote — aplicam-se em todo o lado os mesmos pressupostos publicados, e é isso que torna justas as comparações antes/depois. Há mais sobre o seu funcionamento em “Como funciona o simulador de tráfego”.