Sob pressão

Perdendo uma zona de disponibilidade

Três zonas não significam que você pode perder uma de graça. Significam que cada zona sobrevivente precisa absorver metade do tráfego em vez de um terço, e a folga para isso é um número que você comprou ou não comprou.

Distribuir o sistema por zonas de disponibilidade é a resiliência mais barata que a maioria dos times compra, e a mais fácil de interpretar errado. Três zonas parecem dizer que uma zona pode cair. O que elas dizem é que, quando uma cai, as outras duas precisam carregar tudo.

O número que decide

Com o tráfego dividido igualmente entre três zonas, cada uma carrega cerca de 33%. Perca uma e as sobreviventes passam a carregar 50% cada. É um aumento de 50% na carga de cada máquina que continua de pé.

Então a pergunta não é se o design é multizona. É se cada zona opera abaixo de aproximadamente dois terços da capacidade em condições normais, com espaço abaixo dessa linha para os picos. Se suas zonas ficam em 80% numa terça-feira qualquer, perder uma coloca as outras duas em 120% da capacidade. A menos que algo descarte esse excesso, a queda de uma não degrada o serviço: ela derruba as outras duas, que é o modo de falha que aparece como indisponibilidade total no relatório do incidente.

  • N+1: capacidade reserva suficiente para perder uma unidade. Com três zonas, isso quer dizer cada uma operando em ~66% ou menos.
  • N+2: o bastante para perder duas unidades, de modo que uma zona possa falhar enquanto outra unidade está fora por um deploy ou uma janela de manutenção, que é quando a perda de uma zona é mais inconveniente.
  • Autoscaling não substitui isso: ele costuma reagir em minutos, e o salto de carga é instantâneo. Sem folga para cobrir essa diferença, ele encurta a indisponibilidade, mas não a evita.

As partes que não simplesmente se movem

Serviços stateless se rebalanceiam mais ou menos sozinhos, assim que os health checks tiram a zona perdida do balanceador de carga. O estado é onde moram as falhas interessantes.

  • Sistemas de quorum: um cluster de três nós, com um nó por zona, sobrevive à perda de uma zona e não sobrevive à perda de duas. Cinco nós em três zonas toleram a falha de dois nós, não a de duas zonas; sobreviver a duas zonas exige cinco zonas, e outra conta no fim do mês.
  • Bancos de dados primários: se o primário estava na zona perdida, o relógio que importa é o tempo de failover, não o número de zonas.
  • Latência entre zonas: o tráfego que antes ficava dentro de uma zona passa a circular entre zonas, e um serviço tagarela que faz vinte chamadas sequenciais por requisição sente isso vinte vezes.

Vendo isso em um diagrama

O preset de estresse Perda de AZ reduz a capacidade de cada nó de infraestrutura que você opera conforme as réplicas que ele tinha na zona perdida, supondo a pior zona para cada nó (assim, um nó com uma única réplica cai por inteiro; componentes de rede e de entrada, como balanceadores de carga e CDNs, e serviços gerenciados multizona por padrão mantêm dois terços) e adiciona uma pequena penalidade de latência ao tráfego que agora cruza zonas. Rode e siga o caminho da requisição até o componente que ficou sem capacidade: raramente é o que alguém esperava, porque em geral é aquele cuja folga foi definida por custo e não por esta conta.

Nota O preset modela o regime estacionário depois que a zona se foi, não os segundos em que as conexões são drenadas e os health checks mudam de estado. O comportamento de failover é uma propriedade da sua configuração, não do desenho.
Dica Se o design sobreviver ao preset com folga, rode de novo com o multiplicador de tráfego aumentado. Conte com a zona caindo no horário de pico, e não num domingo tranquilo.