Sob pressão

Perder uma zona de disponibilidade

Três zonas não quer dizer que se possa perder uma de graça. Quer dizer que cada zona sobrevivente tem de absorver metade do tráfego em vez de um terço — e a folga para isso é um número que, ou se comprou, ou não.

Distribuir por zonas de disponibilidade é a resiliência mais barata que a maioria das equipas compra, e a mais fácil de interpretar mal. Três zonas parece querer dizer que uma zona pode falhar. O que quer dizer é que, quando uma falha, as outras duas têm de carregar com tudo.

O número que decide

Com o tráfego repartido por igual por três zonas, cada uma leva cerca de 33%. Perca uma e as sobreviventes levam 50% cada. É um aumento de 50% na carga em cada máquina que continua de pé.

Por isso a pergunta não é se o design é multizona. É se cada zona funciona, em tempos normais, abaixo de cerca de dois terços da sua capacidade, com margem abaixo dessa linha para os picos. Se as suas zonas estão a 80% numa terça-feira normal, perder uma deixa as outras duas a 120% da capacidade. A menos que algo descarte esse excesso, a falha de uma não degrada o serviço — deita abaixo as outras duas, que é o modo de falha que no relatório do incidente se lê como uma indisponibilidade total.

  • N+1 — capacidade de reserva suficiente para perder uma unidade. Com três zonas, isso significa cada uma a ~66% ou menos.
  • N+2 — suficiente para perder duas unidades, de modo que uma zona possa falhar enquanto outra unidade está fora por causa de um deploy ou de uma janela de manutenção, que é quando as perdas de zona são menos convenientes.
  • O autoscaling não é um substituto — costuma reagir em minutos, e o degrau de carga é instantâneo. Sem folga para cobrir esse intervalo, encurta a indisponibilidade; não a evita.

As partes que não se limitam a mudar de sítio

Os serviços sem estado reequilibram-se mais ou menos sozinhos, assim que os health checks tiram a zona perdida do balanceador de carga. É no estado que vivem as falhas interessantes.

  • Sistemas de quorum — um cluster de três nós, com um nó por zona, sobrevive à perda de uma zona e não sobrevive à perda de duas. Cinco nós por três zonas toleram dois nós falhados, não duas zonas falhadas; sobreviver a duas zonas exige cinco zonas, e outra fatura.
  • Bases de dados primárias — se a primária estava na zona perdida, o relógio que conta é o tempo de failover, não o número de zonas.
  • Latência entre zonas — o tráfego que antes ficava dentro de uma zona passa a atravessar uma, e um serviço conversador que faz vinte chamadas sequenciais por pedido sente isso vinte vezes.

Ver isto num diagrama

O preset de stress Perda de AZ retira a cada nó de infraestrutura que é seu as réplicas que tinha na zona perdida, assumindo para cada nó a pior zona (assim, um nó com uma única réplica fica totalmente em baixo; componentes de rede e de entrada, como balanceadores de carga e CDN, e serviços geridos multizona por omissão mantêm dois terços), e acrescenta uma pequena penalização de latência ao tráfego que agora atravessa zonas. Corra-o e siga o caminho do pedido até ao componente que ficou sem capacidade: raramente é o que alguém esperava, porque costuma ser aquele cuja folga foi definida pelo custo e não por este cálculo.

Nota O preset modela o estado estacionário depois de a zona desaparecer, não os segundos em que as ligações são drenadas e os health checks mudam de estado. O comportamento do failover é uma propriedade da sua configuração, não do desenho.
Dica Se o design sobreviver ao preset com folga, corra-o outra vez com o multiplicador de tráfego aumentado. Parta do princípio de que a zona vai falhar na hora de ponta, não num domingo calmo.