A Cloudflare diz que uma paralisação maciça que afetou mais de uma dúzia de seus data centers e centenas de grandes plataformas e serviços online hoje foi causada por uma mudança que deveria ter aumentado a resiliência da rede.
“Hoje, 21 de junho de 2022, a Cloudflare sofreu uma paralisação que afetou o tráfego em 19 de nossos data centers”, disse Cloudflare após investigar o incidente.
“Infelizmente, esses 19 locais lidam com uma proporção significativa do nosso tráfego global. Essa paralisação foi causada por uma mudança que fazia parte de um projeto de longa duração para aumentar a resiliência em nossos locais mais movimentados.”
De acordo com relatos de usuários, a lista completa de sites e serviços afetados inclui, mas não se limita a, Amazon, Twitch, Amazon Web Services, Steam, Coinbase, Telegram, Discord, DoorDash, Gitlab e muito mais.
A paralisação afetou as localizações mais movimentadas da Cloudflare
A empresa começou a investigar este incidente por volta das 06:34 UTC depois que relatos de conectividade à rede da Cloudflare sendo interrompida começaram a chegar de clientes e usuários em todo o mundo.
“Os clientes que tentarem chegar aos sites da Cloudflare em regiões impactadas observarão 500 erros. O incidente afeta todos os serviços de avião de dados em nossa rede”
disse Cloudflare
Embora não haja detalhes sobre o que causou a paralisação no relatório de incidente publicado no site de status do sistema da Cloudflare, a empresa compartilhou mais informações sobre a paralisação de 21 de junho no blog oficial.
“Essa paralisação foi causada por uma mudança que fazia parte de um projeto de longa duração para aumentar a resiliência em nossos locais mais movimentados“, acrescentou a equipe da Cloudflare.
A mudança que levou à paralisação de hoje foi parte de um projeto maior que converteria data centers nos locais mais movimentados de Cloudlfare para arquitetura mais resiliente e flexível, conhecida internamente como Multi-Colo PoP (MCP).
A lista de data centers afetados no incidente de hoje inclui Amsterdã, Atlanta, Ashburn, Chicago, Frankfurt, Londres, Los Angeles, Madrid, Manchester, Miami, Milão, Mumbai, Newark, Osaka, São Paulo, San Jose, Cingapura, Sydney e Tóquio.
Cronograma de paralisação:
3:56 UTC: Implantamos a mudança para nossa primeira localização. Nenhum de nossos locais são impactados pela mudança, pois estes estão usando nossa arquitetura mais antiga.
06:17: A mudança é implantada em nossos locais mais movimentados, mas não nos locais com a arquitetura MCP.
06:27: O lançamento atingiu os locais habilitados para PCP, e a mudança é implantada em nossas lombadas. Foi quando o incidente começou, pois isso rapidamente tirou esses 19 locais offline.
06:32: Incidente interno de Cloudflare declarado.
06:51: Primeira alteração feita em um roteador para verificar a causa raiz.
06:58: Causa raiz encontrada e compreendida. O trabalho começa a reverter a mudança problemática.
07:42: O último dos retornos foi concluído. Isso foi adiado à medida que os engenheiros de rede caminhavam sobre as mudanças uns dos outros, revertendo as reversões anteriores, fazendo com que o problema voltasse a aparecer esporadicamente.
