Estimado/a Cliente,
No passado dia 29 de janeiro verificou-se entre o período das 11h07 e 11h28 alguma instabilidade no acesso de rede Internet aos serviços na nossa infraestrutura, tendo a nossa equipa técnica analisado a situação de imediato e identificado que a origem do problema se encontrava num dos routers do nosso fornecedor de Upstream (Claranet).
Após reportada a situação junto dos técnicos de rede do fornecedor Upstream, foi-nos dada a indicação de que o problema encontrava-se num pico anormal de carga de CPU num dos Routers Core da rede, tendo sido efetuados os procedimentos necessários de forma a identificar os mecanismos para redução da carga operacional do equipamento, existindo adicionalmente a indicação para substituição do mesmo.
Devido à gravidade da situação, em conjunto com o nosso fornecedor, decidimos alterar o nosso Uplink para outro Router. Uma vez que esta situação não afetava apenas a WebTuga mas também outros clientes, o nosso fornecedor optou por agendar uma intervenção que iria ocorrer no próximo fim de semana, com o objectivo de resolver a questão de forma global substituindo por completo o equipamento de rede.
No dia 30 de janeiro pelas 8h11 da manhã fomos alertados pelo nosso sistema de monitorização da ocorrência de uma nova falha, estando esta relacionada com a mesma situação verificada anteriormente, verificando-se períodos de funcionamento intermitente, com dificuldades de acesso e packet-loss excessivo.
Durante o período em que se verificou maior indisponibilidade (10h51 às 12h12), foram efetuadas diversas tentativas de reposição do serviço, não tendo sido possível a reposição com sucesso. Foi efetuado posteriormente um balanceamento minucioso de todo o tráfego por diversos equipamentos, situação que permitiu redistribuir a carga e possibilitar a reposição gradual do funcionamento dos serviços.
Ao longo do incidente, a equipa técnica da WebTuga elaborou vários planos de ação com o intuito de mitigar o efeito da avaria, tendo sido inclusive feita a sugestão ao fornecedor de forma a que fosse efetuada de imediato a intervenção agendada para o fim de semana.
Durante essa tarde, em reunião com o nosso fornecedor, decidimos proceder à alteração do Uplink da nossa rede para o novo equipamento, mitigando assim definitivamente o problema. Assim, por volta das 17h00, em coordenação com a equipa técnica do nosso fornecedor, procedemos à alteração do Uplink para um novo equipamento, tendo essa intervenção concluído às 17h12.
Esta situação, apesar de aparentemente resolvida, irá continuar a ter o devido acompanhamento por parte da nossa equipa técnica, apesar de não ser previsto nenhum downtime adicional.
O incidente ocorrido tem-nos impedido fornecer aos nossos clientes o nível de qualidade de serviço e uptime ao qual os temos habituado, pelo que gostaríamos de aproveitar esta notificação para apresentar as nossas mais sinceras desculpas e a melhor compreensão pela situação ocorrida, reforçando o nosso compromisso em efetuar todos os esforços de forma a ir ao encontro de soluções que cada vez mais nos permitam brindar os nossos clientes do melhor serviço possível.
Ainda no rescaldo deste incidente, gostaríamos de informar que a WebTuga, no seguimento do plano de crescimento da sua infraestrutura para 2019, tem programado um conjunto de alterações na sua infraestrutura de forma a que nos seja possível ter uma maior independência a nível de rede, garantindo assim uma maior estabilidade e redundância que nos permita evitar este tipo de situações.
Apesar dessas implementações estarem inicialmente previstas apenas para os próximos meses, o facto deste incidente ter ocorrido fez com que fosse tomada a decisão de acelerar este processo e antecipar o mesmo para uma data o mais brevemente possível.
Esperamos nas próximas semanas ter mais pormenores que possamos partilhar consigo relativamente a estas melhorias no serviço.
Mais uma vez agradecemos a sua compreensão.
Com os melhores cumprimentos,
A Equipa WebTuga