Downtime

FOK! is op dit moment volledig down. We kunnen zowel de site als de remote-beheersingangen niet bereiken. Een technicus is ingeschakeld om te onderzoeken wat de oorzaak is. We’ll keep you posted.

Omdat ons hele netwerk onbereikbaar is, zal ook mail niet aankomen. Als je mail bounced, wacht dan met opnieuw proberen tot we er weer zijn.

00:46 – De boel is weer bereikbaar. De oorzaak was een stroomstoring, die is door True verholpen. We zijn nu de servers aan het controleren op juiste werking. Sommigen staan nog op te starten, dus het kan nog even duren.

00:51 – De loadbalancer, via welke al het algemene site-verkeer loopt, reageert niet. We’re looking into it.

01:06 – Voor de loadbalancer gaat iteejer nu naar de serverruimte. Intussen bereid ik de servers zelf voor op een correcte werking: de onderlinge connecties zijn allemaal verbroken en moeten opnieuw worden opgebouwd.

01:23 – Serverconfiguraties zijn weer in orde. Hier en daar worden nog wat logs nagelopen en eventuele repair-acties uitgevoerd, zodat we meteen los kunnen als de loadbalancer weer actief is.

01:44 – MySQL is tabellen aan het checken en repareren waar nodig. Vooralsnog niets ernstigs geconstateerd, dus goede vooruitzichten. Intussen is de mail gewoon weer up. Status: webservers up, fileservers up, databaseservers up maar nog niet gereed, loadbalancer down.

01:52 – Intussen vermaakt iedereen zich opperbest in #fok. Kom ook ’s langs!

02:02 – MySQL heeft geen problemen gevonden. Good to go!

02:51 – De voeding van de loadbalancer is overleden. We proberen deze nu te vervangen door een voeding uit een andere server. Daar gaat wat tijd in zitten, dus nog even geduld.

03:00 – We zijn er weer!

03:12 – Twee van de webservers lijken niet netjes mee te doen, wat resulteert in het niet laden van sommige pagina’s. We proberen ze te repareren, als dat niet lukt halen we ze uit de webpool, zodat ze geen problemen veroorzaken.

03:17 – En fixed. Alles doet het weer. Veel plezier met FOK!ken, wij gaan ermee kappen voor vandaag.