06-11-2021 11:00
Hierbij de RFO vanuit de netwerkleverancier.
|
Beste klant,
Naar aanleiding van de recente storing vindt u hieronder de RFO en een update over gepland onderhoud.
RFO/Reden voor storing – 1 november 2021Op maandag 1 november rond 9:00 CET begonnen klanten traagheid en pakketverlies te ervaren en problemen met upstream providerverbindingen. Analyse toonde aan dat er congestie was op het primaire internet upstream. Om deze congestie te verminderen, moest een extra internetverbinding worden geactiveerd. Om dit te kunnen doen, moest er extra hardware worden geactiveerd. Tijdens het activeren van deze hardware is er een fout opgetreden op de core router.
Dit gebeurde om 14:14 CET en resulteerde in een totaal verlies van connectiviteit. Alle configuraties moesten opnieuw worden opgebouwd, wat resulteerde in langdurige downtime. Om 15:41 CET werd het getroffen apparaat hersteld. Helaas werden sommige klanten, die een niet-standaard authenticatie-instelling gebruikten om connectiviteit tot stand te brengen, nog steeds getroffen.
Nadere analyse toonde een discrepantie in de authenticatieserver(s) en er werd besloten om terug te gaan naar een vorige status (back-up). Dit loste de problemen op voor de overige klanten, met uitzondering van enkele lijnen die nog in onderzoek waren.
Timing, duur en impact Aanvang: 14:14 CET Impact: alle internetdiensten down Gedeeltelijk herstel: 15:41 CET meeste services hersteld Resterende impact: alle PPPoE-klanten met BGP-specifieke instellingen uitgeschakeld Volledig herstel: 20:57 CET Mitigatie is gepland voor eind november door het huidige platform te vervangen. Vanwege de omvang van deze mitigatie, wordt u ruim van tevoren op de hoogte gebracht.
Extra onderhoud – 3 november 2021In de tussentijd, gaan wij extra bandbreedtecapaciteit bijschakelen volgens de volgende planning: Planning: 3 november Starttijd: 0:00 CET Eindtijd: 1:00 CET Verwachte impact: minimaal, met mogelijke downtime in geval van onvoorziene omstandigheden, tussen 10 en 30 minuten
Mitigatie is gepland voor eind november door het huidige platform te vervangen. Vanwege de omvang van deze mitigatie, wordt u ruim van tevoren op de hoogte gebracht.
Onderhoudsupdate – nieuwe datum: 10 november 2021Gezien de aard van de storing van maandag 1 november en feedback van klanten met betrekking tot het aankomende onderhoudsmoment, hebben we besloten het initieel geplande onderhoud voor vanavond (genaamd "IT-systeemupgrade") te verplaatsen naar 10 november om 0:00 CET.
Onderhoud: upgrade van IT-systemen Datum: 10-11-2021 Starttijd: 0:00 CET Eindtijd: 6:00 CET Verwachte impact: Downtime voor meerdere systemen met impact op bestaande diensten. |
01-11-2021 18:00
De storing is inmiddels afgemeld. De RFO (reason for outage) volgt binnenkort en zullen wij delen op deze pagina (https://support.hallo.eu/hc/nl/articles/4409937297553). Mocht je toch nog problemen ervaren, herstart de router. Als het hierna niet is opgelost, neem direct contact met ons op via 088-2550100.
Onze excuses voor het ongemak.
Getroffen diensten: xDSL, Glasvezel
01-11-2021 15:45
De werkzaamheden in het datacenter lijken het gewenste resultaat te bieden, meerdere lijnen komen weer online. We houden de storing nauwlettend in de gaten.
Getroffen diensten: xDSL, Glasvezel
Verwachtte oplostijd: 16:00
01-11-2021 15:00
Een core-router is offline gegaan door fouten in een nieuwe disk. De engineers in het datacenter zijn bezig met het oplossen van deze verstoring.
Getroffen diensten: xDSL, Glasvezel
01-11-2021 14:45
Op dit moment wordt er opnieuw een storing ervaren op de netwerken van een van onze toeleveranciers. De engineers zijn druk bezig om de diensten te herstellen. Helaas is de oplostijd nog onbekend.
Een herstart van de apparatuur is niet nodig.
Getroffen diensten: xDSL, Glasvezel
01-11-2021 14:15
Op dit moment ontvangen wij meerdere meldingen van klanten welke problemen ondervinden met hun verbinding.
Getroffen diensten: xDSL, Glasvezel
Opmerkingen
0 opmerkingen
U moet u aanmelden om een opmerking te plaatsen.