Storing telefonie: Verholpen.

Storing bij toeleverancier BT op vrijdag 19 januari 2018

Door een storing bij onze toeleverancier British Telecom (BT) was er van vrijdag 19-01-2018 10:48 uur tot zaterdag 20-01-2018 1:16 uur geen inkomend verkeer mogelijk. Er zijn geen problemen met uitgaand verkeer geweest, doordat wij voor uitgaande gesprekken meerdere mogelijkheden gebruiken en wij snel hebben kunnen “switchen” naar een alternatieve mogelijkheid. In Nederland is het helaas niet mogelijk om dit ook voor inkomend verkeer te doen.

Omdat het GIS-netwerk zelf geen uitval had, konden daarnaast alle klanten op het platform wel gewoon met elkaar bellen en konden collega’s onderling ook gewoon telefonisch contact hebben.

Oorzaak storing
Onze toeleverancier BT heeft normaal gesproken twee “fiber kabel routes” naar Nederland om alle gesprekken te verwerken. Dit is een redundant systeem, waarbij bij uitval van de ene route, de andere route het naadloos kan overnemen. Door een vervelend toeval waren er bij beide routes – die honderden kilometers van elkaar af liggen – problemen.

Van BT begrepen wij dat bij de route vanaf Duitsland de kabels bij Arnhem beschadigd zijn geraakt door werkzaamheden door derden waarbij heipalen recht door de kabels zijn geslagen. Ook bij de route vanaf Frankrijk zijn door bouwwerkzaamheden de kabels onherstelbaar beschadigd. Om de storing op te lossen moesten er door BT nieuwe kanalen en vezels geplaatst worden.

Vragen en reacties
Wij realiseren ons dat onze partners en eindklanten hiervan veel hinder hebben ondervonden. Door deze storing waarvan de oorzaak buiten onze macht ligt, hebben we niet de kwaliteit in dienstverlening kunnen leveren die wij nastreven. Dit vinden wij ontzettend vervelend en wij betreuren dit dan ook ten zeerste.

Onze toeleverancier BT heeft een uitstekende reputatie en bestuurt een aanzienlijk deel van de Europese markt. Wij werken al 8 jaar naar volle tevredenheid en zonder noemenswaardige storingen met BT samen en weten daarom dat zij met man en macht hebben gewerkt om dit probleem te verhelpen.

Wel zullen wij naar aanleiding van dit incident met BT in gesprek treden hoe zij in de toekomst dergelijke gevolgen gaan voorkomen. Hierover houden wij je op de hoogte.

Mocht je nog vragen hebben, neem dan vooral contact met ons op.

Historie:

Door een storing bij onze toeleverancier is er op dit moment geen inkomend verkeer mogelijk. Er zijn geen problemen met uitgaand verkeer. De storing ligt buiten ons platform, de toeleverancier werkt hard aan een oplossing. We houden je op de hoogte zodra wij meer horen.

11:50 uur: De toeleverancier geeft aan hard te werken aan een oplossing, maar kan nog geen tijdsindicatie geven. Zodra er weer een update komt vanuit de toeleverancier, melden wij deze direct hier. Onze excuses voor het ongemak.

 

13:00 uur: De toeleverancier heeft doorgegeven dat het hoogstwaarschijnlijk om een hardware issue gaat en is in contact met hun hardware leverancier. Een indicatie over hoe lang het herstel van de dienstverlening gaat duren, is helaas nog steeds niet mogelijk.

 

14:40: Toeleverancier geeft aan dat het daadwerkelijk om een hardware issue gaat en dat het probleem is gelokaliseerd. Men werkt hard aan een oplossing, een indicatie over hoe lang het herstel van de dienstverlening gaat duren is echter nog steeds niet mogelijk.

 

16:40: Zoals iedereen vandaag merkt, ondervinden wij hinder van een grote storing bij onze leverancier BT. Zowel inkomende als uitgaande gesprekken zijn bij BT op dit moment niet mogelijk. Doordat wij voor uitgaande gesprekken meerdere mogelijkheden gebruiken, kunnen onze klanten gewoon uitbellen. Daarnaast -omdat het Gene IT netwerk geen last heeft van uitval- kunnen alle klanten op het platform wel gewoon met elkaar bellen en kunnen collega’s onderling ook gewoon contact hebben.

We kunnen helaas geen tijdsindicatie geven wanneer onze leverancier het probleem heeft opgelost.

 

18:20 uur: De ingenieurs van de toeleverancier hebben de storing herleid naar een fiber kabel in de buurt van Arnhem. Er is een reparatieteam uitgezonden om de schade te herstellen. Het is een complex probleem, dus reparaties zullen veel tijd in beslag nemen. De verwachting is dat dit nog meerdere uren duurt. Ook het redundante systeem bij de leverancier dat ervoor had moeten zorgen dat dit voorkomen had kunnen worden, werkt niet naar behoren. Ook daar wordt gewerkt aan een oplossing.

We begrijpen dat onze partners en eindklanten hiervan veel hinder ondervinden. Wij betreuren het ten zeerste niets te kunnen betekenen om dit probleem sneller te verhelpen en hopen jullie snel van beter nieuws te kunnen voorzien. Toeleverancier BT heeft een uitstekende reputatie en bestuurt een aanzienlijk deel van de Europese markt. Wij werken al ruim 10 jaar nagenoeg ongestoord met BT samen en weten daarom dat ze met man en macht zullen werken om dit probleem te verhelpen. Zodra de storing is verholpen, heeft een gesprek met BT onze hoogste prioriteit.

22:37 uur: BT meldt dat contractor BAM op locatie is. Werkzaamheden bij het spoor blijken de oorzaak te zijn van een kabelbreuk. Er wordt nu een handhole gegraven om de locatie van de breuk tot enkele meters te kunnen bepalen. Waarom de redundantie voor deze kabel niet heeft gewerkt en wanneer deze wordt gerepareerd is nog niet bekend.

 

23:09: Het reparatiegebied wordt afgesloten met hekken met het bord “quicksand”. Het is totaal donker in het veld, dus men moet speciale auto’s met grote spotverlichting meenemen voordat ze de reparatie kunnen beginnen.

De alternatieve route, die door Frankrijk loopt, is helaas ook verbroken door een calamiteit op een bouwplaats. Hier zijn de vezels nog erger beschadigd (nieuwe kanalen en vezels zijn nodig), wat betekent dat de ETR er daar op zijn vroegst zondag zal zijn. Deze vezel in Frankrijk is beschadigd over een afstand van 200 meter.

Inmiddels heeft één van de engineers van BT wellicht een tijdelijke oplossing. Deze verbinding is echter instabiel en heeft weinig capaciteit. Communicatie zou dus zo mogelijk kunnen worden, maar deze verbinding is ongetest. Dit zou echter een lapmiddel kunnen zijn tijdens de reparatiewerkzaamheden. Hoe de kwaliteit van de audioverbindingen zal zijn is onbekend.

 

01:16: Voorzichtig zien we de weggevallen lijn naar BT terug komen, en zien we op beide lijnen weer verkeer binnenkomen. Ook uitgaand verkeer lijkt weer te werken via BT. Mogelijk is dit de tijdelijke oplossing die eerder werd genoemd. We wachten nog op een update hierover. De aard van het defect aan de glasvezel bij Arnhem is inmiddels bekend, en de werkzaamheden worden geschat nog enkele uren te gaan duren. Vooralsnog lijkt het op dit moment in orde.

Oplossing: Er is een tijdelijke oplossing actief sinds 01:16 uur.

06:49 Voor de verbinding tussen NL en DE: Er wordt een nieuwe vezel tussen twee mangaten worden geïnstalleerd. Wegens hinderlijke omstandigheden zullen de reparatiewerkzaamheden na 9.00 uur worden hervat.

Voor de verbinding tussen NL en FR: twee vezel reparatie teams werken aan het vervangen van de vezel. De uiteindelijke ETR wordt gedeeld om 10:00 uur, maar er kan op eerder herstel worden gerekend, omdat de vezels stuk voor stuk worden gerepareerd.

De noodoplossing lijkt zich in de tussentijd goed te houden.

9:32 uur: De ingenieurs in Arnhem voor de verbinding tussen Duitsland en Nederland hebben de vezeluitval gemeten op 22,5 km. Ze hebben moeite met het vinden van de mangaten vanwege de lokale omstandigheden. Op dit moment vermoeden ze dat er palen in de grond dwars door de kabels zijn gegaan. Tussen de mangaten moet een nieuwe kabel worden gelegd. Het werk werd tot 9:00 uur plaatselijke tijd stilgelegd vanwege de milieugevaren en het gebrek aan licht ter plaatse.

De verbinding tussen Frankrijk en Nederland is inmiddels hersteld. De diensten worden nog steeds gecontroleerd totdat alle werkzaamheden voor de verbinding zijn voltooid. Dit zal naar verwachting rond 10:00 uur zijn.

10:15 uur: We hebben zojuist een laatste update van BT gehad: “Om 1.10u CET is de Frankrijk link hersteld, de werkzaamheden zijn om 7.45u CET daar afgerond. Vanaf 1.10u CET draaien we dus weer op de originele route (maar niet redundant en niet de tijdelijke oplossing waar eerder over gesproken werd). De redundante route in Arnhem wordt momenteel hersteld.”