[OPGELOST] Storing in het GSM-netwerk waardoor 4G data niet beschikbaar is

    Startdatum 2019-07-08 13:00:00
    Einddatum 2019-07-08 15:40:00

     

    Er speelt een storing bij de provider van ons GSM-netwerk.

     

    Impact

    Door deze storing is 4G data niet beschikbaar voor gebruikers die een SIM via ons afnemen. Telefoongesprekken zijn wel mogelijk.

     

    Update 15:40

    De provider van het GSM-netwerk heeft gemeld dat de storing is opgelost en 4G data voor alle gebruikers weer beschikbaar is.

    [OPGELOST] Storing op één van onze datacenter-nodes

    Startdatum: 2019-07-08 11:48

    Einddatum: 2019-07-08 12:15

     

    Er speelt op dit moment een storing op één van onze datacenter-nodes.

    Ons technische team is druk aan het onderzoeken wat de oorzaak en een oplossing is.

     

    Impact
    Een aantal klantomgevingen reageren erg traag, waardoor deze niet goed benaderbaar zijn.

     

    Update 12:02

    We zijn bezig met een workaround zodat klanten zo snel mogelijk weer aan het werk kunnen.

    Hierbij worden de gebruikerssessies van de klant helaas beëindigd doordat de Windows servers herstart worden.

     

    Update 12:11

    De klant-omgevingen zijn weer beschikbaar, klanten kunnen nu weer verbinden.

    We zullen verder onderzoeken wat de oorzaak van deze storing is geweest, zodat we dit in de toekomst kunnen voorkomen.

     

    Update 16:30

    Ons technisch team heeft twee mogelijke oorzaken geïdentificeerd, maar niet kunnen uitsluiten welke van deze precies het probleem heeft veroorzaakt.

    We hebben een procedure aangepast zodat één van deze oorzaken niet meer kan voorkomen.

    Voor de andere mogelijke oorzaak is extra monitoring ingesteld, zodat we dit direct zien als het nogmaals optreedt.

    [OPGELOST] Korte storing in één van onze centrale voip-systemen

    Startdatum 2019-07-03 10:32
    Einddatum 2019-07-03 10:39

     

    Vandaag is een korte storing opgetreden in één van onze centrale voip-systemen.

    Een deel van de binnenkomende gesprekken voor nummers die via dit systeem gerouteerd zijn, heeft niet kunnen verbinden.

     

    Impact:

    Gedurende de storing heeft een aantal bellers een melding gekregen dat het nummer niet bereikbaar was.

     

    Oorzaak:

    De storing werd veroorzaakt door een menselijke fout tijdens een configuratiewijziging voor een nieuw systeem.
    Deze fout is direct opgemerkt en geëscaleerd, waarna de configuratiewijziging is teruggedraaid.

    Onze excuses voor het ongemak, we zullen onze procedures aanpassen zodat dit niet nogmaals kan gebeuren.

    [OPGELOST] Storing bij één van onze datacenter-locaties

    Startdatum 2019-07-02 10:11
    Einddatum 2019-07-02 10:35

     

    Vandaag speelde er een storing bij één van onze datacenter-locaties.

    De datacenter-provider geeft aan dat de verstoring speelde in de IP-routering voor het gehele datacenter.

     

    Impact:

    1A-servers die vanuit deze datacenter-locatie gehost worden zijn gedurende 26 minuten onbereikbaar geweest.

    Onze centrale systemen zijn  redundant uitgevoerd zodat 1A-servers op locaties bij de klant en 1A-servers die vanuit onze andere datacenters gehost worden geen directe storing hebben ervaren.

     

    Update 10:11

    Ons monitoringsysteem meldt dat een aantal 1A-servers offline is, ook is een deel van onze centrale systemen niet bereikbaar.

    Deze systemen staan in één van onze datacenter-locaties, al onze systemen in dit datacenter blijken onbereikbaar.

    De beheerder van dit datacenter geeft aan dat er een storing op het netwerk speelt die het gehele datacenter getroffen heeft.

     

    Update 10:42

    De datacenter-provider heeft een voorlopige oplossing geïmplementeerd terwijl zij onderzoeken waardoor de verstoring veroorzaakt is.

    Op dit moment zijn alle systemen die wij in dit datacenter hebben ondergebracht weer bereikbaar.

    Klanten kunnen weer verbinden met de systemen en hun werkzaamheden vervolgen.

     

    Update 12:25

    Wij hebben een status-update ontvangen van onze datacenter-provider.

    Het probleem is opgetreden door een breuk in één van de glasfiber verbindingen van het datacenter.

    Zij geven ook aan dat de fallback sneller tot stand had moeten komen. Beide aspecten van deze verstoring worden verder onderzocht.

     

    Update 17:30

    Sinds 10:35 zijn alle systemen in de datacenter-locatie weer bereikbaar.

    Wij verwachten nog status-updates van de datacenter-provider over de beschadigde glas-verbinding en de oorzaak van de trage fallback.

     

    Update 3-juli om 12:45

    We hebben een update van onze datacenter-provider ontvangen, de storing is nu volledig afgemeld.

    Gisteren zijn er bij werkzaamheden in Haarlem aan een damwand (traject naar amsterdam) een groot aantal fibers beschadigd.
    Dit was een vrij complexe storing en deze is pas afgelopen nacht 02:30 compleet verholpen. 
    De beschadigde fibers zijn inmiddels weer in gebruik genomen bij ons en goed bevonden.

    De omschakeling bij een fiberbreuk hebben we vannacht ook nog uitvoerig getest. 
    We hebben een aantal optimalisaties doorgevoerd waardoor we nu binnen 15-30 seconden het faillover pad actief hebben.

    Dit soort grootschalige fiber outages zijn gelukkig vrij zeldzaam. Excuus voor ontstane het ongemak, ook namens de gemeente Haarlem.

    [OPGELOST] Landelijke storing bij KPN

    Startdatum 2019-06-24 16:11
    Einddatum 2019-06-24 19:50

     

    Wij ontvingen bericht van onze VoIP-leverancier dat er een storing speelt in het netwerk van KPN.

     

    Impact:

    Er treden problemen op in alle gesprekken van en naar nummers die lopen via het netwerk van KPN.

    Dit betreft een landelijke storing.

     

    Ook 112 is niet bereikbaar, er zijn alternatieve noodnummers ingesteld:

    • Bij Spoed, bel: 088-6628240 (in plaats van 112)
    • Geen Spoed, bel: 088-9659630 (in plaats van 0900-8844)

     

    Meer informatie:

    Liveblog – https://www.nu.nl/algemeen/5951304/politie-deelt-alternatief-112-nummer-088-6628240.html

    https://www.nu.nl/binnenland/5951166/landelijk-noodnummer-112-niet-bereikbaar-alle-agenten-de-straat-op.html

     

    Update 16:55

    Het is vooralsnog onbekend hoe de landelijke storing is ontstaan. De problemen startten ergens rond 16.00 uur bij KPN.

    Voor KPN heeft het oplossen van dit probleem de hoogste prioriteit.

     

    Update 17:50

    De storing bevindt zich volgens KPN in het 4G-gedeelte van het mobiel netwerk. Het is niet duidelijk wanneer bellen weer mogelijk is.

    Op dit moment kunnen KPN-klanten alleen bellen als ze 4G via de instellingen handmatig uitschakelen.

     

    Update 19:30

    KPN heeft aangegeven dat de storing grotendeels is opgelost.

    Het reguliere noodnummer 112 is weer bereikbaar.

     

    Update 19:50

    KPN heeft aangegeven dat de storing is opgelost.

     

    [OPGELOST] Storing bij T-mobile / Tele2

    Startdatum 2019-05-10 8:46
    Einddatum 2019-05-10 15:42

     

    Wij ontvingen bericht van onze VoIP-leverancier dat verbindingen met het netwerk van T-mobile momenteel niet mogelijk zijn. Zij hebben dit probleem met de hoogste prioriteit geëscaleerd.

     

    Impact:

    De storing bij Tele2 is landelijk en raakt zowel vaste telefonie als VoIP-diensten.

     

    Meer informatie:

    https://www.nu.nl/internet/5885535/vast-telefoonnetwerk-tele2-kampte-urenlang-met-grote-storing.html

     

    Update 8:57

    Technici hebben ontdekt dat de storing wordt veroorzaakt door een probleem bij Tele2.

     

    Update 8:59

    Tele2 heeft bevestigd dat de storing meerdere VoIP-leveranciers raakt, waaronder de onze.

     

    Update 9:15

    De storing bij Tele2 is landelijk en raakt zowel vaste telefonie als VoIP-diensten.

     

    Update 9:32

    Inkomend en uitgaand verkeer van en naar telecom-leveranciers buiten de Tele2/T-Mobile infrastructuur heeft geen last van deze storing. Het is nog niet bekend wanneer de storing opgelost zal zijn.

     

    Update 10:40

    Het is nog steeds niet bekend wanneer de storing opgelost zal zijn.

     

    Update 12:03

    Het is nog steeds niet bekend wanneer de storing opgelost zal zijn. Veel telecom-leveranciers hebben inmiddels wel omleidingen ingesteld, waardoor de bereikbaarheid beter zou moeten zijn.

     

    Update 14:19

    De omleidingen ingesteld door de getroffen telecom-leveranciers heeft ervoor gezorgd dat de meeste verbindingen weer werken sinds begin deze middag. Er is nog geen nieuws bekend over de oplossing bij Tele2 zelf.

     

    Update 15:42

    Tele2 heeft het probleem opgelost. Mocht u nog steeds problemen ondervinden, neem dan AUB contact op met uw 1A-partner.

    [OPGELOST] Kwaliteitsverlies in telefoniegesprekken

    Startdatum 2019-04-23 08:30
    Einddatum  2019-04-23 09:30

     

    Onze monitoring gaf aan dat er packet loss was tussen onze voIP-provider en de telefonie-servers. Mogelijk heeft dit invloed gehad op de gesprekskwaliteit.

     

    Impact:

    Bij gesprekken buiten het telefonienetwerk van 1A treedt er mogelijk verlies van gesprekskwaliteit op. Gesprekken binnen ons netwerk ondervinden geen hinder.

     

    Update 11:30

    Onze monitoring geeft aan dat de packet loss niet meer optreedt.

    [OPGELOST] Storing bepaalde DSL en FttH internetlijnen

    Startdatum 2019-04-18 09:15
    Einddatum  2019-04-18 16:22

     

    Een van onze leveranciers voor internetaansluitingen heeft problemen met het IP-verkeer naar onder andere Microsoft.com en Teamviewer.com. Ook is er soms een korte onderbreking van de verbinding.

     

    Impact:

    Doordat het probleem optreedt in het netwerk van de leverancier, speelt dit bij alle 1A-internet verbindingen die via deze leverancier lopen.

    A) De internetverbinding verbreekt soms even.

    B) Sommige delen van het internet zijn helemaal niet bereikbaar (Microsoft, Teamviewer).

     

    Update 12:27

    De leverancier is nog steeds hard bezig het probleem te verhelpen.

     

    Update 15:26

    Het onderzoek bij de leverancier is nog steeds gaande, helaas hebben zij nog geen oplossing gevonden voor het probleem.

     

    Update 16:22

    De leverancier geeft aan dat het probleem opgelost is.

     

    Update 17:10

    Voor zover wij zien is het probleem inderdaad opgelost.

    Tickets die via de 1A-partners zijn aangemeld worden verder afgehandeld.

     

    Post-Mortem:

    De leverancier geeft aan dat het probleem speelde in verkeer dat zij routeren via interconnect-partners NL-ix en AMS-ix.

    Op 18-april zijn tussen 08:30 en 15:45 verstoringen opgetreden in verbindingen naar een aantal netwerken, waaronder Microsoft en Teamviewer.

    De leverancier houdt met deze interconnect-partners de connectiviteit de komende tijd extra in de gaten.

    [OPGELOST] Bij VodafoneZiggo speelt een storing met geluid in gesprekken

    Startdatum 2019-04-18 08:00
    Einddatum  2019-04-18 17:15

     

    VodafoneZiggo reported connection and quality issues with their voice services.

    Outbound traffic towards the affected destinations will be rerouted.

    Inbound traffic might still be affected, we have received reports of calls lacking audio

     

    Impact:

    U kunt problemen met geluid ervaren wanneer u gebeld wordt door iemand met een VodafoneZiggo abonnement.

    Dit kan ook optreden wanneer u belt naar iemand met een VodafoneZiggo abonnement. 

     

    Update 12:45

    Despite the efforts of all parties involved the fix is not complete yet and ready for production.

    While we wait for a definitive solution, customers might still experience audio/connectivity issues on inbound voice traffic originating from VodafoneZiggo sources

     

    Update 14:55

    The solution is in place and the first tests are successful. As soon as we receive an official statement we will report back.

     

    Update 17:15

    VodafoneZiggo had reported that all numbers and services are operational again. This incident is marked resolved.