GlobalSign/AlphaSSL OCSP/CRL/TimeStamping Fejl

Sidst opdateret 19 marts 2020 kl. 13:00 - Alle systemer oppe - Incident report tilgængelig.

Vi er den 11 marts 2020 kl. 10.00 blevet gjort opmærksomme på en fejl hos GlobalSign's servere, som giver midlertidige udfald på CRL/OCSP services der validerer at certifikater ikke er tilbagetrukket.

GlobalSign har ikke udmeldt fejlen via e-mail til deres kunder eller partnere, men har blot skrevet en notits om det på deres server status side her https://www.globalsign.com/en/status

GlobalSign er klar over fejlen og arbejder aktivt på at løse problemet, som de selv beskriver som sporadisk, dvs. at fejlen kommer og går. Vi har fundet ud af de havde fejlen i en times tid i går, men nu har haft fejlen i flere timer i dag.

Generelt vil browsere der tidligere har tilgået et GlobalSign certifikat ikke påvirkes, da de cacher resultatet. Men en ny forbindelse kan potentielt fejle, hvilket vil give browser fejl på websites der bruger GlobalSign certifikater.

Vi ved fra kunder at det giver aktive fejl på klienter, specielt klienter der altid checker CRL/OCSP som remote applikationer, RDP og mindre ofte i web browsere.

Derudover bliver deres CodeSigning TimeStamping services og udstedelse af certifikater også påvirket.

Vi har ikke noget estimat på hvornår fejlen er rettet, men opdaterer løbende denne side.

Vi har en enkelt løsning til kritiske systemer som er at udskifte certifikatet med et certifikat fra en anden udsteder, fx DigiCert, Sectigo, Thawte, GeoTrust, RapidSSL.

Eftersom vi tilbyder certifikater fra flere CA'er, kan vi med det samme lave et erstatningscertifikat fra en anden rod CA uden problemet. Har I et kritisk system, med et GlobalSign eller AlphaSSL certifikat, hjælper vi gerne med et erstatningscertifikat og sørge for at udgiften bliver så lav som mulig.

+45 77 345 678 / +46 (0)10 101 0334 vi holder telefonen åben så længe der er seriøse problemer, for assistance med erstatning af certifikater, også aftenen/natten igennem hvis nødvendigt.

Opdatering 11. marts 2020 kl. 13:35 CET
GlobalSign har udmeldt på twitter kl. 13 og opdateret deres status, hvor de oplyser at det er et netværksproblem i deres primære data center, hvilket giver fejlene på deres online services. De arbejder på problemet og mener de snart vil være helt oppe igen.

Vi har løbende testet deres systemer og kan se at de fleste tests vi kører nu, ikke længere giver fejl. Hvilket tyder på at problemet er ved at blive løst.

Vi oplever også at størstedelen af de kunder vi har været i kontakt med, ikke har fejl på deres drift.

Opdatering 11. marts 2020 kl. 17:00 CET
GlobalSign har ikke ændret på deres status og der sker stadig periodevise fejl. Vi kan se i test og i oppetidsstatistik at der fortsat er problemer med online services.


Vi ser ikke rigtig fejl i de primære browsere på websites, men det er teoretisk muligt at der kan være fejl. Det er primært andre forbindelser som API, server til server, fjernskrivebord, mm.

Herunder ses en oppetidsstatistik for en GlobalSign CRL liste.

 

Opdatering 11. marts 2020 kl. 20:15 CET
GlobalSigns status side melder af fejlen er løst.
Og at når de har undersøgt årsagen vil komme med en udmelding om årsagen.

De sidste timer er der ikke nogen fejl at se i oppetidsstatistikken.

Opdatering 12. marts 2020 kl. 12:30 CET
GlobalSign melder at fejlen er løst, men at en backlog giver midlertidige fejl stadigvæk. Vi ser dog stadig fejl i vores test og i oppetidsstatistikken. De primære CRL lister har i dag halveret antallet af fejl. Det er derfor stadig muligt at opleve fejl, men det ser ud til at gå i den rigtige retning.

Opdatering 12. marts 2020 kl. 16:55 CET
Eftersom vi stadig ser periodevise fejl, har vi valgt at holde telefonen åben idag fra 8-24, hvor vi vil assistere enhver der har problemer med et GlobalSign eller AlphaSSL certifikat. Vi kan på meget kort tid erstatte certifikatet fra en anden CA.

Opdatering 13. marts 2020 kl. 14:00 CET
Vi ser nu at ordrer gennemføres, der udstedes certifikater fra både GlobalSign og AlphaSSL. De primære OCSP-tjenester til GlobalSign EV- og OV-certifikater reagerer som forventet siden i nat og forbedres stadig.

GlobalSign rapporter at de har løst problemerne og at de arbejder nu på at rydde efterslæb af, support og cache af gamle 503 svar på OCSP-tjenester.
Vi ser stadig fejl på AlphaSSL OCSP'en, der findes her http://ocsp2.globalsign.com/gsalphasha2g2

Vi vil fortsætte med at overvåge situationen og opdaterer hvis der sker ændringer.
Har I brug for hjælp grundet noget af ovenstående, opfordrer vi til at kontakte os på e-mail, så svarer vi hurtigt tilbage eller ringer tilbage.

Opdatering 16. marts 2020 kl. 11:45 CET
Alle OCSP servere svarer normalt.
Certifikater bliver udstedt.
Revokes bliver udført
Vi mener at alt er tilbage som normalt.

Vi afventer en "incident report" og deler den her, når den bliver tilgængelig.

Seneste opdatering 19. marts 2020 kl. 13:00 CET
GlobalSign har frigivet en "incident" rapport som beskriver årsagen på problemet.
Det virker til at den primære årsag er malware som med vilje har forespurgt OCSP, efter tilfældige ikke eksisterende certifikat id'er for at forhindre cache og tvinge systemet til at forespørge databasen.

Rapporten kan hentes her:
https://www.globalsign-media.com/en/incident-report/2020-03-18-singapore-dc