Regressietest bij een hotfix: zo zet je een spoedfix live zonder iets anders te breken

Regressietest bij een hotfix: zo zet je een spoedfix live zonder iets anders te breken

In het kort: Een regressietest bij een hotfix controleert snel of een spoedfix niets anders heeft gebroken. Test eerst de fix zelf. Draai daarna een kleine geautomatiseerde regressieset voor het geraakte deel en je belangrijkste bedrijfsprocessen. Doe na livegang een smoketest. Die set moet klaarliggen voor de crisis, want tijdens een crisis bouw je hem niet.

Productie ligt eruit, klanten bellen, en een developer zegt dat de fix één regel is. Iedereen wil hem binnen het uur live. Precies dan ontstaat het tweede incident. Een hotfix is de riskantste wijziging van het jaar: onder druk geschreven, haastig getest en direct naar productie. Met een regressietest bij een hotfix voorkom je dat één slechte ochtend er twee worden. Het ongemakkelijke is dat al weken geleden is bepaald of je dat snel kunt.

Waarom breekt een hotfix andere dingen?

Een hotfix breekt andere dingen omdat alles wat een release normaal beschermt, wordt samengeperst. De fix wordt snel geschreven, vaak in code waar al een tijd niemand aan heeft gezeten. De review is kort. Het testen dekt de gemelde bug en weinig meer. Daarna gaat de wijziging direct naar productie, soms vanaf een aparte branch: een kopie van de code die live draait. Een fix op de ene plek kan gedrag op een andere plek veranderen. Denk aan een gedeelde functie, een databaseveld, of een regel waar drie schermen van afhangen. Een regressietest controleert of wat eerder werkte nog steeds werkt, en vangt precies dat op. Het is ook precies wat wordt overgeslagen als de klok tikt. In ons artikel over de regressietest lees je de basis. Dit artikel gaat over regressietesten onder druk.

Er is ook een kostenkant die managers vaak niet zien. Kost elke hotfix een dag handmatig hertesten, dan wacht de business een dag met een kapotte functie. Sla je het hertesten over, dan gok je. Geen van beide is een fijne plek.

Hoe test je een hotfix snel zonder de regressietest over te slaan?

Je test een hotfix snel door checks te draaien die je eerder hebt voorbereid, niet door ze ter plekke te bedenken. De volgorde is simpel. Bewijs eerst dat de fix werkt. Bewijs dan dat er niets omheen is gebroken. Controleer daarna productie zodra hij live staat. In de praktijk ziet dat er zo uit.

  1. Reproduceer en test de fix. Laat de bug zien op de oude versie en laat zien dat hij weg is op de nieuwe. Maak van die check het liefst meteen een geautomatiseerde test.
  2. Draai de regressieset voor het geraakte deel. De tests voor de module of functie waar de fix aan zit.
  3. Draai de kritieke processen. Je vijf tot tien belangrijkste bedrijfsprocessen, zoals inloggen, bestellen of betalen. Kies ze met risicogebaseerd testen, zodat de set klein genoeg blijft om in minuten te draaien.
  4. Kijk even als gebruiker. Tien minuten waarin een tester door het gefixte deel klikt, vinden dingen waar geen script voor bestaat.
  5. Doe na livegang een smoketest. Een smoketest is een paar snelle checks die laten zien dat het live systeem überhaupt werkt.

Stap twee en drie werken alleen als die tests geautomatiseerd en betrouwbaar zijn, en op de hotfix-branch kunnen draaien. Dat deel hebben de meeste teams niet. In gesprekken blijkt “we hebben al testautomatisering” vaak te betekenen dat één persoon het heeft gebouwd en niemand anders het snapt. Is die persoon op vakantie tijdens je incident, dan sta je weer te klikken. Een TaaS-klant vertelt dat hij op elk gewenst moment kan releasen dankzij de geautomatiseerde regressieset. Een hotfix is de meest extreme vorm daarvan.

Terugdraaien of doorfixen?

Draai terug als de laatste release het probleem veroorzaakte en teruggaan veilig is. Fix door als terugdraaien nieuwe problemen geeft. Terugdraaien betekent de vorige versie weer live zetten. Dat is vaak sneller en veiliger dan een hotfix, want die versie draaide al in productie. Onder druk vergeten teams deze optie, omdat fixen actiever voelt.

Terugdraaien wordt riskant als er intussen data is veranderd. Een nieuw databaseveld is misschien al gevuld, of er zijn sindsdien andere wijzigingen live gegaan. Dan is een zorgvuldige hotfix de betere keuze. Spreek in rustige tijden af welke kant je op gaat, niet midden in een incident. Met blue-green deployment staan de oude en de nieuwe versie allebei klaar en schakel je het verkeer om. Dan is teruggaan een kwestie van minuten.

Wat doe je na de hotfix?

Na de hotfix zorg je dat de fix blijft. Drie dingen tellen. Zet de fix eerst terug in de hoofdcode. Staat hij alleen op de hotfix-branch, dan brengt de volgende gewone release de bug gewoon terug. Dat is ook een regressie, alleen een week later. Voeg daarna een test voor de bug toe aan je regressieset, zodat hij nooit meer ongemerkt terugkomt. Neem tot slot een halfuur om te vragen waarom hij erdoor glipte. Was er geen test voor dit proces? Of bestond de test wel, maar werd hij overgeslagen omdat hij willekeurig faalt? Het antwoord laat zien waar je regressieset een gat heeft.

Een eerlijke kanttekening: niet elke hotfix heeft de hele routine nodig. Een typefout in een helptekst vraagt geen regressierun. Spreek met je team af welke soort fix wat nodig heeft, zodat niemand er op het moment zelf over hoeft te discussiëren.

Wat betekent dit voor je team?

Hoe snel een veilige hotfix kan, hangt af van werk dat op een gewone dag niemand ziet. Iemand moet de regressieset bijhouden en tests repareren die willekeurig falen. Iemand moet zorgen dat de kritieke processen op elke branch in minuten draaien. Is daar geen eigenaar voor, dan veroudert de testset langzaam. Op de dag dat je hem nodig hebt, vertrouwen mensen hem niet meer en gaan ze klikken. Het onderzoek van DORA naar softwarelevering wijst dezelfde kant op: betrouwbare geautomatiseerde tests helpen teams om software snel en veilig te veranderen.

Dat doorlopende werk doen we met Test Automation as a Service, samen met je team. Voor teams die hun regressietests nog met de hand doen, halen we tot 70% van dat handmatige werk weg. Je tests draaien elke nacht, en wij houden ze betrouwbaar. Je krijgt een stabiele testset waar je team op kan vertrouwen, die niet van één persoon afhangt en je team geen extra werk geeft. Komt de volgende spoedfix, dan liggen de checks klaar en beslist je team wat live gaat.

Een eerste stap voor deze week: pak je laatste hotfix erbij. Hoe lang duurde het testen, en wat heb je overgeslagen? Schrijf het op. Een duidelijkere businesscase voor testautomatisering vind je niet.

Spoedfixes live zetten met checks die klaarliggen als het moet.

Bekijk hoe TaaS werktPraat met ons team

Veelgestelde vragen

Wat is het verschil tussen een hotfix en een patch?

Een hotfix is een spoedfix voor een probleem in productie, buiten de normale planning om. Een patch is een breder woord voor elke update die iets repareert, vaak gepland. Elke hotfix is een patch, maar niet elke patch is een hotfix.

Hoe lang mag het testen van een hotfix duren?

Met een geautomatiseerde regressieset voor je kritieke processen vaak minder dan een uur, inclusief de smoketest. Zonder zo’n set kan het een dag of langer duren. Dat verschil is wat ontbrekende automatisering echt kost.

Kun je de regressietest overslaan bij een fix van één regel?

Niet veilig. Eén regel kan een gedeelde functie veranderen die veel schermen gebruiken. Draai minstens de regressieset voor het geraakte deel en je kritieke processen.

Wie beslist of een hotfix live gaat?

Meestal de product owner of degene die dienst heeft bij het incident, met advies van de tester. Spreek vooraf af wie beslist, zodat er tijdens het incident geen discussie is.