Trippeltestning – hur och varför?

den 29 augusti 2016

Vi har vid ett par tillfällen jobbat med att under en testsession sitta tre personer tillsammans och utföra det vi kallar trippeltestning.

Partestning är något vi provat på vid flertalet tillfällen tidigare (läs mer här) men trippeltestning var lite ”obruten mark” för oss. Här följer våra insikter och erfarenheter av att jobba tillsammans med denna testform samt framgångsfaktorer för en lyckad testsession:

  • Det är verkligen givande och utvecklande att jobba tillsammans
  • Genom att angripa testerna med korta testflöden så går det bra att ha en löpande dialog inom gruppen under testerna
  • Ett förberedelsemöte där upplägget spikas är nödvändigt för att få bra effektivitet under själva testsessionen
  • Att ha koll på inloggning och miljöer inför testerna är a och o
  • Samma sak gäller prioritet; vad är viktigast för projektet att fokusera på under testsessionen?
  • Se till att avsätta tid utan störningsmoment (t ex mail och chatt bör stängas av)
  • En för oss dedikerad kontaktperson från projektet måste finnas tillgänglig under testsessionen
  • Om ingen av deltagarna som är med i trippeltestningen har insyn i projektet behövs en brief före testtillfället så att själva testtiden inte går åt till genomgång av lösningen
  • En förutsättning för en lyckad testsession är att bra testdata finns på plats i systemet innan testerna börjar eller goda förutsättningar att själv kunna skapa testdata
  • Roligt sätt att göra en punktinsats

Nedan vill vi dela med oss av de vanligaste ”fallgroparna” man kan ställas inför samt vilken action som då bör vidtas:

  • Blockerande fel – Våga avbryta testerna i tid. Var inte rädd för att ”dra i handbromsen” om det visar sig att det är stora problem med t ex miljön eller inloggningen. Låt inte tiden gå till annat än faktisk testning av produkten. Då är det bättre att planera om med respekt för allas tid, engagemang och effektivitet
  • Knappt om tid – Var stenhård med tiden för det som ”time-boxats”. Ha alltid en ”tids-slot” på slutet för att kunna gå tillbaka till det som visat sig behöva mer fokus
  • Någon i testgruppen kan inte fullfölja testen av någon oberoende orsak – Två vägval ser vi här: boka om tiden eller planera om testsessionen dvs fortsätt inte en trippeltest med två personer. Då kommer områden att missas

Vi har haft olika upplägg vid våra trippeltesttillfällen. En av anledningarna till detta är att vi har haft olika mycket tid vid de olika tillfällena.

Upplägg 1 (2 timmars testsession):

Innan sessionen fick vi en genomgång av två personer från utvecklingsteamet om hur siten fungerade och vad den skulle användas till. Vi delade in testscopet i sex delar och satte en tidsgräns för hur länge vi skulle testa varje del. Vi fokuserade på varsin enhet att testa på. Rapporteringen skedde var för sig eftersom vi hade olika enheter.

Upplägg 2 (4 timmars testsession):

Vi inom testgruppen hade ett förberedande möte för att planera upplägget. Vi valde att göra något som vi kallar "iterativ partestning med tre personer". Det innebar att var och en av oss var ansvarig för ett område och så turades vi om att testa dem ihop. Ett annat specifikt fokusområde fanns för den person som testade själv. Det innebar att man fick testa sitt fokusområde på egen hand, med någon annan samt att man fick testa ytterligare ett område. Den sista timman lämnade vi tom för att kunna avgöra vad som kändes mest prioriterat av det som vi testat så långt och som därmed kunde tänkas behöva får mer testtid. Rapporteringen skedde hela tiden löpande av en av de som testade i par och av den som testade själv samt att efter varje ”block” avsattes tid för summering innan vi gick vidare.

Se bild hur vi ritade upp denna planering:

Trippeltestning

Vi tycker att båda metoderna fungerat jättebra med hänsyn tagen till att få ut så mycket test som möjligt av tre personer under två timmar till en halvdag.

Vi kommer fortsätta att arbeta med detta upplägg då vi får ut mycket test på kort tid med flera ögon och olika perspektiv på ett effektivt sätt. Projekten där vi genomfört trippeltest har varit mycket nöjda med resultatet och helt klart sett att detta är en metod som man gärna tar med sig i det fortsatta arbetet.

Alla goda ting är tre sägs det och det gäller även vid kvalitetsarbete med trippeltestning.