Fra Mål til Metrik matematik
BLOG
QUALITY ASSURANCE

Blog: Fra Mål til Metrik – ved du hvorfor du måler?

Hvis du ser dig omkring på projekterne i din virksomhed, så gætter jeg på at du finder en række metrikker som i trofast måler fra sprint til sprint, fra projekt til projekt.

Uanset om du arbejder i en agil kontekst eller i de mere traditionelle udviklingsmetoder så er metrikker noget du støder på. Nogen har et par enkelte metrikker eller KPIer, nogen har MANGE. I nogen projekter og organisationer føles det nærmest som om metrikker drysses over projekterne med lind hånd, og ændres fra dag til dag fordi nogen har læst eller set noget smart siden i går. Men prøv lige at stoppe op og spørg; hvorfor måler vi det her?, hvad er det vi forsøger at få svar på? og hvem er det der har brug for denne måling?

Alt for ofte så udspringer metrikker af en af flere ting:

  • Det er den vi plejer at måle
  • Det er den vi får foræret når vi bruger værktøjet XXX
  • Det er seneste fikse ide fra XXX 
  • Det er den sidste XXX har læst om i en eller anden bog der er oppe i tiden

På Tmap Suite Test Master Kurset introduceres de testfaglige for metoden ”Goal – Question – Metric”, oprindeligt defineret som en del af en PHD af Dr. David M. Weiss og senere brugt hos blandt andet NASAs Goddard Space Center. Metoden er ikke så ny endda, men desværre ikke så kendt i Danmark.

GQM benyttes som driver til at sikre en målorienteret tilgang til metrikker i organisationen, og er egentlig simpel (i hvert fald i teorien):

  1. Identificer hvad målet er for kvaliteten i dit projekt – eller organisation
  2. Identificer de spørgsmål du vil stille for at finde ud af om målet er opnået
  3. Identificer de metrikker der skal til for at svare på det spørgsmål.

Det lyder jo meget simpelt; tre hurtige punkter og du er kørende. Det viser sig dog ofte at især punkt 1 kan være svær, for her skal du have dine interessenter i spil, og have sat ord på helt konkret hvad det er for mål vi skal stræbe efter i forhold til kvalitet i organisationen. Det vil sige det ofte er højniveau definitioner, men så konkrete at du kan bruge det som grundlag for det videre arbejde. F.eks. kunne det være noget i stil med:

  1. Validere opfyldelsen af krav til ny funktionalitet og nye systemer, før de går i produktion.
  2. Identificere fejl, der kan påvirke den daglige brug af systemerne inden for produktafdelingen og giv udvikleren tilstrækkelige oplysninger, så de kan rette fejlene, inden de går i produktion
  3. Brug en risikobaseret tilgang til test for at reducere risikoen for kritiske problemer efter release
  4. Giv projektledelse og release management værdifulde oplysninger til støtte for beslutning i forhold til go/no go

Nu har du et overordnet billede af hvorfor firmaet ønsker at investere i test. Men for at kunne sige noget konkret om hvorvidt vi har opfyldt disse mål så skal vi have gjort dem mere målbare. Derfor hastigt videre til punkt 2. Her tager du det enkelte mål og overvejer; hvilke spørgsmål skal jeg stille for at finde ud af om målet er opfyldt?

For det første mål kunne spørgsmålene være:

  1. Er alle krav dækket af en test?
  2. Er alle testcases som er specificeret til at dække krav, blevet gennemført successfuldt?
  3. Er slutbrugerne tilfredse med den leverede funktionalitet?

Eller for mål nr to:

  1. Hvor mange fejl har vi fundet i produktion med høj severity efter release?
  2. Hvor mange fejl bliver afvist fordi de ikke kan reproduceres?
  3. Har vi mange fejl i produktion efter en major release?
  4. Oplever slutbrugeren et system med god kvalitet efter en major release?

Nu er du på vej mod noget mere konkret, og du skal selvfølgelig afklare med dine interessenter om det er de rigtige spørgsmål du har identificeret – måske har i endda identificeret dem sammen.

Med disse spørgsmål er du nu i stand til at identificere de konkrete metrikker der giver værdi i din kontekst – for at kunne svare på om de mål dine interessenter har sat for test rent faktisk er blevet opfyldt.

Men så kommer den næste udfordring; har du det data og den datakvalitet du skal have for at bruge metrikkerne…. Men det er en helt anden historie.

Nu kan du køre den anden vej:

  1. lav målingerne
  2. svar på spørgsmålene
  3. vurder om dine mål er opfyldt.

Denne metode kan benyttes på flere niveauer; uanset om du arbejder med at udvikle jeres test/kvalitetspolitik for virksomheden, om du sidder på et stort program med mange interessenter, eller om du er et lille projekt med 10 deltagere. Du vil altid have interessenter, de vil altid have en holdning til hvorfor vi tester og hvad kvalitet er.

Det væsentligste er at i når frem til en tilstand hvor i måler på det der giver værdi for jer, tal i rent faktisk kan bruge til at styre efter og som kan hjælpe jer til at forbedre både kvalitet og arbejdsmetoder – ikke bare på de ting der er nemmest at måle eller er oppe i tiden.

todo todo
Forfatter
  • Gitte Ottosen
    Gitte Ottosen
    Head of Training & Principal Consultant
    +45 5218 9711