Column: Meten is weten

Meten is weten? Weet wat je meet en wanneer dit niet nodig is. Als bedrijf organiseren wij een paar keer per jaar een evenement waarbij productmanagement ideeën en ervaringen worden uitgewisseld met onze klanten. Op 13 december j.l. hielden we weer een “Meeting of Minds” en dit keer was het onderwerp Metrics.

Het mooie van dit onderwerp is dat twee belangrijke componenten heeft. Een technische en een organisatorische. Bespreken we de technische component hebben we te maken met meten, aggregeren van gegevens, foutanalyse en betrouwbaarheid, opslag en presentatie. Cruciaal want als we metrieken gebruiken om belangrijke beslissingen te nemen, dan moeten we wel weten wat we meten en hoe betrouwbaar de gegevens zijn.

We kunnen echter niet zonder de organisatorische component. Welk doel streven we na, en welke vragen moet we beantwoorden om te toetsen of we op koers liggen. Deze vragen bepalen waarom we metrieken verzamelen en hoe we deze uiteindelijk presenteren. De oplettende lezer herkent hier misschien de GQM in, en deze methode is inderdaad zeer goed bruikbaar om te zorgen dat we weten waarom we meten.

Tijdens de Meeting of Minds hebben we met elkaar een aantal onderwerpen besproken.

Het gaat om het verhaal, niet om de grafiek
Bij nieuwe projecten is er weinig ervaring. De metrieken die hier zou willen presenteren zijn anders dan bij bijvoorbeeld een maandelijkse release. Bij de laatste is de trend belangrijk en kun je sturen op cijfers. Echter, dit is omdat men vanuit ervaring weet welk verhaal er achter de cijfers zit. Bij een innovatief project is de informatie behoefte meer context gedreven. Metrieken moeten daar antwoord geven op vragen als “Gaat het goed?”en “Weten waar we mee bezig zijn?” Het gaat hier dus primair om het verhaal en de metrieken dienen als ondersteuning.

Metrieken helpen je te leren en te verbeteren
Metrieken worden in elk project wel gebruikt. Na elk project gaat echter veel informatie verloren. Mensen vinden het schijnbaar leuker om het wiel op nieuw uit te vinden, dan zich te verdiepen in evaluaties. Dus bench-marken over projecten heen, en het uitvoeren van trend analyses is iets theoretisch mooi klinkt, maar vaak in het gedrang komt. Pijn is een goede motivator om mensen in beweging te krijgen. Als er niemand er last van heeft wordt er ook niet gemeten.

Psychogologie van metrieken
Vaak worden metrieken gebruikt om ons persoonlijk in te dekken. Daar zijn we als professionals best goed in. Maar, we kunnen ze ook gebruiken om transparantie te creëren en te laten waar je mee bezig bent, hoe het gaat. Mensen hebben soms een sterk gevoel bij metrieken, en niemand wil graag geassocieerd worden met een slechte score. Ondanks dat er vaak een verhaal bij deze score hoort, onthouden mensen vaak wel de score maar niet het verhaal. Wil je metrieken gebruiken als verbetering, kan het effectief zijn om ze te indexeren. Bij de nul-meting zet je de score op 100, en vandaar monitor je ontwikkeling. Dit is minder gevoelig.

KPI’s als sturingsmiddel
In sommige organisatie heerst het geloof dat je complexe processen kunt beheersen aan de hand van een paar KPI’s. Het gaat echt om het verhaal, en sturen op KPI’s gaat hieraan voorbij. We bespreken het effect dat KPI’s hebben. Er wordt een verhaal verteld van een sales manager die afgerekend werd op de korting die hij kon bedingen. De leveranciers speelde hier op in, door de initiële prijs te verhogen. Resultaat: de salesmanager kreeg gemakkelijk een hoge korting en scoorde hoog op zijn KPI. De organisatie was niet goedkoper uit. Zeer herkenbaar. Een aanwezige vertelt het verhaal dat er op testkosten werd bespaard door goedkope testers in te huren. Na verloop van tijd begonnen mensen te klagen dat de testers onvoldoende kennis en ervaring hadden. Kortom als het doel niet duidelijk is, en als het verhaal achter de cijfers niet verteld wordt, kunnen vele ongewenste effecten ontstaan.

Over de sloot springen
De algemene conclusie is dat het belangrijk is om betrouwbare gegevens te hebben. De technische kant is dus belangrijk. Maar als organisatie moet je metrieken inzetten ter ondersteuning van je doel. Vanuit de informatie behoefte die hieruit ontstaat richt je je metrieken in. Deze hoeven niet altijd heel nauwkeurig te zijn, vaak is een gemakkelijkere en goedkopere metriek ook effectief om je verhaal te vertellen.
Betrouwbare metrieken primair belangrijk als je in de kritische zone zit. Stel je kunt ongeveer twee meter ver springen. Als je over een sloot moet springen van bijvoorbeeld 60 cm, of 4 meter hoef je niet precies te weten hoe breed de sloot is. Als je springt ben je zeker van succes, dan wel een nat pak. Alleen als de sloot ongeveer 2 meter is, loont het om je meetlint te pakken en je kansen nauwkeurig te berekenen.

————————
Derk-Jan de Grood werkt als testexpert bij Valori. Hij adviseert organisaties bij het inrichten en verbeteren van hun testactiviteiten. Als productmanager werkt hij aan innovaties in het Valori dienstaanbod. Daarnaast spreekt en publiceert hij met groot enthousiasme over ontwikkelingen in het testvak.