Verslag Test Automation Day 2015

De Test Automation Day 2015 georganiseerd door CKC Seminars vierde dit jaar zijn eerste lustrum. Inmiddels voor de 5e keer gehouden. Donderdag 18 juni 2015 waren we te gast in het WTC-gebouw in Rotterdam.

De dag werd geopend door Marianne Zwagerman. Een innovatie strategist. Met een goede dosis humor en scherpe vragen leidde ons door het programma en kondigde de eerste keynote speaker aan, Prof. Dr. Jozef Hooman.

test automation day 2015 - 1

KEYNOTE– Testing based on Domain Specific Language (DSLs)
Prof. Dr. Jozef Hooman – Senior Research Fellow – TNO-ESI & Radboud University Nijmegen

De heer Hooman nam ons mee in een transitie van waterval testen van zeer complexe zogenaamde interventional x-ray naar het versnellen van het testproces door middel van het gebruik van DSL’s oftewel Domain Specific Languages bij Philips Healthcare.

Het testen van deze x-ray machines is zeer complex doordat er vele mogelijke configuraties zijn. Uitgangspunt bij deze testen is dat de veiligheid van de patiënt voorop staat. Daarnaast hebben ze te maken met FDA-regulering. Hierdoor ligt de focus van het testen op systeem testen. Door het toepassen van model based analyse en model based testen met behulp van DSL’s is het hen uiteindelijk gelukt om twee keer sneller te zijn met twee keer zoveel dekking. Dit lichtte hij toe aan de hand van twee projecten, te weten: 1. Power Control en 2. Pedal handling. In beide projecten werden de DSL’s gebruikt voor het genereren van modellen en testcases. Maar ook lichtte hij toe dat de X-ray apparaten erg duur zijn in gebruik en dus ook voor testen. Daarom maken zij gebruik, door middel van design modellen, van virtual prototyping (de linkerkant van het V-model). Hierdoor valt de afhankelijkheid van hardware weg en zijn de mogelijkheden om verschillende configuraties te testen enorm. Tesamen met het gebruik van gaming technology waren zij zo in staat om een virtuele operatiekamer na te bouwen en te gebruiken voor testdoeleinde. Een indrukwekkend verhaal!

test automation day 2015 - 2

KEYNOTE – Practical Test Automation Lessons Learned
Alan Richardson – Independent Test Consultant

Hij begon zijn presentatie met een introductie in testautomatisering. Het eerste boek daarover komt uit 1957! Toen dacht men al na over eenvoudige oplossingen van automatiseren.
Een bijzonder verhaal van een evenzo bijzondere spreker. Bijzonder omdat het opvallende in deze presentatie was dat je bij testautomatisering niet grote trajecten in moet gaan van toolselecties, RFI’s, RFC’s en demo’s. Alan was zeer duidelijk in zijn boodschap zoals de sheet op de bovenstaande foto ook aangeeft: Do stuff! Hiermee bedoelde hij niet dat je maar wat moet proberen. Je begint met de volgende 3 aspecten:

  • Waarom automatiseren?
  • Ga het doen
  • Leer ervan

Het gaat er om dat je je doelen begrijpt. Dat je in een automatiseringstraject weet waarom je gaat automatiseren. En begin dan eerst met het automatiseren van de eenvoudige zaken om daar van te leren. En start met proof of concepts in plaats van de enorme papierwinkels en demo’s van vendors.

test automation day 2015 - 3

Track: Improve your strategy – How to implement Continous Delivery
Tamas Csako – QA Testmanager at EPAM Systems

Thomas Csako nam ons mee in de reis die EPAM Systems heeft gemaakt in de transitie vanaf waterval – agile- continuous integration naar uiteindelijk continuous delivery. EPAM Systems is een bedrijf met meer dan 700 projecten.

Een van de indrukwekkende sheets was een sheet waarin in duidelijk werd dat het gebruik van tooling niet geschuwd wordt. Onderscheid in tooling voor testautomatisering, mobile automatisering, performance, testmanagement, bouwen en virtualisatie. De reis die EPAM Systems heeft gemaakt heeft geresulteerd in het feit dat UI testen door middel van ATDD worden gedaan en dat unit testen door TDD worden gedaan. Daarna volgt implementatie. Het echte handwerk v.w.b. testen vindt alleen nog plaats bij local deploy. Bij alle andere situaties wordt gebruik gemaakt van geautomatiseerd testen. Deze manier van werken heeft hen de volgende voordelen opgeleverd:

  • Time to market met 50% gestegen
  • Problem detection van weken naar uren
  • Aantal bevindingen in productie ̴ 0

De reis die EPAM Systems heeft gemaakt heeft geresulteerd in de volgende lessons learned:

  1. Leer je ontwikkelaars testen, dit betekent training!
  2. Leer je testers ontwikkelen, dit betekent training!
  3. Ownership van het eindproduct door het hele team
  4. Stabiliteit van het systeem is uitermate belangrijk. Instabiliteit is killing voor Continous Delivery

Eindresultaat is dan minder druk/pressure en verhoging van de kwaliteit!

test automation day 2015 - 4

Track: Improve your strategy – Automated Reliability Testing …… because patients rely on our systems
Paul Derckx – Manager Integration & Verification at Philips Healthcare MR R&D department

Net als in de presentatie van de heer Oomen stond in de presentatie van Paul Derckx de patiënt centraal. In deze presentatie ging het om MR-scans. MR staat voor Magnetic Resonance. Apparaten waarbij er een zeer gedetailleerde doorsnee gemaakt kan worden van de mens. Twee aspecten staan centraal:

  1. Reliability: vanuit klantperspectief
  2. Safety: vanuit FDA-perspectief

Uitgangspunt voor alle testcases zijn de zogenaamde operational profiles. Profielen die zijn opgesteld aan de hand van het gebruik van de MR-scan in de praktijk. In het testen van deze MR-scans zijn feitelijk de volgende 4 uitgangspunten belangrijk en van toepassing:

  1. Het gebruik van zogenaamde “operational profiles”
  2. Testuitvoering op productie equivalente systemen
  3. 24/7 testen met behulp van geautomatiseerde scripts
  4. Informatie verzamelen vanuit de productielogfiles voor optimalisatie

Reliability heeft consequenties voor de prioritering van je defects. Hier wordt onderscheid gemaakt in bevindingen van patiënt perspectief, de zogenaamde exam failures, en bevindingen tijdens het onderzoek van de klinische resultaten.

Voor het geautomatiseerde testgedeelte maakt Philips MR gebruik van CodedUI van MS Visual Studio. En in tegenstelling tot het verhaal van Alan Richardson heeft Philips juist wel een enorm traject achter de rug voor het selecteren van de juiste tool. Dit werd vooral ook gedreven door het feit dat de Healthcare divisie te maken heeft met FDA-regulering(FDA 21 CFR 820.30). Philips dient o.a. aan te tonen dat zij degelijk onderzoek hebben gedaan naar de juiste tooling en dat daarbij het juiste proces goed is gevolgd.

test automation day 2015 - 5

KEYNOTE – What if we automated everything?
Mark Tomlinson – Thought leader software testing automation

Mark startte zijn verhaal met een reeks van zaken die in het dagelijkse leven geautomatiseerd zijn zonder dat we er bij stil staan. Voorbeelden zoals de roltrap, koffiezetapparaat, navigatie en vlucht naar de maan. In de IT wordt ook al heel lang geautomatiseerd. Echter die automatisering is hoofdzakelijk gericht op code:

  • Opslaan, delen en compilen van code
  • Uitvoeren van code
  • Systeemmonitoring
  • Productdeployments en releases

Maar vreemd genoeg zien we bij het automatiseren van testen in eens allerlei problemen en moeilijkheden. Om deze te lijf te gaan deelde Mark de volgende tips voor testautomatisering:

  1. Focus op het automatiseren van regressie zodat er meer tijd ontstaat voor handmatig testen i.p.v innovatie
  2. Bestaande automatisering meer robuust maken en makkelijker aanpasbaar bij veranderingen
  3. Commentaar toevoegen in de logging van automatiseringsscripts zodat de uitleg bij de resultaten van deze scripts verbeterd wordt
  4. Organiseren van feedback/input/brainstorm sessies

test automation day 2015 - 6

Track – Improve your strategy – Continuous Cycles in Test
Ard Kramer – Testmanager at Delta Lloyd
Derk-Jan de Grood – Testmanager at Valori

Aan de hand van een model, ontwikkelt door Derk-Jan, werden we meegenomen in deel 4 van een verhaal (deel 1 werd gepresenteerd op TAD2012, deel 2 op TAD2013 en deel 3 op TAD2014) van automatiseren bij Delta Lloyd Leven. Het model bestaat uit 10 verschillende aspecten van testautomatisering. Stap 1 t/m 7 waren de zogenaamde early insights. De stappen 8 t/m 10 de lessons learned tijdens implementatie.

Samengevat kwam dat neer op het volgende:
Begin eerst met een zogenaamde Technische Intake. Dat betekent dat je in 1 dag moet aantonen dat het werkt. Vervolgens wordt er een business case opgesteld. Na goedkeuring van de business case start dan de proof of concept fase. Indien in deze PoC fase de aspecten economische, technische en operationele haalbaarheid aangetoond kunnen worden dan volgt de operationele fase.
Ard kwam met een opvallende maar toch ook zeer belangrijke vraag voor een team:

“Geef NU de 10% belangrijkste testcases!” Een vraag om eens goed over na te denken in je eigen project.

Naast de reis die zij samen hebben gemaakt aan de hand van het model hadden ze ook nog te maken met een organisatorische wijziging: business lines en competence lines werden geïntroduceerd. Een uitdaging die er voor zorgde dat het testproces en ook de testautomatisering opnieuw tegen het licht gehouden werd. De conclusie was als volgt:

  1. Medewerkers bepalen voor een groot deel de slagingskans
  2. Continue balans tussen centralisatie en decentralisatie
  3. Techniek kan een drijfveer zijn voor verandering
  4. Mate van volwassenheid kan remmend zijn in dit proces
  5. Houd er rekening mee dat de context voortdurend verandert. Samenwerking is noodzakelijk!

test automation day 2015 - 7

KEYNOTE – The Art of Testing Less without sacrificing code quality
Kim Herzig – Software engineer at Microsoft

Een interessante headline! En een evenzo interessant verhaal. Bij Microsoft zijn ze de uitdaging aangegaan om minder te testen zonder dat daarbij de kwaliteit van de code in gevaar komt. En dit is zelfs wiskundig onderbouwd. Een formule waarbij de uitkomst duidelijk aangeeft hoe de kosten zich verhouden op het moment dat een bevinding in een volgende fase pas worden gevonden. Om dit goed te ondervangen wordt er vanuit testperspectief veel meer gekeken naar het gebruik van de software. Dit wordt gedaan aan de hand van verificatiescenario’s en klantscenario’s. Een zogenaamde reality check. Vragen zoals:

  • Testen we nieuwe code?
  • Worden de features gebruikt zoals bedoeld?
  • Hoe verandert het gebruik over tijd?

Met deze keynote van Kim Herzig werd de Test Automation Day 2015 formeel afgerond. Een zeer interessante conferentie die beslist niet alleen bedoeld is voor testers met een technische achtergrond. Het was een dag vol waardevolle informatie voor iedereen in de testwereld. Goede sprekers, goede locatie en goed georganiseerd door CKC Seminars. Kortom, gewoon goed.

=======================

Dit verslag werd ingestuurd door Wim Klavers – Testmanager bij PGGM