Voorwoord TMap, 2e druk


TMap heeft zich vanaf de verschijningsdatum van de eerste druk mogen verheugen in een overweldigende belangstelling. Vele organisaties hebben de standaard omarmd en hun testorganisatie zoveel mogelijk volgens TMap ingericht. De generieke opzet van het model bleek voldoende ruimte te bieden het TMap frame te tunen naar de specifieke toepassingen en organisaties. Deze opzet bleek ook bestand tegen de frequente innovaties in de informatietechnologie. De standaard biedt de mogelijkheid relatief eenvoudig uitbreidingen voor voortschrijdende ontwikkelingen als OO, ERP, testautomatisering, Internet, enzovoort te realiseren. Het in 1996 speciaal voor het management gepubliceerde boekje “Gestructureerd testen: een introductie tot TMap” heeft haar bewustwordingsuitwerking gehad en de in 1998 verschenen Engelse versie heeft het internationale gebruik een enorme push gegeven. Reeds vele jaren worden met veel succes TMap cursussen met hoge frequentie in de Benelux en andere delen van de wereld georganiseerd en druk bezocht. Hierdoor en door het veelvuldige gebruik groeit het aantal TMap experts gestaag en is er een stroom informatie beschikbaar gekomen die in de testwereld haar weerga niet kent. Dat schept voor de auteurs de verplichting de ervaringen en nieuwste ontwikkelingen te bundelen en aan de gebruikers beschikbaar te stellen. Dat gebeurt via publicaties in de pers en op Internet, door spreekbeurten en papers op (inter)nationale testconferenties, door het publiceren van TMap gerelateerde boeken over o.a. Test Process Improvement en Testautomatisering, en nu dus door de uitgave van deze herziene druk van de standaard. De auteurs wensen u veel plezier bij de toepassing en zijn gaarne bereid uw ervaringen en kritiek te delen. Laten we doorgaan het testen verder te professionaliseren en daarmee de IT-industrie helpen nog betere producten aan de maatschappij beschikbaar te stellen.

Martin Pol
Ruud Teunissen
Erik van Veenendaal

November 1999


Ten geleide


TMap

Dit boek beschrijft TMap, de Test Management approach van IQUIP, de aanpak voor het gestructureerd (white-box en black-box) testen van informatiesystemen. Het geeft antwoord op de wat/wanneer, hoe, waarmee en wie vragen van het testen. Om de inrichting en uitvoering van testprocessen gestructureerd te laten verlopen, is TMap gebaseerd op vier, aan deze vragen gerelateerde, pijlers. De “wat/wanneer”-vragen worden beantwoord door het faseringsmodel, een aan de ontwikkelingscyclus gerelateerde beschrijving van de testcyclus. Het “hoe” is verwoord in de beschrijving van de technieken voor het plannen, voorbereiden en uitvoeren van de diverse tests. Op het “waarmee” wordt ingegaan bij de beschrijving van de infrastructuur. De beschrijving van de organisatie-aspecten geeft antwoord op de “wie”-vraag.

In april 1995 is de eerste druk van dit boek uitgebracht. Het blijkt een bestseller. TMap heeft zich in de afgelopen jaren ontwikkeld tot dé standaard voor het testen van informatiesystemen. Het wordt momenteel op enigerlei wijze toegepast in letterlijk honderden bedrijven en instellingen, waaronder de meeste Nederlandse en Belgische banken, verzekeringsmaatschappijen, pensioenfondsen en overheidsinstellingen. Daarnaast neemt het gebruik hand over hand toe in andere marktsegmenten, zoals in de embedded software industrie en de logistieke wereld. Leveranciers van testtools adverteren met “toepasbaar in combinatie met de TMap-technieken”, testprofessionals zorgen ervoor dat TMap-ervaring op hun CV prijkt, en onafhankelijke opleidingsinstituten organiseren TMap-opleidingen. Naast de grote groep testers bestaat er een groep belangstellenden die relatief snel inzicht in het fenomeen testen wil krijgen. Voor deze groep is in 1996 een samenvattend, introducerend werk over TMap verschenen [Pol, Teunissen, Van Veenendaal, 1996].

Ook internationaal gezien mag TMap zich verheugen in een toenemende belangstelling. Om die reden is een introducerend boek in 1998 in het Engels uitgebracht: [Pol, Van Veenendaal, 1998] en komt TMap in de eerste helft van 2000 in het Duits op de markt.

In de afgelopen jaren zijn er diverse verzoeken om aanpassingen en uitbreidingen op het boek gekomen. Daarnaast staan de ontwikkelingen op testgebied niet stil: TestNet, de Nederlandse vereniging van testers, is in 1997 opgericht en beschikt inmiddels over honderden leden; op de vele, druk bezochte nationale en internationale conferenties worden de nieuwste testinzichten verkondigd; de markt voor testtools is volop in beweging; er verschijnen diverse boeken en artikelen over testen en, heel belangrijk, het belang van testen wordt door steeds meer mensen ingezien. Kortom, het testvak komt tot bloei. Deze voor u liggende druk van TMap is geheel herzien in reactie op de vele verzoeken én op de geschetste ontwikkelingen in de informatietechnologie en in het bijzonder het testen. Verderop in dit ‘Ten geleide’ wordt aangegeven wat de veranderingen zijn ten opzichte van de vorige druk.

Indeling van het boek

TMap is een generieke aanpak voor het gestructureerd testen. De theorie is universeel beschreven omdat dé testaanpak nu eenmaal niet bestaat. Testen komt voor in diverse variaties, die elk hun eigen toepassing van de standaard vragen. In het boek wordt daarom ruim aandacht besteed aan de wijze waarop de juiste componenten van TMap, voor welk testproces dan ook, geselecteerd kunnen worden.

Het boek is opgebouwd uit vijf delen. Deel I beschrijft het fenomeen testen en TMap in het algemeen, terwijl de delen II, III, IV en V de respectievelijke pijlers van TMap beschrijven: fasering, technieken, organisatie en infrastructuur. In deel VI zijn enkele belangrijke toepassingsgebieden belicht.


Per deel is de indeling als volgt:

Deel I beschrijft het belang en de context van het testen in de informatievoorziening en binnen de kwaliteitszorg in het bijzonder. Het waarom van het testen en de mogelijkheden van een gestructureerde toepassing komen uitvoerig aan de orde. Ter oriëntatie is een hoofdstuk opgenomen waarin de testaanpak in een notendop is beschreven.


Deel II bevat het faseringmodel voor de testprocessen. De testactiviteiten worden systematisch beschreven voor het mastertestplan, de white-box en de black-box tests. Deze fasering vormt de rode draad van TMap. Vanuit de fasering wordt de relatie gelegd tussen de componenten van de overige pijlers: technieken, organisatie en infrastructuur.


In deel III worden de voor het testen beschikbare technieken in detail beschreven. Naast de primaire testspecificatietechnieken voorziet het TMap-instrumentarium onder andere in technieken voor het bepalen van de teststrategie en de testbegroting. Dit deel bevat tevens een uitgebreide verzameling checklists.


In deel IV komt de organisatie van het testen aan de orde. Hierin worden de testfuncties met de vereiste kennis en vaardigheden, de organisatiestructuur en het aspect testbeheer beschreven. Aan de selectie en opleiding van testpersoneel is eveneens aandacht besteed. Vanwege het grote belang van én de grote behoefte aan “harde cijfers” over het testproces, komt het implementeren van metrics aan de orde. Tevens wordt ingegaan op de implementatie van het gestructureerd testen binnen een organisatie en op het TPI-model, een hulpmiddel bij het verbeteren van testprocessen.


Deel V gaat in op de voor het testen benodigde infrastructuur. Richtlijnen zijn opgenomen voor de testomgeving, de testtools en de kantoorinrichting.


In deel VI is een aantal specifiekere toepassingen van TMap, de “variaties op het thema”, beschreven, zoals het testen van pakketten, het testen in onderhoudssituaties en het testen in object georiënteerde omgevingen. Omdat deze onderwerpen vaker aan verandering onderhevig zijn dan de rest van het boek, worden de onderwerpen medio 2000 opnieuw herzien en als apart boek uitgebracht.


Als bijlagen zijn respectievelijk een uitgewerkt voorbeeld van een testplan, tabellen met de relaties tussen de TMap-kwaliteitsattributen en andere kwaliteitskarakteristieken (ISO-9126 en Kwaliteit op Maat), een woordenlijst, een referentielijst en een voorkeursliteratuurlijst opgenomen.

Doelgroep

De primaire doelgroep van dit boek wordt gevormd door degenen die direct bij het testproces zijn betrokken. Een testteam kan het boek hanteren als leidraad voor de uitvoering van de testactiviteiten. Voor hen die wat verder van het primaire testproces af opereren, zoals opdrachtgevers, eindgebruikers en EDP-auditors, biedt het boek een goed inzicht in het fenomeen testen. Hiertoe zijn in deel I enkele hoofdstukken opgenomen waarin de achtergronden en de inrichting van het testen aan de orde komen.

“Testen volgens TMap” is geen leesboek dat van voor naar achter gelezen dient te worden. Afhankelijk van de betrokkenheid bij het testen zullen delen grondig, vluchtig of zelfs niet worden gelezen. Aan alle lezers wordt aangeraden in ieder geval (eerst) hoofdstuk 5 te lezen of, nog beter, deel I in zijn geheel. Vervolgens zal de interesse en het nut per doelgroep verschillen.

    • Testmanagers, testcoördinatoren en dergelijken wordt aangeraden het gehele boek te bestuderen; in het bijzonder de delen II, IV en van deel III de hoofdstukken 10, 11 en 12. Afhankelijk van de toekenning van de ondersteunende testtaken is deel V zinvol;

    • Voor hen die met de uitvoering van de primaire testactiviteiten belast zijn (testers, ontwikkelaars, gebruikers en beheerders) is het grondig bestuderen van deel II en (gedeelten van) deel III en V van groot belang;

    • EDP-auditors en kwaliteitszorgmedewerkers moeten zich afhankelijk van hun rol in detail op de hoogte stellen van de theorie van deel II en III;

    • Opdrachtgevers voor ontwikkelings- en testprocessen en het betrokken lijnmanagement zullen na het lezen van deel I wellicht kunnen volstaan met een selectie naar persoonlijke interesse, bijvoorbeeld in de organisatorische aspecten (deel IV) of het mastertestplan (hoofdstuk 7);

    • Voor studenten (informatica/bedrijfseconomie) en docenten is bestudering van het totale theoretische kader van belang;

    • Voor medewerkers Personeel & Organisatie biedt deel IV, en in het bijzonder de hoofdstukken 19 en 20, goede referenties.

Wat is er gewijzigd?

De lezer die al bekend is met de vorige druk van TMap, is met name geïnteresseerd in wat er veranderd is in deze druk. Allereerst is het dan ook goed om aan te geven wat niet veranderd is: TMap zelf. De vier pijlers, de verschillende fasen en de activiteiten binnen die fasen zijn onveranderd gebleven. Hoewel vele uitbreidingen en aanpassingen zijn gedaan, is de basis dezelfde gebleven. Onderstaand is een overzicht opgenomen van de belangrijkste wijzigingen, in volgorde van hoofdstuk.

    • Regressietesten (H3, H11)
    Meer aandacht wordt besteed aan wat de regressietest is, hoe deze opgebouwd wordt en het gebruik van de regressietest bij het testen in onderhoudssituaties;

    • Toetsen en het mastertestplan (H7, H11, H14)
    Toetsen is betrokken bij het mastertestplan als een mogelijk onderdeel hiervan. Dit is verwerkt in de fasering (H7) en de strategiebepaling (H11). Tevens is in dit verband de beschrijving van de belangrijkste toetstechniek “Inspecties” aangepast (H14);

    • White-box testen (H9, H19)
    Het hoofdstuk “White-box testen” is vrijwel geheel herschreven. Het gaat in op het belang van beter white-box testen en geeft een praktische aanpak om dit te implementeren. De uit te voeren activiteiten zijn inhoudelijk aangepast, waarbij de beschrijving zich concentreert op de verschillen met de fasering van het black-box testen (H9). Tevens is de functie van Applicatie integrator beschreven (H19);

    • Teststrategie, van risico’s naar testspecificatietechnieken (H11)
    Het begrip “risico” wordt in relatie gebracht met de strategiebepaling. Dit geeft een beter begrip van de stappen van de strategiebepaling. Ook wordt meer aandacht besteed aan het kiezen van testspecificatietechnieken in relatie tot de bepaalde teststrategie;

    • Strategiebepaling voor testen in onderhoudssituaties (H11)
    Een aparte paragraaf is toegevoegd waarin de stappen van een strategiebepaling in onderhoudssituaties worden beschreven;

    • Begroten/TPA (H12)
    De techniek Testpuntanalyse (TPA) is aangepast en uitgebreid met de factor “gebruiksintensiteit”. Daarnaast worden alternatieve begrotingsmethoden behandeld;

    • Inleiding op testspecificatietechnieken (H15)
    Dit hoofdstuk heeft nu een inleiding met de volgende onderwerpen: het waarom van testspecificatietechnieken, een generieke beschrijving van de stappen om een test te specificeren en een overzicht van de kenmerken per TMap-testspecificatietechniek, dit laatste zodat sneller de juiste techniek te selecteren is. Er wordt uitgebreid aandacht besteed aan de internationale standaards ten aanzien van testprincipes en hun relatie met de testspecificatietechnieken van TMap;

    • Elementaire vergelijkingentest (H15)
    Bij deze techniek is de werkwijze voor het afleiden van de testgevallen vergemakkelijkt, zonder dat dit gevolgen heeft voor de testdekking;

    • Real-life test (H15)
    De stappen van deze techniek zijn uitgebreid en meer gedetailleerd;

    • Beschrijving van mogelijke testcarrièrepaden (H20)
    Om het testen als vak te profileren, moet testers een carrièrepad geboden worden. Een hulpmiddel, de carrièrekubus, wordt beschreven om in een organisatie dergelijke paden in te richten;

    • Een aparte organisatievorm: de TSite (H21)
    Een beschrijving is opgenomen van een TSite, een organisatievorm waarin het testen niet projectmatig maar in de lijn plaatsvindt (oneerbiedig: een “testfabriek”);

    • Bevindingenadministratie (H22)
    De inhoud van het probleemrapport is uitgebreid en in lijn gebracht met de rest van het bevindingenbeheer: toegevoegd zijn o.a. statusinformatie en verwijzingen naar de testbasis en het testobject;

    • Metrics (H23)
    De Goal-Question-Metric (GQM) methode stelt de testmanager in staat om, uitgaande van de doelen, op structurele wijze de juiste metrics te verzamelen voor beoordeling van de kwaliteit van het testobject en het testproces;

    • Structurering met behulp van het TPI-model (H24 en H25)
    Het hoofdstuk is grotendeels herschreven in de vorm van een fasering om het testproces te structureren. Binnen dit structureringsproces kan het Test Process Improvement (TPI) model veel ondersteuning bieden;

    • Testautomatisering (H27, H19))
    Enkele beschrijvingen van toolsoorten zijn toegevoegd of herzien. Daarnaast is een algemene beschrijving van de TAKT©-methodiek voor het automatiseren van de testuitvoering opgenomen (H27). Ook zijn de hierbij horende functies beschreven (H19);

    • Variaties op het thema (H29)
    De onderwerpen van dit hoofdstuk zijn vaker aan verandering onderhevig dan de rest van het boek. Om die reden is besloten het hoofdstuk geheel te herzien en als apart boek te gaan uitbrengen. De planning is medio 2000. Nieuwe versies zullen vervolgens in een hogere frequentie verschijnen dan “Testen volgens TMap”. Tot dat moment blijft het hoofdstuk onderdeel van dit boek. Gewijzigd ten opzichte van de vorige druk zijn:

    – Client/Server;

    – Object Oriented development;

    – RAD, Evolutionaire systeemontwikkeling;

    – Pakketten.

    • Relatie tussen de TMap-standaard en andere standaarden voor kwaliteitseigenschappen (Bijlage B).
    Om organisaties te helpen die ISO 9126 of Kwaliteit op Maat als standaard gebruiken, zijn er relatietabellen opgenomen die de kwaliteitseigenschappen van die standaard vertalen naar de TMap-kwaliteitsattributen.

Dankwoord bij de eerste druk

Een ‘Ten geleide’ vormt een goede plaats om al degenen die op een of andere manier een bijdrage hebben geleverd aan de totstandkoming van dit boek te bedanken. Gezien de vele bijdragen is het ondoenlijk om iedereen met naam en toenaam te noemen. Toch willen wij de belangrijkste supporters op deze plaats vermelden en danken voor hun medewerking.

In de eerste plaats zijn de schrijvers Rudi van Vliet bijzonder veel dank verschuldigd. Vanaf de geboorte van TMap is zijn inbreng van grote betekenis geweest. Hij heeft ook het initiatief voor dit boek genomen en geadviseerd over de inhoud. Doordat hij zijn prioriteiten anders heeft gelegd, kon hij helaas niet als auteur fungeren. Behalve Rudi verdienen ook Greet Zwaan en Marc Krabbenborg veel dank. Zij hebben een belangrijke bijdrage geleverd aan de uitwerking en verdieping van diverse TMap-componenten. Peter Bloks willen wij bedanken voor zijn inbreng over het testen in client/server omgevingen. Tijdens het ontstaan van het manuscript konden de schrijvers telkens, meestal in het weekend, rekenen op een enthousiast reviewteam. Zonder dat team, bestaande uit Astrid Eppink, Rob Kuijt en Wim van Uden, was de thans bereikte kwaliteit van het boek niet gerealiseerd en zou menige deadline nog verder zijn overschreden. Onze vriendelijke dank daarvoor.

Diemen, april 1995

Martin Pol
Ruud Teunissen
Erik van Veenendaal


Dankwoord bij de tweede druk

De auteurs hebben bij het uitbrengen van de tweede druk kunnen rekenen op ondersteuning van vele enthousiaste TMap-fans. Voor de gedeeltelijke aanpassing en de ontwikkeling van een groot aantal uitbreidingen is die hulp onontbeerlijk gebleken. Er is daarom gezocht naar een samenstelling van expertise die een goede “coverage” van het toepassingsgebied representeert. Dat is gelukt, zowel de benodigde theoretische als praktische know-how is in voldoende mate beschikbaar gekomen. In de periode waarin het testen zich steeds meer tot een volwassen vak ontwikkelde en vele organisaties, tegen de achtergrond van de millennium-uitdaging, stap voor stap het gestructureerd testen implementeren, bleek het geen sinecure de inzet van die expertise te realiseren. Door het enthousiasme en de wil hun steentje bij te dragen, hebben velen zich bovenmatig ingezet de nieuwe druk nog in de twintigste eeuw te helpen uitbrengen. Velen hebben naast hun normale werkzaamheden, vaak in de avonduren en tijdens weekends, bouwstenen ontwikkeld of het manuscript gereviewd. Zonder die inzet zouden de thans bereikte kwaliteit en deadline niet gehaald zijn. Dank, heel veel dank, is dan ook op zijn plaats. Speciale dank gaat uit naar vele IQUIP-collega’s die zich hebben ingezet. Corné de Koning, Rob Baarda en Klaas Brongers die, naast hun inhoudelijke bijdrage, met niet aflatende ijver de activiteiten hebben gecoördineerd. Zonder anderen tekort te doen, moet centraal in dit dankwoord Tim Koomen genoemd worden. Zijn enorme kennis van het testvak in combinatie met een tomeloze inzet en de vaardigheid om zijn ideeën op papier te zetten, zijn cruciaal geweest voor de totstandkoming van deze druk van TMap. Daarnaast is veel dank verschuldigd aan de R&D’ers Leo van der Aalst, Bart Broekman, Rob Kuijt, Ingrid Ottevanger, Rob van Pel en Marjolein Steyerberg. De onmisbare praktische ervaring en de wensen van de dagelijkse gebruikers van TMap zijn ingebracht door vele medewerkers van IQUIP en het Belgische zusterbedrijf Gitek nv, vertegenwoordigd door o.a. Anja Bakker, Mark Buenen, Theo Feenstra, Ed van der Geest, Christiaan Hoos, André van Pelt en Adriaan Struckman van Software Control Testen en Inge Verniers en Steven van Hoof van Gitek nv. IQUIP’s FPA-expert Ton Dekkers verdient dank voor zijn inbreng bij de upgrading van de Testpuntanalyse (TPA) techniek. TMap mag zich ook gelukkig prijzen met de waardevolle ondersteuning en deskundige inbreng van collega testservicebedrijf Qualityhouse: vriendelijk dank aan Rob van der Pouw Kraan en Clemens Meijer. Stefan Steurs van Eurocontrol-CFMU te België: dank je voor je review-activiteiten op het strand van Blankenberge. En, last but not least, Rob Dekker, directeur van IQUIP Software Control Testen, wiens steun van onmisbare waarde bleek. Tenslotte, dank aan die vele, vele anderen die hier niet met name genoemd zijn. Het resultaat is van u allen!

De auteurs


Algemeen - Inhoudsopgave - Aanbevelingen - Voorwoord - Woordenlijst