!f .r KARTOGRAFISCH TIJDSCHRIFT bezig zijn. Door hun gedachten, gevoe- lens en meningen onder woorden te brengen terwijl ze bezig zijn, kan een breed scala aan cognitieve activiteiten bloot worden gelegd. In deze sessie ondernemen de respon- denten exploratieve taken voor een maximale periode van 10 minuten. Da tasets en typen animaties die een respon- dent krijgt zijn willekeurig bepaald voor aanvang van de oefensessie. De respondenten zijn verdeeld in twee hoofdgroepen: groep A (22 personen) heeft elk type animatie met dezelfde da- taset gebruikt (de rijen in figuur 2). Zo kan een respondent elk type animatie gebruiken om bijvoorbeeld de Overijs- selse dataset te exploreren, te beginnen met een passieve animatie, dan met een interactieve en ten slotte met een op in- terferentie-gebaseerde animatie. Andere respondenten in deze groep gebruiken ofwel de animaties van de AiDS-sterftecij- fers in de V.S. of van de stedelijke groei van Enschede. Respondenten wilden het gedrag van de animatie vergelijken met de gegevens een typische heuristische vergelijking en een aspect dat later cru- ciaal zal blijken bij het analyseren van de testgegevens. Deze groep respondenten zal na de eerste sessie de reeds geleerde vaardigheden en informatie over de data gebruiken in de volgende sessie. Respondenten in groep B (13 personen) gebruikten elk type animatie voor het exploreren van verschillende datasets. In een van de taken gebruikten responden ten voor het uitvoeren van een explora tieve taak bijvoorbeeld een passieve ani matie met de Overijsselse demografische dataset, daarna werd een interactieve animatie gebruikt van de AiDS-sterftecij- Figuur 2. Datasets en typen animaties die zijn gebruikt in de tests. IncnsstA Ultriattivitv MwactM? M«encebm»d OVHffSMrt demography (1811-2001) US Aids rnort attv <1981 19»?) Fnschetfe iHban giovrtti Ii E Same data level 2003-XXIX-l fers in de V.S. en ten slotte een op interferentie-gebaseerde animatie van de groei van Enschede. Andere respondenten in deze groep gebruikten een passieve animatie voor de Overijs selse demografische dataset, dan een interactieve animatie van de groei van Enschede en ten slotte een op interferentie-geba seerde animatie van de AlDS-sterftecijfers. Omdat de respon denten verschillende datasets gebruikten, concentreerden ze zieh over het algemeen meer op de taak dan op het maken van vergelijkingen tussen animaties. Resultaten van deze groep zijn cruciaal om een typische exploratieve omgeving vast te stellen. De restrospectieve test Omdat de sessies met de hardop-denk methode vastgelegd wa ren op videoband kon er meer informatie worden verzameld door de banden samen met de respondenten te bekijken. Aan de respondenten werd gevraagd om te reageren op speeifieke vragen over hun gedrag tijdens de test. Niet alle respondenten deden mee aan dit onderdeel, er werd een selectie gemaakt van respondenten die Schaars waren in het geven van informatie, die het spoor bijster raakten, of waarvan het commentaar on- duidelijk of niet goed hoorbaar was. Testresultaten Bij elke evaluatie is het noodzakelijk om ervoor te zorgen dat de behaalde resultaten betrouwbaar en geldig zijn. Elke afwij- king moet verwijderd worden en verkeerde interpretaties moe- ten worden geminimaliseerd. Met betrouwbaarheid wordt de integriteit van de evaluatieprocedure bedoeld en de resultaten moeten zodanig zijn dat als het experiment herhaald zou wor den, er vergelijkbare resultaten behaald zouden worden [Niel sen, 1993]. Om geldig te zijn moeten de resultaten de doelstel- lingen van de evaluatie weerspiegelen. Het belangrijkste doel is de algemene exploratieve geschiktheid van de gedefinieerde animatie-omgevingen, zoals gebruikt in de drie typen anima ties, te testen. De cognitieve strueturen en processen van de gebruikers moeten voor een groot deel het exploratieve ont- werpmodel [Ogao, 2001] bevestigen. De variatie in het ge- bruikte type animatie wordt geacht in de test tot uiting te ko- In de volgende alinea's wordt een overzicht gepresenteerd van het proces dat werd gebruikt om vitale informatie te halen uit de video-opnamen van de testsessies. Ook de ervaringen van de respondenten met de interface van verschillende animatie- typen worden beschreven, evenals de resultaten met betrek- king tot het exploratieve ontwerp model [Ogao, 2001] en het exploratieve gedrag van de respondenten. Het verkrijgen van informatie uit de sessies Elke respondent werd gevraagd de best mogelijke conclusie te geven over het in de animatie weergegeven fenomeen. Als in- dicatoren voor de conclusie werd gekeken naar het gebruik van woorden zoals: 'daarom, dus, daaruit volgt, mijn conclusie is dat... Op basis van de conclusie was het gemakkelijker om de argumenten te analyseren door te letten op premissen die de conclusie direct ondersteunden. De premissen bestonden uit ondersteunende argumenten, bewijs, veronderstellingen en verklaringen. Ze konden worden afgeleid uit woorden zoals: 'omdat, veronderstel dat, gegeven dat, aannemende dat'. In essen de leidt het voorgaande tot het opsporen van de drie typen ge- volgtrekkingen deduetie, induetie en abduetie van de respon denten gedurende het hardop-denkproces. Wat betreff de gebruikte visuele methode tijdens exploratie houdt observatie in het herleiden van de visuele beschrijvingen 27

Digitale Tijdschriftenarchief Stichting De Hollandse Cirkel en Geo Informatie Nederland

Kartografisch Tijdschrift | 2003 | | pagina 33