Uitvoeren van de tests
Nadat de specificaties voor automatische
generalisatie waren vastgesteld, zijn de
tests uitgevoerd. Voor elk systeem is de
commerciële versie beschikbaar in juni 2007
door drie to vier verschillende testers getest
op alle vier testcases, waarbij de tester heeft
geprobeerd alle gedefinieerde condities
van een testcase te vertalen in de verschil
lende systemen. Hierbij mocht de tester
alleen gebruik maken van functionaliteit
die in het systeem aanwezig was. De tests
zijn uitgevoerd door generalisatie-experts
die zowel bekend als nieuw waren met
de systemen. De gemiddelde tijdsinspan
ning van een test was ongeveer 1 week.
Naast het testen van de juni-2007 versies,
konden de softwareleveranciers parallelle
tests uitvoeren tot zomer 2008 waarbij zij
gebruik mochten maken van zowel zeifont-
wikkelde extensies als ontwikkelingen ten
opzichte van juni 2007. In totaal resulteerde
de tests in 35 outputs (27 gegeneraliseerd
door leden van het projectteam en 8 door
de softwareleveranciers) en in meer dan
700 thematische lagen.
b. Evalueren van
gegeneraliseerde output
Kartografische
generalisatie bevat een
bepaalde mate
van subjectiviteit
Distribution of building area size 1:50k
deze dataset meer thematische lagen
bevat (zie tabel i). Er zijn bijvoorbeeld
meerdere soortgelijke condities gede
finieerd voor verschillende wegtypen
gerepresenteerd in meerdere lagen. In de
tweede plaats valt op dat in alle testcases
de meeste condities gedefinieerd zijn voor
geïsoleerde objecten en de minste voor
groepen van objecten. Zeer waarschijnlijk
omdat het definiëren van condities voor
twee en voor groepen objecten veel
complexer is. Een derde opvallend aspect is
dat condities voor minimale dimensies van
objecten domineren in alle vier testcases,
evenals condities voor gebouwen, wegen
en landgebruik. De redenen hiervoor
zouden kunnen zijn dat er al veel bekend
is over het automatisch generaliseren van
dit soort condities en dat deze objecten het
meest voorkomen op kaarten en ook het
meest significant zijn voor kaartgebruikers
waardoor (interactieve) generalisatie het
meest op dergelijke objecten plaatsvindt.
Na het testen, was de volgende uitdaging
het evalueren van de gegeneraliseerde
output (zie figuur 1 voor enkele voorbeel
den van output). Idealiter zou de evaluatie
volledig automatisch moeten gebeuren
om zoveel mogelijk subjectiviteit uit te
sluiten. Er waren echter drie redenen
waarom we ons in dit project niet beperkt
hebben tot automatische evaluatie.
Ten eerste, kartografische generalisatie
bevat een bepaalde mate van subjecti
viteit. Vaak zijn er meerdere oplossingen
mogelijk die moeilijk kwantitatief met
elkaar te vergelijken zijn. Ten tweede, niet
alle condities waren voldoende formeel
te beschrijven, bijvoorbeeld de conditie
dat'gebouwen hun kenmerkende vorm
moeten behouden'is moeilijk automatisch
te evalueren. Tenslotte is automatische
evaluatie (nog) niet geschikt om condities
ten opzichte van
andere condities
te evalueren, soms
is het bijvoorbeeld
gewenst om een
kleine afwijking
van de minimale
grootte van een gebouw toe te staan om
de minimale afstand tussen twee gebou
wen te kunnen behouden.
In dit project is daarom gekozen om de
output vanuit drie benaderingen te evalu
eren, waardoor het mogelijk is de resul
taten van de ene benadering te valideren
c.q. te ontkrachten met de resultaten van
de andere benadering. De drie benade
ringen zijn: 1) automatische evaluatie van
een select aantal (voldoende formele)
condities, 2) een evaluatie waarbij outputs
van één bepaalde testcase visueel met
elkaar en met de gedefinieerde condities
zijn vergeleken, en 3) expertevaluatie
waarbij kartografische experts de outputs
in detail hebben beoordeeld.
Voor de automatische evaluatie is een
prototype ontwikkeld door de Universiteit
van Zürich dat berekent in hoeverre wordt
voldaan aan de volgende condities: mini
male omvang van gebouwen, minimale
afstand tussen gebouwen en minimale
afstand tussen wegen en gebouwen.
Om meer inzicht te krijgen in de uitkom
sten van deze evaluatie is het prototype
eerst toegepast op interactief gegenerali
seerde data schaal 1:50.000 van het Kadas
ter. Deze test bevestigde dat veel situaties
die als'slecht'worden beoordeeld door de
computer, niet altijd slechte generalisatie
oplossingen hoeven zijn. Ten eerste omdat
de parameters uit handleidingen komen
voor kartografen.
Deze zijn bedoeld
als richtlijn voor
menselijke interpre
tatie maar worden
in het automatische
proces gebruikt
als harde waarde. Zo waren bijvoorbeeld
veel gebouwen die als'te klein'werden
gedetecteerd slechts minimaal kleiner
dan het gedefinieerde minimum (zie
figuur 3). Blijkbaar leveren deze te kleine'
gebouwen nog steeds een acceptabele
oplossing. Een tweede reden waarom
acceptabele oplossingen soms als'slecht'
worden beoordeeld door automatische
evaluatie is dat de geformaliseerde con
dities niet voldoende rekening houden
met alle situaties die zouden kunnen
voorkomen, zoals aangegeven in figuur 2.
Ook kan het omgekeerde gelden: goed
beoordeelde situaties hoeven niet altijd
goede oplossingen te zijn. Bijvoorbeeld:
alle gebouwen voldoen aan de 'minimale
6000
5000
<0
4000
S3
5 3000
CO
Min area size threshold
200 400 479 600 800 1000 1200 1400 1600
Building objects ordered by area size
Fig. 3. Resultaat van evaluatie van de grootte van interactief gegeneraliseerde gebouwen in Kadaster
1:50.000 dataset. Een groot aantal 'te kleine gebouwen' is net iets kleiner dan de drempelwaarde.
Geo-lnfo 2010-2 21
