[Dit is het vierde van acht door Marco Folpmers geschreven blogjes over de mogelijkheid met artificiële intelligentie de Zevende Brief van Plato te analyseren. Het eerste was hier. Voor we verder gaan eerst twee nuanceringen.]

Het berekenen van de prestatie-statistieken gebeurt vaak tweemaal, op twee gescheiden subsets van de totale verzameling van historische data. Bij het vinden van het beste verband tussen input-data en de te verklaren variabele (wanbetaling in het voorbeeld uit het vorige blogje) worden in feite de prestaties van het model geoptimaliseerd. Dat kan soms ook op een gewogen manier zijn, bijvoorbeeld dat de modelleur sensitiviteit belangrijker vindt dan specificiteit.

Deze procedure brengt met zich mee dat het statistische model geoptimaliseerd wordt op de toepassing van de input-data. Maar betekent dit ook dat het model ook in andere gevallen (die niet in de ontwikkel-set zaten) goed werkt? Met andere woorden: is het model generaliseerbaar naar andere gevallen of nieuwere gevallen?

Soorten data-sets

Om dit goed te toetsen is het van belang om de prestatie statistieken niet alleen voor een ontwikkel-dataset te berekenen maar ook voor een aparte testset. In de praktijk betekent dat dat de beschikbare historische data gesplitst worden zodat één subset gebruikt wordt voor de model ontwikkeling en een tweede subset (zonder enige overlap met de eerste subset; zogenaamde “disjuncte verzamelingen”) voor het testen. Het is goed gebruik om vooral de prestatiestatistieken te rapporteren voor de testset.

Hoe de dataset te splitsen is een wetenschap op zich. In sommige toepassingen zijn meerdere splitsingen van belang, bijvoorbeeld het achterhouden van een random sample (“out-of-sample sampling”) of juist een specifiek sample, bijvoorbeeld de meest recente data (“out-of-time sampling”). In dat laatste geval wil men met name kunnen vaststellen of historische verbanden generaliseerbaar zijn naar latere data, met natuurlijk de bedoeling het model ook betrouwbaar op toekomstige cases toe te passen. Bij meer complexe modellen, waarbij veel parameters geschat moeten worden, wordt de data vaak gesplitst in 3 subsets: ontwikkeldata, validatiedata en testdata, doorgaans conform een 80-10-10 procentuele split.

Met behulp van het testen van het model wil men voorkomen dat het model een “overfit” bevat op de ontwikkeldata, dat wil zeggen dat specifieke toevallige omstandigheden die in de ontwikkeldata terecht zijn gekomen van invloed zijn geweest bij het vastgestelde statistische verband. Bij meer complexe modellen (vooral de modellen op basis van kunstmatige intelligentie) is overfitting een serieus probleem en kunnen makkelijk niet-generaliseerbare effecten in het model zijn opgenomen. Vandaar het grote belang van het testen met een achtergehouden testset, juist bij meer complexe modellen.

Bij de straks te bespreken studie over auteursattributie van de Zevende Brief van Plato zullen we zien dat de data gesplitst zijn over een ontwikkelset, een validatieset en een testset. De gerapporteerde statistieken worden uitsluitend gebaseerd op de testset, conform het principe dat men generaliseerbaarheid van het gevonden verband naar nieuwe cases wil aantonen. Bij auteursattributie van een gegeven tekst wordt de te attribueren tekst uiteraard achtergehouden bij het fitten van het model. Er is dan dus sprake van 3 rondes:

1. fitten van het model met behulp van ontwikkel- en validatieset,
2. valideren van het gevonden verband met de testset,
3. toepassen van het model op de achtergehouden, te attribueren tekst (in ons geval: Plato’s Zevende Brief).

Twee of meer uitkomsten

Een tweede nuance is dat in het vorige blogje genoemde voorbeeld de te verklaren variabele binair is: er is sprake van een “positieve” uitkomst (wanbetaling, vaak gecodeerd met waarde 1) of een “negatieve” uitkomst (geen wanbetaling, gecodeerd met waarde 0). In de praktijk zijn ook complexere vormen mogelijk, bijvoorbeeld multinomiale classificatie. In dat geval kan de uitkomst meer dan twee mogelijkheden bevatten. Maar altijd geldt dat op één observatie maar één classificering mogelijk is en dat deze uitkomst er één moet zijn uit een gesloten set van mogelijkheden.

Dit onderscheid leidt ook tot grote confusion matrices. Bij een binomiale classificatie is er sprake van een [2 x 2] confusion matrix, afgezien van de rijen en kolommen met de (sub)totalen (zie de bovenstaande tabellen). Bij een multinomiale classificatie met n categorieën, is de confusion matrix navenant groter, deze wordt [n x n]. Maar het principe blijft staan dat een beter model een “zware lading” heeft op de hoofddiagonaal.

Met deze nuanceringen in het achterhoofd kunnen we verder naar de Zevende Brief van Plato.

[Dit was het vierde van acht door Marco Folpmers geschreven blogjes over de mogelijkheid met artificiële intelligentie Plato’s Zevende Brief te analyseren. Wordt vervolgd. Dank je wel Marco!]