In zijn artikelnoot J.B. Perry, Examining the Authenticity of Plato’s Epistle VII through Deep Learning (2021; Bachelor’s thesis, Harvard College). verdeelt Perry de Zevende Brief in drieënzeventig brokstukken van honderd woorden. Per brokstuk wordt de kans berekend dat het (conform het ontwikkelde model) toegeschreven moet worden aan Plato. Wanneer vervolgens de brokstukken gegroepeerd worden in vijf achtereenvolgende onderdelen levert dat het beeld op zoals weergegeven in de onderstaande tabel.
[Dit is het zesde van acht door Marco Folpmers geschreven blogjes over de mogelijkheid met artificiële intelligentie Plato’s Zevende Brief te analyseren. Het eerste was hier. Hoe pakt een onderzoeker dat aan?]
Een publicatie van de Amerikaanse Harvard-universiteit heeft in 2021 nieuw licht geworpen op de auteursvraag van de Zevende Brief van Plato. Het betreft de scriptie van Jordan Bliss Perry voor “the departments of computer science and the classics” van Harvard.noot J.B. Perry, Examining the Authenticity of Plato’s Epistle VII through Deep Learning (2021; Bachelor’s thesis, Harvard College). Over deze Perry is verder weinig te vinden.
Weliswaar is dit geen officiële publicatie in een journal met peer-review, maar van de andere kant zien de publicatie an sich en de begeleiders er betrouwbaar uit. Ik zal nog terugkomen op de verschijningsvorm van deze studie.
Bij de meest recente inzichten met betrekking tot de attributie van de Zevende Brief van Plato zullen we zien dat we te maken hebben met wat we in het vorige blogje een multinomiale classificatie noemden. Het model van Jordan Bliss Perry alloceert een tekstonderdeel aan Plato of aan een andere auteur uit een gesloten lijstje van zes tijdgenoten: Xenophon, Thucydides, Demosthenes, Lysias, Isocrates en Aeschines.
Taalmodellen en kunstmatige intelligentie
De meest recente ontwikkeling is dat statistische modellen, zoals banken die gebruiken, ook op natuurlijke talen toegepast kunnen worden. De data bestaan dan uit de corpora van diverse auteurs en met statistische modellen beogen onderzoekers de omstreden tekst toe te schrijven aan een specifieke auteur.
Het berekenen van de prestatie-statistieken gebeurt vaak tweemaal, op twee gescheiden subsets van de totale verzameling van historische data. Bij het vinden van het beste verband tussen input-data en de te verklaren variabele (wanbetaling in het voorbeeld uit het vorige blogje) worden in feite de prestaties van het model geoptimaliseerd. Dat kan soms ook op een gewogen manier zijn, bijvoorbeeld dat de modelleur sensitiviteit belangrijker vindt dan specificiteit.
Deze procedure brengt met zich mee dat het statistische model geoptimaliseerd wordt op de toepassing van de input-data. Maar betekent dit ook dat het model ook in andere gevallen (die niet in de ontwikkel-set zaten) goed werkt? Met andere woorden: is het model generaliseerbaar naar andere gevallen of nieuwere gevallen?
[Dit is het derde van acht door Marco Folpmers geschreven blogjes over de mogelijkheid met artificiële intelligentie Plato’s Zevende Brief te analyseren. Het eerste was hier en we moeten het eens hebben over statistische classificatiemodellen en hun prestaties. Maar eerst een woord over bankieren.]
We moeten het eerst eens hebben over banken. Voor banken is het essentieel om een inschatting te kunnen maken of ze hun verstrekte leningen terugbetaald krijgen of niet. Daarom maken banken voor elke individuele klant (zowel voor bedrijven als voor u en mij) een inschatting van de kans op wanbetaling, vaak aangeduid met de Engelse term “Probability of Default” of PD. Is vastgesteld dat bij een kredietaanvraag iemands PD te hoog is, dan krijgt deze persoon de lening niet, of alleen tegen een hoge rente, of na het verstrekken van voldoende onderpand. Maar aangezien elke lening wel enig risico heeft (de PD is nooit nul) en deze PD’s ook in de tijd kunnen veranderen, nemen banken aanvullende maatregelen. De belangrijkste is dat ze kapitaal aanhouden als buffer om verwachte en onverwachte verliezen op te vangen.
Banken berekenen voor elke klant de PD door een statistisch model toe te passen. Dit model is eerder ontwikkeld aan de hand van historische data. In historische data heb je namelijk het profijt van “kennis achteraf”. Je weet wie er in wanbetaling is gegaan (vaak gedefinieerd als achterstanden die meer dan negentig dagen zijn opgelopen). Er wordt dus eerst data verzameld met mogelijke verklarende variabelen alsmede de te verklaren variabele: in wanbetaling wel/niet geraakt.
[Dit is het tweede van acht door Marco Folpmers geschreven blogjes over de mogelijkheid met artificiële intelligentie Plato’s Zevende Brief te analyseren. Het eerste was hier en de vraag is of de brief wel authentiek is.]
Kort gezegd was de acceptatie van de Zevende Brief ook afhankelijk van de tijdgeest. Romm haalt in het introducerende hoofdstuk een onderzoek aan waaruit blijkt dat in de negentiende euw en eerste helft van de twintigste eeuw de acceptatiegraad onder vooraanstaande classici hoog was (onder meer door de support van de vermaarde Duitse classicus Ulrich von Wilamowitz-Moellendorff), terwijl in de moderne tijd (vanaf de Tweede Wereldoorlog), de sceptici zich meer laten horen.
Of Plato echt de overgeleverde brieven heeft geschreven, en in het bijzonder de meest interessante Zevende Brief, is een probleem dat al zo oud is als de oudheidkunde zelf. Kunstmatige intelligentie en natuurlijke taalmodellen werpen nu nieuw licht op deze kwestie. Met deze modellen kan overtuigend worden aangetoond dat de Zevende Brief inderdaad van Plato is, zij het niet integraal: de brief bevat zeer waarschijnlijke twee forse interpolaties van later datum, conform een recente publicatie.noot J.B. Perry, Examining the Authenticity of Plato’s Epistle VII through Deep Learning (2021; Bachelor’s thesis, Harvard College). Echter, deze publicatie is nog onvoldoende robuust en vervolgwerk is nodig.
Hoe werken eigenlijk deze kunstmatige intelligentie modellen? En wat tonen ze precies aan? Is de Zevende Brief echt van Plato of niet? Waarom zijn de nieuwste inzichten (vanaf 2021) zo overtuigend? En is het bewijs nu helemaal rond? In deze bijdrage gaan wij in op deze vragen.
Ik weet zeker dat higgsbosonen, Vietnam, sequoia’s en tektonische platen bestaan, al heb ik ze nooit gezien. Verder betwijfel ik niet dat er ooit triceratopsen over deze planeet hebben rondgewandeld. Ik neem het aan zonder bewijs. Als het gaat om de Oudheid, weet ik echter graag waarom we dingen weten. Bijvoorbeeld: hoe weten archeologen dat monumenten uit het Late Neolithicum en de Bronstijd zijn georiënteerd op astronomische verschijnselen?
Voordat ik verder ga: ik schrijf dit precies om de reden die ik noem. Ik wil weten hoe archeologen weten wat ze weten. Ik schrijf het niet vanuit pseudoscepsis (“ik stel alleen maar vragen”). Ik heb echter een stukje uit de bewijsvoering nooit gehoord, of ben dat vergeten, en ik vertrouw erop dat een archeoloog me straks doorverwijst naar een wetenschappelijk artikel dat ik niet ken. Sta me nu een redenering toe die bij elke stap allerlei nuanceringen behoeft die ik zal overslaan; het gaat me even om de hoofdlijn.
In het vorige blogje vertelde ik, kort door de bocht, waarom de oudheidkunde zich nogal eens beperkt tot het Middellandse Zee-gebied, met op z’n best de Bronstijd van Voor-Azië en Egypte erbij. Ik legde uit dat het historisch zo is gegroeid omdat men de vraag stelde waar “onze” cultuur vandaan kwam. Dat Japan en Precolumbiaans Amerika in dit antwoord werden genegeerd, lag voor de hand. Ik legde ook uit dat wat historisch is gegroeid, daarmee niet is gerechtvaardigd. Het antwoord is immers niet wetenschappelijk te onderbouwen: West-Europeanen zijn, om zo te zeggen, breder geworteld dan in Griekenland en Rome.
Maatschappijtypen
De vraag naar het ontstaan van de eigen cultuur is vanzelfsprekend legitiem, maar we gaan er inmiddels anders mee om dan vroeger. Toen keken we hoe culturen van oud tot recent groeiden. Geschiedenis was ontstaansgeschiedenis. Je kunt echter ook kijken naar wat een gegeven maatschappij op een gegeven moment in potentie zou kunnen – denk aan het technologisch peil, handelsnetwerken, scholing… – en naar wat ze feitelijk doet. Geschiedenis is dan geen ontstaansgeschiedenis maar gaat over functioneren. Deze benadering impliceert dat je de bestudering van het verleden niet inricht naar ruimtelijk begrensde culturen als “Grieks”, “Egyptisch”, “Indisch” of “Chinees”, maar naar maatschappijtypen.
Een oudheidkundige analyse waar India, China en Japan deel van uitmaken (meer)
Een leuke, problematische en terechte vraag, afgelopen donderdag bij de mail:
Waarom beperkt de oudheidkunde zich tot het gebied rond de Oriënt en Middellandse Zee en niet bijvoorbeeld India, China en Japan waar ook al heel lang geschreven geschiedenis bestaat?
Terechte vraag
Dat de vraag leuk is, spreekt vanzelf. Waarom ’ie terecht is, vertel ik zo meteen. Het problematische is de aanname dat oudheidkunde beperkt zou zijn tot Oriënt en Middellandse Zee. Dat is echter niet het geval. Neem de definitie van “Antiquity” op de Wikipedia:
Je moet ingelogd zijn om een reactie te plaatsen.