[Dit is het laatste van acht door Marco Folpmers geschreven blogjes over de mogelijkheid met artificiële intelligentie Plato’s Zevende Brief te analyseren. Het eerste was hier. In dit blogje: is het bewijs nu rond?]
Perry’s analysenoot is knap gedaan, maar desondanks is dit niet het definitieve bewijs dat de Zevende Brief (afgezien van twee latere interpolaties) authentiek is. Dit is hooguit een eerste aanzet.
Kritiek
Op de eerste plaats is er de aard van de publicatie. Dit is een scriptie. Een scriptie van de Harvard-universiteit is natuurlijk een scriptie van een excellent instituut en ook de studie zelf en de genoemde begeleidende docenten zien er geloofwaardig en gezaghebbend uit. Maar het is geen publicatie in een peer-reviewed journal. Misschien volgt die nog. Maar op het moment ontbreken er nog essentiële “checks and balances”.
Er zijn problemen met de robuustheid van de studie. Zo zijn er geen alternatieven doorgerekend. Wat zou er gebeuren als je nog een achtste auteur zou toevoegen? Eventueel auteurs van later datum om te kijken of er extra stukken als interpolatie kunnen worden aangemerkt omdat ze qua stijl overeenkomen met het taalgebruik van juist latere auteurs. Je zou graag willen weten hoe gevoelig de uitkomsten zijn voor dit soort aanpassingen in de methode. Op dit moment ontbreekt deze sensitiviteitsanalyse.
Op andere gebieden is sensitiviteitsanalyse eveneens noodzakelijk. Hoe gevoelig zijn de resultaten met betrekking tot de drempelwaardes voor het aanmerken van woorden als “belangrijke woorden”? Wordt de huidige hoge-kwaliteit attributie misschien toch nog enigszins beïnvloed door “belangrijke woorden” en niet uitsluitend door het “onderbewuste” van Plato en bijbehorende stijlkenmerken?
En hoe gevoelig zijn de uitkomsten voor de keuze om brokstukken te maken van honderd woorden? Krijg je andere uitkomsten bij bijvoorbeeld zeventig woorden? Of 150 woorden? Ik ben benieuwd.
Ook de manier waarop de kans wordt bepaald dat een onderdeel van Plato is of niet, bij de toepassing van het model, is mij niet helemaal duidelijk geworden. Perry past dan (in plaats van slechts één model) tien afgeleide modellen toe. De kans dat een tekst van Plato is, berekent hij dan als het percentage van deze tien modellen dat aangeeft dat de tekst van Plato is. Ik vraag me af of dit overeenkomt met een zuiver kansbegrip.
Ook op andere terreinen had Perry meer zijn best kunnen doen de “black box” van het neurale netwerk iets meer open te breken. Wij hebben geen inzicht in bijvoorbeeld “importance scores” of Shapley statistieken die aangeven welke kenmerken veel impact hebben bij het vaststellen van de afhankelijke variabele. Hiermee ontbreekt een belangrijk inzicht waarmee het model meer interpreteerbaar kan worden gemaakt. Dit zijn typisch ook mogelijkheden die in het kader van “trustworthy AI” worden genoemd om complexe modellen toch iets meer navolgbaar te maken.
Het ontbreekt überhaupt aan transparantie. Perry stelt (voor zover ik heb kunnen nagaan) zijn broncode en input data niet ter beschikking op een gebruikelijk platform, bijvoorbeeld GitHub.
Ter afsluiting
De studie van Perry is echter zonder meer een “next level” attributie, die intrigeert omdat het innovatieve methodes gebruikt; de beschikking die men tegenwoordig heeft over gedigitaliseerde corpora met lemmatisatie, natuurlijke taalmodellen en kunstmatige intelligentie (neurale netwerk). Dit combineert Perry met contextuele kennis van Plato en zijn oeuvre.
Tegelijkertijd zie ik uit naar meer, vergelijkbare, studies op dit gebied, liefst met een gedegen peer review en meer testen (met name sensitiviteitstesten) om de robuustheid te verzekeren, zodat we echt kunnen zeggen: hier spreekt Plato zelf.
Literatuur
- B. Perry, Examining the Authenticity of Plato’s Epistle VII through Deep Learning (2021; Bachelor’s thesis, Harvard College)
- S. Romm, Plato and the Tyrant. The Fall of Greece’s Greatest Dynasty and the Making of a Philosophic Masterpiece (2025)
[Dit was het laatste van de door Marco Folpmers geschreven blogjes over de mogelijkheid met artificiële intelligentie Plato’s Zevende Brief te analyseren. Dank je wel Marco!]
Zelfde tijdvak
Aristoteles (8): De vormenoktober 14, 2022
This is Sparta!oktober 26, 2019
Griekse sieradenjuli 20, 2024
Dank voor dit uitgebreide artikel. Met de door jou genoemde kanttekeningen ziet het onderzoek er toch heel solide uit.
Toch nog een klein detail in deel 5: “Statistische software-omgevingen (zoals Python…)”. Nou nee. Python is een programmeertaal en geen statistische software-omgeving. In die programmeertaal zijn diverse software bibliotheken beschikbaar voor diverse toepassingen. En inderdaad, in de kunstmatige intelligentie en in iets mindere mate in de statistiek wordt Python veel gebruikt en is er veel ondersteuning in die taal. Je kunt dus wel een statistische software-omgeving maken met behulp van Python, maar het is niet hetzelfde. Je kunt ook prima een filosofische brief schrijven in de Griekse taal, maar dat betekent nog niet dat het Grieks een filosofische brief is…
Heel interessant en met veel plezier gelezen. Deze techniek kan misschien ook getoetst worden door bij verschillende boeken van dezelfde schrijver, maar uit verschillende perioden a.. te toetsen of ze van dezelfde schrijver zijn b. of boeken van – zeg – voor zijn/haar dertigste andere kenmerken hebben dan boeken van – zeg – na de vijftigste verjaardag
Ik heb delen van het artikel van Perry gelezen. Je hebt het over: “(in plaats van slechts één model) tien afgeleide modellen”. Ik neem aan dat dat op hoofdstuk 3.1.4 slaat:
“Due to the randomness of weight initialization and dropout regularization, each model was trained and evaluated ten times.”
Als je een model traint met beschikbare data, dan zit daar een zekere willekeur in, wat betekent dat als je tweemaal een training doet, de twee resulterende modellen zullen verschillen. De hoop is dan dat die twee niet significant verschillen, want anders is je training blijkbaar niet betrouwbaar.
Ik vermoed dat dit gedaan is omdat de data nu eenmaal beperkt is, we kunnen moeilijk nog wat Griekse teksten van de schrijvers toevoegen, die zijn er simpelweg niet. Ik zie dat er voor Aeschines bijvoorbeeld maar zo’n 350 100-woorden stukjes beschikbaar zijn. Dat is niet al te veel.
Eigenlijk wordt met die 10 modellen de hoeveelheid data met 10 vermenigvuldigd, maar dat is uiteraard wel een heel kunstmatige manier van data genereren. Het wordt er in ieder geval niet 10 keer betrouwbaarder van.
Moeten we bij het voetballen ook maar invoeren: in plaats van 1 penalty nemen en het resultaat noteren, mag je er 10 nemen, en als je er dan 8 heb binnengeschoten dan telt het doelpunt…
Zeer interessant! Dat belooft nog wat voor het pseudepigrafie-onderzoek, bv naar de zes sinds jaar en dag betwiste brieven van ‘Paulus’.
Toch nog enkele vragen. Een probleem wordt al aangeduid: de stijl van Plato’s zevende brief wordt afgezet tegen die van een aantal tijdgenoten. Maar wat als een onbekende heeft zitten interpoleren, kan dat opgespoord worden? Ook de tekstblokken van 100 woorden kunnen op het verkeerde spoor zetten. In het geval van Paulus worden de brieven vaak op onderwerp verknipt en van tussenkopjes voorzien. Een willekeurige greep: het nieuwe leven – het christelijk gezin – gebed en maatschappelijke omgang. Wat als de paragraaf over het christelijk gezin nou eens geïnterpoleerd zou zijn, maar door die 100 woorden over de voorgaande en volgende tekstblokken verdeeld wordt? Zou de de geïnterpoleerde paragraaf dan de buren aansteken zonder zelf ontdekt te worden?
Zeer interessant! en voor mij, als ondeskundige, toch een heel eind te volgen.