Kritisch in Groningen

De publicatiefabriek levert een bescheiden tournee op, en zo reisde ik gisteren naar Groningen om in het Muntinggebouw de discussie over 'Beterschap in de wetenschap' aan te jagen. Fraude (data fabriceren of vervalsen, of plagiaat) stond niet ter discussie, wel de verschuivingen die in de universitaire wereld hebben plaatsgevonden: de grotere nadruk op onderzoek en op het genereren van een gestage stroom publicaties als het doel van onderzoek. Bij het bereiken van dat doel vindt de onderzoeker reviewers op zijn of haar weg, maar vooral de weerbarstige werkelijkheid, die niet altijd meewerkt om iets publicabels te genereren. Daardoor kan men in de verleiding komen wat te stoeien met variabelen, condities en proefpersonen. Uit een onderzoek van Lesley John en collega's (2012) blijkt dat dergelijke Questionable Research Practices (QRP's) vaker voorkomen dan men wil weten. Dat geeft vervuiling in de wetenschap, maar kan wel helpen de publicatiescore te verhogen.

De Groningse statisticus Rink Hoekstra, de tweede spreker, benadrukte dat dergelijke, strikt genomen ongeoorloofde manipulaties vaak helemaal niet bewust gebeuren. Gewone onderzoekers hebben vaak een beperkte kennis van statistiek (om dat te illustreren onderwierp hij de zaal aan een rijtje basale vragen over significantietoetsing). Juist die significantie wordt, volgens hem ten onrechte, gezien als een noodzakelijk toegangsbewijs voor het realiseren publicaties. Een significantietoets zou functioneren als een scheidsrechter voor het bepalen van echte en toevallige effecten, maar daartoe is hij helemaal niet in staat. Maar Hoekstra vergeleek significantietoetsing met een voetbalscheidsrechter die geen enkel verstand van voetbal heeft en ook nog gemakkelijk is om te kopen.

Is dat niet een heel academische discussie? Valt er überhaupt iets aan te doen? Ja, toch wel. In het laatste deel van zijn betoog wees Hoekstra op een hele reeks initiatieven die de laatste tijd zijn genomen: de nieuwe richtlijnen van Psychological Science, het Open Science Framework, ArXiv, verbeteringen op het gebied van data-archivering, 'presubmission' van onderzoeksplannen et cetera. En onderzoekers kunnen zelf ook iets doen: open zijn over de stappen die ze zetten, niet te stellig zijn in hun conclusies, en vooral: niet de kop in het zand steken als dit soort kwesties aan de orde komen. Een echte wetenschapper is kritisch over zijn eigen producten en die van zijn vakgenoten, en gaat de discussie aan.

Dat liet de zaal zich geen twee keer zeggen. Behalve studenten en onderzoekers mengde ook FSW-decaan Henk Kiers zich in de discussie, met name toen het ging over een passende aanpak van kwaliteitsbeoordeling van wetenschappelijk personeel. Hij nodigde sprekers en zaal uit om met alternatieven te komen, die beter recht zouden doen aan de aard en de doelen van het wetenschappelijk werk c.q. de onzekerheden op het pad van de kennisverwerving. Accepteer dat er verschillende tradities in onderzoek en verschillende publicatieculturen zijn en houd daarmee rekening in je beoordelingswerk, was mijn antwoord (overigens geheel in lijn met het rapport van de KNAW-commissie-Bensing over kwaliteitsindicatoren voor de sociale wetenschappen, dat u hier kunt vinden).