Goodbye Sloppy Science

Vorige week in het Brabantse Heeze, conferentiecentrum 'Kapellerput'. De Nederlands-Vlaamse Onderzoekschool 'Experimentele Psychopathologie' hield daar een tweedaags symposium over 'slodderwetenschap', oftewel dubieuze praktijken in het wetenschappelijk onderzoek (in het Engels: Questionable Research Practices, QRP's). Het onderwerp bleek de AIO's van deze onderzoekschool zeer bezig te houden. Niet alleen wilden ze zich graag aan de regels houden, ze wilden vooral ook goed onderzoek doen. Dat onderzoekers door allerlei externe productiviteitscriteria (en soms ook informele pressie) worden opgejut om maar zo veel mogelijk te publiceren, bevalt ze maar niets.

Gert Storms (KU Leuven) hing zijn betoog op aan The good, the bad and the ugly. De 'goeden' zijn degenen die het zelfreinigend vermogen van de wetenschap beklemtonen, de slechteriken - uiteraard - de onderzoeksfraudeurs (een ontmoedigende reeks passeerde de revue) en de 'lelijkerds' zijn degenen die zich overgeven aan discutabele datamanipulaties. In de top tien van fraudeurs werden de eerst vier posities ingenomen door vertegenwoordigers van de biomedische wetenschappen. Kennelijk is de materie daar lastig - en de pressie groot.

Jelte Wicherts (Tilburg) concentreerde zich op de menselijke factoren in de statistiek. In zijn betoog viel vooral op dat psychologen weinig geïnteresseerd lijken te zijn in hun gegevens als de analyses gedaan en de bevindingen gepubliceerd zijn. Psychologisch onderzoek als one night stand. Verder gaf hij beeldend aan wat je allemaal kunt doen om de significantie van je onderzoek te vergroten. Het leek wel een crash course fotoshoppen van je onderzoek - al was dat zeker niet Wicherts' bedoeling.

De middagsessie werd grotendeels gevuld met een uitgebreid betoog over wetenschapsethiek van Pieter Drenth, emeritus-hoogleraar psychologie (VU) en voorzitter van de commissie die onderzocht in hoeverre het Amsterdamse werk van Diederik Stapel op fraude berustte. Dat laatste leverde de meeste vragen uit de zaal op, bijvoorbeeld: hoe kun je nu vaststellen of iemand gefraudeerd heeft als de oorspronkelijke data niet meer beschikbaar zijn? Als iemand zeer bedreven is in de statistiek is dat heel lastig, maar dat gold niet voor Stapel. Een goede statisticus kan dus zien hoe (on)waarschijnlijk de weergegeven verbanden in zijn werk zijn.

De tweede dag van het symposium werd geopend door de cognitief psycholoog Rolf Zwaan (EUR), die inging op de huidige 'replicatiebeweging' (volgens sommigen: -hype). Zwaan maakte ook deel uit van de commissie die de fraude van Dirk Smeesters onderzocht. Hij hield een vlammend pleidooi voor de preregistratie van experimenten, en het door replicatie vaststellen welke empirische bevindingen solide zijn. Over deze en andere kwesties schrijft Zwaan regelmatig interessante stukken op zijn weblog.

Ook de AIO's zelf kwamen aan het woord: Sabine Wanmaker, Evelyne Debey, Renée Visser en Dalena van Heugten presenteerden op buitengewoon professionele wijze en in vlot Engels hun onderzoeksbevindingen. Duidelijk werd dat experimenteel onderzoek naar processen in de menselijke psyche boeiend is, maar ook veel hindernissen kent: het is verreweg het meest complexe onderzoeksobject dat je kunt bedenken.

 

Dit werd ook het uitgangspunt voor mijn eigen praatje: psychologen onderzoeken hun eigen soortgenoten. Die zijn even slim als zijzelf en houden vaak hardnekkig vast aan hun eigen interpretaties van de menselijke werkelijkheid. Als menswetenschapper moet je dan echt met een betere - en goed werkbare - interpretatie van het psychisch leven komen. Het afdwingen van eenduidige, positieve resultaten door statistische manipulaties en andere QRP's mag in een tijd van publicatiedruk verleidelijk zijn, patiënten help je er uiteindelijk niet mee. Hoe houd je als AIO stand in zo'n cultuur? Zorg dat je meer in huis hebt dan onderzoekstechnische kennis en specialistische theorie. Reflecteer op je eigen positie en doelstellingen, en ontwikkel je eigen academische kompas, bijvoorbeeld door je te verdiepen in de geschiedenis van je vakgebied.

NB De dia's van mijn presentatie vind je hier.

Productiviteitsperformance

'Zelfplagiaat' is de term die sinds begin januari van dit jaar is vastgekleefd aan de emeritus-hoogleraar regionale economie Peter Nijkamp. Gedoeld wordt op het hergebruik van eerder gepubliceerde stukken tekst zonder dat dit aan de lezer of de uitgever wordt gemeld. De wetenschapsjournalist Frank van Kolfschooten gebruikte dit begrip (NRC Handelsblad, 7 januari 2014) om de werkwijze van Nijkamp te typeren, en is daarmee consequent. 'Om de beschuldiging van "zelfplagiaat" voor te zijn' meldt hij bijvoorbeeld op p. 291 van zijn boek Ontspoorde wetenschap (2012): 'dit boek is geschreven op het fundament van mijn boek Valse vooruitgang. Bedrog in de Nederlandse wetenschap uit 1993. Diverse zaken uit dat boek [...] keren in Ontspoorde wetenschap terug met het oog op de naslagfunctie.' Maar een herziene versie van het eerdere boek is het niet, aldus Van Kolfschooten, het is 'een nieuw boek vol nieuwe verhalen, resultaat van - wederom - diepgravend onderzoek'. Dat laatste is natuurlijk een geval van zelftypering, maar laten we hem dat gunnen.

Belangrijker is de zaak zelf. Diverse commentatoren, variërend van schrijver Christiaan Weijts tot KNAW-president Hans Clevers, merkten luchtig op dat zij ook wel eens formuleringen hergebruikten als dat zo te pas kwam. Filosoof Ger Groot vindt zelfs dat er niets mis mee is: weinig mensen hebben originele gedachten, en ook grote geesten als Isaiah Berlin herhaalden zichzelf voortdurend (Trouw, 14 januari). Weer anderen (Maarten Prak en Jan Luiten van Zanden, Volkskrant 11 januari) stellen dat zelfplagiaat niet bestaat en dat Nijkamp pas iets te verwijten valt 'als de herhalingen omvangrijk en systematisch zouden zijn'. Dat laatste wordt nu in opdracht van de VU onderzocht door een commissie, onder voorzitterschap van de jurist Jaap Zwemmer. Intussen is Van Kolfschooten met meer voorbeelden gekomen van de (zelf)overnamepraktijken van Nijkamp (zie hier en ook NRC Handelsblad van 18 januari).

Maar het gaat natuurlijk om de achtergrond van dit alles: het besef dat een lange publicatielijst bijdraagt aan je winstkansen binnen de wetenschap. Officieel wordt dit ontkend (bijvoorbeeld door NWO-directeur Jos Engelen) en er wordt ook tegen gewaarschuwd. In zijn Jaarrede 2007 zei toenmalig KNAW-president Frits van Oostrom al: 'Niemand onder ons zal ook maar een moment staande houden dat iemand die dertig artikelen per jaar produceert daarom een betere onderzoeker, laat staan geleerde, is dan iemand met drie'. Toch heeft zo iemand meer status en betere carrièrekansen (de loopbaan van Nijkamp illustreert dat). De kwaliteitsbeoordeling van wetenschappelijk werk is eigenlijk iets van de langere termijn. Als een artikel in de loop van vijf jaar vaak geciteerd wordt, is het kennelijk van belang in het betreffende wetenschapsgebied. Bestuurders willen daarop niet wachten. In het beste geval kijken ze naar de impactfactor van de tijdschriften waarin iemand publiceert of naar iemands H-index.

Ad Valvas (1990) Nijkamp geïnterviewd door Frank van Kolfschooten

Te vrezen valt echter dat het idee van kwaliteit sluipenderwijs is geherdefinieerd als productiviteit. Wie veel publiceert laat zien dat hij of zij productief is, en dat is goed. Voor de betreffende onderzoeker is deze (meestal impliciete) norm een prettige bijkomstigheid: vaak geciteerd worden is immers lastiger voor elkaar te krijgen dan veel publiceren. Nijkamp zelf stelt (in Ad Valvas, 15 januari 2014) dat dit laatste een kwestie is van oefenen en organiseren. Een stevige publicatielijst kan gerealiseerd worden 'door een uitgekiende keuze van excellente coauteurs over de hele wereld, door een strakke onderzoeksdiscipline (met werkweken van minimaal 80 uur), en een toegewijde professionele support staf.' Vervolgens concludeert Nijkamp: 'Er is niets wonderlijks aan de hand met mijn productiviteitsperformance. Ik ben helemaal geen wonderkind, maar ik weet wel heel goed wat onderzoek organiseren betekent.'

Productiviteitsperformance. In dit woord vloeien de econoom en de bestuurder samen. Het doel van wetenschappelijke arbeid is 'productie van publicaties'. Dat je al doende iets ontdekt of beter begrijpt is mooi meegenomen, maar het is niet de bedoeling dat je wacht met publiceren tot je iets zeker weet of het tot op de bodem hebt uitgezocht. Dat wekt toch de indruk dat je excuses zoekt om niet te voldoen aan de publicatienorm. Die tijd hebben we gehad. De aloude academische mores zijn sluipenderwijs vervangen door die van de wetenschappelijke ondernemer, die desnoods ook zijn 'halffabricaten' (term van Nijkamp) publiceert. Officieel tellen die voor de productiviteitsperformance niet mee, aldus Nijkamp, dus het is oneerlijk om het gebruik ervan in de eindproducten als laakbare praktijk aan te merken, zoals Van Kolfschooten en anderen doen. Laten we afwachten hoe de commissie-Zwemmer hierover gaat oordelen. Intussen beveel ik het door Kees Schuyt geformuleerde motto aan: 'Minder schrijven, meer lezen'. Want dat is toch waar publicaties voor bedoeld zijn.

Kritisch in Groningen

De publicatiefabriek levert een bescheiden tournee op, en zo reisde ik gisteren naar Groningen om in het Muntinggebouw de discussie over 'Beterschap in de wetenschap' aan te jagen. Fraude (data fabriceren of vervalsen, of plagiaat) stond niet ter discussie, wel de verschuivingen die in de universitaire wereld hebben plaatsgevonden: de grotere nadruk op onderzoek en op het genereren van een gestage stroom publicaties als het doel van onderzoek. Bij het bereiken van dat doel vindt de onderzoeker reviewers op zijn of haar weg, maar vooral de weerbarstige werkelijkheid, die niet altijd meewerkt om iets publicabels te genereren. Daardoor kan men in de verleiding komen wat te stoeien met variabelen, condities en proefpersonen. Uit een onderzoek van Lesley John en collega's (2012) blijkt dat dergelijke Questionable Research Practices (QRP's) vaker voorkomen dan men wil weten. Dat geeft vervuiling in de wetenschap, maar kan wel helpen de publicatiescore te verhogen.

De Groningse statisticus Rink Hoekstra, de tweede spreker, benadrukte dat dergelijke, strikt genomen ongeoorloofde manipulaties vaak helemaal niet bewust gebeuren. Gewone onderzoekers hebben vaak een beperkte kennis van statistiek (om dat te illustreren onderwierp hij de zaal aan een rijtje basale vragen over significantietoetsing). Juist die significantie wordt, volgens hem ten onrechte, gezien als een noodzakelijk toegangsbewijs voor het realiseren publicaties. Een significantietoets zou functioneren als een scheidsrechter voor het bepalen van echte en toevallige effecten, maar daartoe is hij helemaal niet in staat. Maar Hoekstra vergeleek significantietoetsing met een voetbalscheidsrechter die geen enkel verstand van voetbal heeft en ook nog gemakkelijk is om te kopen.

Is dat niet een heel academische discussie? Valt er überhaupt iets aan te doen? Ja, toch wel. In het laatste deel van zijn betoog wees Hoekstra op een hele reeks initiatieven die de laatste tijd zijn genomen: de nieuwe richtlijnen van Psychological Science, het Open Science Framework, ArXiv, verbeteringen op het gebied van data-archivering, 'presubmission' van onderzoeksplannen et cetera. En onderzoekers kunnen zelf ook iets doen: open zijn over de stappen die ze zetten, niet te stellig zijn in hun conclusies, en vooral: niet de kop in het zand steken als dit soort kwesties aan de orde komen. Een echte wetenschapper is kritisch over zijn eigen producten en die van zijn vakgenoten, en gaat de discussie aan.

Dat liet de zaal zich geen twee keer zeggen. Behalve studenten en onderzoekers mengde ook FSW-decaan Henk Kiers zich in de discussie, met name toen het ging over een passende aanpak van kwaliteitsbeoordeling van wetenschappelijk personeel. Hij nodigde sprekers en zaal uit om met alternatieven te komen, die beter recht zouden doen aan de aard en de doelen van het wetenschappelijk werk c.q. de onzekerheden op het pad van de kennisverwerving. Accepteer dat er verschillende tradities in onderzoek en verschillende publicatieculturen zijn en houd daarmee rekening in je beoordelingswerk, was mijn antwoord (overigens geheel in lijn met het rapport van de KNAW-commissie-Bensing over kwaliteitsindicatoren voor de sociale wetenschappen, dat u hier kunt vinden).

Als wetenschap topsport is...

... moet je niet verbaasd zijn als er af en toe een Lance Armstrong voorbij komt. VU-hoogleraar ruimtelijke economie Peter Nijkamp is zo'n topper: met ruim 1000 publicaties staat hij internationaal aan de top binnen de economische wetenschap. In 2011, het jaar dat hij met pensioen mocht, publiceerde Nijkamp 127 artikelen, oftewel één per drie dagen. Met zo'n productieve hoogleraar zou iedere universiteit blij zijn. En de VU was blij met hem.

Inderdaad: was, want de VU moet nu het hele oeuvre van Nijkamp onder de plagiaatscanner leggen. Uit een steekproef is gebleken dat hij er zo zijn eigen regels op nahoudt voor het gebruik van eerder eigen werk. Voorbeelden zijn hier te vinden. De zaak kwam aan het rollen door een anonieme klacht over het proefschrift The New Urban World van Karima Kourtit. De klacht was zo serieus dat rector magnificus Van der Duyn Schouten een onderzoekscommissie instelde, onder voorzitterschap van oud-KNAW-president Pieter Drenth. De conclusie was dat in dit proefschrift sprake was van incorrecte bronvermelding, 'wellicht het gevolg van onvoldoende kennis van de geldende regels', aldus de commissie. Maar Nijkamp en Kourtit vinden dat het kopiëren zonder bronvermelding uit eigen werk helemaal geen probleem is, zelfs als daarbij coauteurs in het spel zijn die van niets weten.

Op 22 juni 2004 tekenen Nijkamp (NWO) en Levelt (KNAW) het contract voor DANS (data-archivering)

Het omverhalen van een 'golden boy' is geen sinecure. Nijkamp is niet alleen universiteitshoogleraar aan de VU, een soort paradepaard, hij was ook vicevoorzitter van de KNAW (1999-2002) en voorzitter van NWO (2002-2008). Geen wonder dat de VU aarzelde om hem aan te pakken. Maar na de publicaties van Van Kolfschooten (NRC, 7 januari 2014) en Kooistra en Sahadat (Volkskrant, 8 januari 2014) is er geen ontkomen meer aan.

Wat moeten we uit deze nieuwe affaire nu concluderen? In ieder geval dat we te maken hebben met een speler die weet hoe het beoordelingssysteem in de wetenschap werkt en, sterker nog, het als bobo binnen de KNAW en NWO zelf mee heeft helpen vormgeven. Het gaat niet om kennis, maar om prestige door productiviteit: hoe meer artikelen, hoe beter! Knippen en plakken is daarbij een handig hulpmiddel. Vervelend is dat dit idee deel kan gaan uitmaken van de impliciete kennisoverdracht aan studenten en AIO's (in het geval van Nijkamp en Kourtit was het zelfs een expliciete les). Onderstaande cartoon van Bas van der Schot uit de Volkskrant van vandaag drukt dat op treffende wijze uit.

Wetenschappelijke publicaties zijn van oorsprong bedoeld om inhoud te communiceren. Dat betekent dat er niet alleen auteurs maar ook lezers moeten zijn, en binnen de wetenschap moeten dat kritische lezers zijn. Ze moeten de tijd voor nemen. Auteurs die jaarlijks vele tientallen artikelen de wereld in sturen, zijn niet alleen bezig met zelfpromotie, maar saboteren ook de transparantie in de wetenschap. Als lezer raak je het overzicht nog gemakkelijker kwijt dan al het geval was. Maar te vrezen valt dat er überhaupt weinig gelezen wordt: niemand in het vakgebied van Peter Nijkamp heeft immers  opgemerkt dat diens artikelen wel erg op elkaar leken.

In enkele reacties op mijn boek De publicatiefabriek werd wat denigrerend opgemerkt dat ik met mijn pleidooi voor soberheid in het aantal publicaties (liever goed mikken dan een schot hagel) en voor het doen herleven van de kritische functie binnen de wetenschap (lezen!) wel erg ouderwets bezig was. Wie dat vindt zal het ongetwijfeld ook geen probleem vinden als wetenschappelijke publicaties voortaan in de eerste plaats (of misschien wel uitsluitend) door een plagiaatdetector gelezen worden...