Kritisch in Groningen

De publicatiefabriek levert een bescheiden tournee op, en zo reisde ik gisteren naar Groningen om in het Muntinggebouw de discussie over 'Beterschap in de wetenschap' aan te jagen. Fraude (data fabriceren of vervalsen, of plagiaat) stond niet ter discussie, wel de verschuivingen die in de universitaire wereld hebben plaatsgevonden: de grotere nadruk op onderzoek en op het genereren van een gestage stroom publicaties als het doel van onderzoek. Bij het bereiken van dat doel vindt de onderzoeker reviewers op zijn of haar weg, maar vooral de weerbarstige werkelijkheid, die niet altijd meewerkt om iets publicabels te genereren. Daardoor kan men in de verleiding komen wat te stoeien met variabelen, condities en proefpersonen. Uit een onderzoek van Lesley John en collega's (2012) blijkt dat dergelijke Questionable Research Practices (QRP's) vaker voorkomen dan men wil weten. Dat geeft vervuiling in de wetenschap, maar kan wel helpen de publicatiescore te verhogen.

De Groningse statisticus Rink Hoekstra, de tweede spreker, benadrukte dat dergelijke, strikt genomen ongeoorloofde manipulaties vaak helemaal niet bewust gebeuren. Gewone onderzoekers hebben vaak een beperkte kennis van statistiek (om dat te illustreren onderwierp hij de zaal aan een rijtje basale vragen over significantietoetsing). Juist die significantie wordt, volgens hem ten onrechte, gezien als een noodzakelijk toegangsbewijs voor het realiseren publicaties. Een significantietoets zou functioneren als een scheidsrechter voor het bepalen van echte en toevallige effecten, maar daartoe is hij helemaal niet in staat. Maar Hoekstra vergeleek significantietoetsing met een voetbalscheidsrechter die geen enkel verstand van voetbal heeft en ook nog gemakkelijk is om te kopen.

Is dat niet een heel academische discussie? Valt er überhaupt iets aan te doen? Ja, toch wel. In het laatste deel van zijn betoog wees Hoekstra op een hele reeks initiatieven die de laatste tijd zijn genomen: de nieuwe richtlijnen van Psychological Science, het Open Science Framework, ArXiv, verbeteringen op het gebied van data-archivering, 'presubmission' van onderzoeksplannen et cetera. En onderzoekers kunnen zelf ook iets doen: open zijn over de stappen die ze zetten, niet te stellig zijn in hun conclusies, en vooral: niet de kop in het zand steken als dit soort kwesties aan de orde komen. Een echte wetenschapper is kritisch over zijn eigen producten en die van zijn vakgenoten, en gaat de discussie aan.

Dat liet de zaal zich geen twee keer zeggen. Behalve studenten en onderzoekers mengde ook FSW-decaan Henk Kiers zich in de discussie, met name toen het ging over een passende aanpak van kwaliteitsbeoordeling van wetenschappelijk personeel. Hij nodigde sprekers en zaal uit om met alternatieven te komen, die beter recht zouden doen aan de aard en de doelen van het wetenschappelijk werk c.q. de onzekerheden op het pad van de kennisverwerving. Accepteer dat er verschillende tradities in onderzoek en verschillende publicatieculturen zijn en houd daarmee rekening in je beoordelingswerk, was mijn antwoord (overigens geheel in lijn met het rapport van de KNAW-commissie-Bensing over kwaliteitsindicatoren voor de sociale wetenschappen, dat u hier kunt vinden).

Als wetenschap topsport is...

... moet je niet verbaasd zijn als er af en toe een Lance Armstrong voorbij komt. VU-hoogleraar ruimtelijke economie Peter Nijkamp is zo'n topper: met ruim 1000 publicaties staat hij internationaal aan de top binnen de economische wetenschap. In 2011, het jaar dat hij met pensioen mocht, publiceerde Nijkamp 127 artikelen, oftewel één per drie dagen. Met zo'n productieve hoogleraar zou iedere universiteit blij zijn. En de VU was blij met hem.

Inderdaad: was, want de VU moet nu het hele oeuvre van Nijkamp onder de plagiaatscanner leggen. Uit een steekproef is gebleken dat hij er zo zijn eigen regels op nahoudt voor het gebruik van eerder eigen werk. Voorbeelden zijn hier te vinden. De zaak kwam aan het rollen door een anonieme klacht over het proefschrift The New Urban World van Karima Kourtit. De klacht was zo serieus dat rector magnificus Van der Duyn Schouten een onderzoekscommissie instelde, onder voorzitterschap van oud-KNAW-president Pieter Drenth. De conclusie was dat in dit proefschrift sprake was van incorrecte bronvermelding, 'wellicht het gevolg van onvoldoende kennis van de geldende regels', aldus de commissie. Maar Nijkamp en Kourtit vinden dat het kopiëren zonder bronvermelding uit eigen werk helemaal geen probleem is, zelfs als daarbij coauteurs in het spel zijn die van niets weten.

Op 22 juni 2004 tekenen Nijkamp (NWO) en Levelt (KNAW) het contract voor DANS (data-archivering)

Het omverhalen van een 'golden boy' is geen sinecure. Nijkamp is niet alleen universiteitshoogleraar aan de VU, een soort paradepaard, hij was ook vicevoorzitter van de KNAW (1999-2002) en voorzitter van NWO (2002-2008). Geen wonder dat de VU aarzelde om hem aan te pakken. Maar na de publicaties van Van Kolfschooten (NRC, 7 januari 2014) en Kooistra en Sahadat (Volkskrant, 8 januari 2014) is er geen ontkomen meer aan.

Wat moeten we uit deze nieuwe affaire nu concluderen? In ieder geval dat we te maken hebben met een speler die weet hoe het beoordelingssysteem in de wetenschap werkt en, sterker nog, het als bobo binnen de KNAW en NWO zelf mee heeft helpen vormgeven. Het gaat niet om kennis, maar om prestige door productiviteit: hoe meer artikelen, hoe beter! Knippen en plakken is daarbij een handig hulpmiddel. Vervelend is dat dit idee deel kan gaan uitmaken van de impliciete kennisoverdracht aan studenten en AIO's (in het geval van Nijkamp en Kourtit was het zelfs een expliciete les). Onderstaande cartoon van Bas van der Schot uit de Volkskrant van vandaag drukt dat op treffende wijze uit.

Wetenschappelijke publicaties zijn van oorsprong bedoeld om inhoud te communiceren. Dat betekent dat er niet alleen auteurs maar ook lezers moeten zijn, en binnen de wetenschap moeten dat kritische lezers zijn. Ze moeten de tijd voor nemen. Auteurs die jaarlijks vele tientallen artikelen de wereld in sturen, zijn niet alleen bezig met zelfpromotie, maar saboteren ook de transparantie in de wetenschap. Als lezer raak je het overzicht nog gemakkelijker kwijt dan al het geval was. Maar te vrezen valt dat er überhaupt weinig gelezen wordt: niemand in het vakgebied van Peter Nijkamp heeft immers  opgemerkt dat diens artikelen wel erg op elkaar leken.

In enkele reacties op mijn boek De publicatiefabriek werd wat denigrerend opgemerkt dat ik met mijn pleidooi voor soberheid in het aantal publicaties (liever goed mikken dan een schot hagel) en voor het doen herleven van de kritische functie binnen de wetenschap (lezen!) wel erg ouderwets bezig was. Wie dat vindt zal het ongetwijfeld ook geen probleem vinden als wetenschappelijke publicaties voortaan in de eerste plaats (of misschien wel uitsluitend) door een plagiaatdetector gelezen worden...

Afscheid van de slodderwetenschap?

Marino van Zelst

Chris Hartgerink

Fraude in de wetenschap blijft de gemoederen bezig houden. Marino van Zelst en Chris Hartgerink schreven op 12 oktober in NRC Handelsblad dat fraude voortkomt uit zelf opgelegde publicatiedruk en uit de geslotenheid van het onderzoeksproces.

 

David Goodstein voegde daar in On fact and fraud (2010) nog aan toe dat fraudeurs bijna altijd werken in een domein waar men niet verwacht dat onderzoeken exact reproduceerbaar zijn.







Fraude, hoe afkeurenswaardig ook, is niet het echte probleem, schreef ik in een ingezonden brief (NRC Handelsblad 17 oktober). Data fabriceren of vervalsen doen slechts weinigen, maar goochelen met statistische analyses is wijdverbreid. Ik noemde dat, in navolging van de commissie-Levelt, 'slodderwetenschap', en dus schreef de koppenmaker van NRC Handelsblad boven mijn brief: 'Sloddervossen zijn erger dan fraudeurs'. Maar dat stond niet in mijn brief.


Bij nader inzien wekt de term 'slodderwetenschap' (een vrije vertaling van sloppy science) een verkeerde indruk, alsof het om slordigheidjes zou gaan. Het gaat echter om mooier maken, om het fotoshoppen van je onderzoeksbevindingen, om zo je kans op publicatie te vergroten. Op zich is dit natuurlijk niet zo vreemd, maar de vraag is wel: hoe ver mag je daarin gaan? Mijn eigen faculteit hield daarover vorige week nog een discussiebijeenkomst, onder de titel 'Sloppy science - Use and misuse of data in the behavioural and social sciences'.

Denk nu niet dat dit probleem alleen in Nederland of alleen in de sociale wetenschappen voorkomt. In The Economist van vorige week wordt een indringend overzicht gegeven van zowel 'questionable research practices' als stomme fouten als gevolg van onvoldoende kennis van de statistiek. Het blijkt dat zelfs in de subatomaire fysica bias kan optreden wanneer de onderzoekers weten wat er uit moet komen!

Harry Collins

Is replicatie dan het geheime wapen om de zaak weer op orde te krijgen? In theorie misschien wel, maar het artikel in The Economist maakt duidelijk dat er op die weg nog heel wat voetangels en klemmen zijn, waaronder de door Harry Collins gemunte term 'experimenter's regress: een replicatie is pas echt goed als deze hetzelfde resultaat oplevert als het origineel...

PS In Trouw (11 oktober) stond een opiniestuk van de artsen Yvo Smulders en Joeri Tijdink met als titel 'Mild bedrog' groter probleem dan fraude. Zij belichten vooral de onbewuste beïnvloeding van onderzoekers als gevolg van perverse factoren (financiële belangen, publicatiedruk).

De lessen van Stapel

Lesgeven over fraude en integriteit in de wetenschap was aan de Universiteit van Tilburg tot twee jaar geleden toevertrouwd aan ervaringsdeskundige Diederik Stapel. Daar kunnen we in ieder geval van leren dat er voor fraudebestrijding meer nodig is dan mooie woorden en gedragscodes. Onder andere daarover ging het op dinsdag 15 oktober in Nijmegen, in een discussie met sociaalpsycholoog en decaan sociale wetenschappen Daniel Wigboldus.

Wigboldus verdedigde zijn vak, en dat siert hem. Het rapport van de Commissie Levelt had hem wel aan het denken gezet, maar Stapel was zeker niet typerend voor de sociale psychologie, al was het maar door zijn neiging de gelederen van zijn leerstoelgroep sterk gesloten te houden. Die sekte-achtige benadering zagen we trouwens ook in de fraudezaak van de cultureel-antropoloog Bax. 


Met mijn stelling 'Het huidige systeem van kwaliteitsbeoordeling bevordert calculerend gedrag en benadeelt de wetenschap' leek Wigboldus het wel eens te zijn. Als decaan wil hij zich sterk maken voor een meer genuanceerde vorm van kwaliteitsbeoordeling dan het tellen van publicaties of het registreren van de H-index van onderzoekers.




Misschien is op dit punt het tij sowieso al aan het keren, zoals vanuit het publiek door de cultureel antropoloog Henk Driessen betoogd werd.




Wigboldus kan zich in ieder geval beroepen op het rapport van de KNAW-commissie-Bensing over kwaliteitsindicatoren in de sociale wetenschapppen. En ook Bert van der Zwaan, rector magnificus van de Universiteit Utrecht, wil af van de 'volumetrie' in de gangbare wetenschapsideologie, maar hij vergelijkt het in een interview met DUB met het van koers laten veranderen van een olietanker: het gaat heel langzaam.

De discussie in Nijmegen was overigens georganiseerd door het Centrum voor Ethiek en stond onder leiding van Evert van der Zweerde. Mijn powerpoint met de stellingen vind je hier.

Grillige experimenten

Met regelmaat ontvang ik reacties van lezers op De publicatiefabriek. Zo schreef een oud-collega me deze week: 'Ik heb gisteren jouw prachtboek uitgelezen en ben vol lof. Het leest als een trein, er valt veel te lachen, het is heel beargumenteerd geschreven, de lezer steekt er een hele hoop van op, en de studie is ook nog een inleiding in de filosofie van de sociale wetenschappen met aandacht voor de heilige drie-eenheid: Methode, Epistemologie en Ontologie. Dit aan de hand van de casus: de  meesterfraude van Stapel, of om Reve te parafraseren: ‘dit verzint alleen de werkelijkheid.’'

Marco de Baar

Ook buiten de sociale wetenschappen trekt het boek de aandacht. In het oktobernummer van De Psycholoog schreef Marco de Baar, hoogleraar natuurkunde aan de Technische Universiteit Eindhoven: '[Abma] slaagt er prima in om te beschrijven hoe, in het kielzog van schijnbaar objectieve criteria, slodderwetenschap kan ontstaan'. Zijn conclusie: 'Dit boek is daarom zeker ook relevant voor wetenschappers uit andere disciplines'.

De Baar maakt interessante opmerkingen over de betekenis van replicatie-onderzoek: 'Als in experimenten soms sterke effecten worden gevonden en soms niet, dan zegt dat juist iets heel wezenlijks over het systeem dat onderzocht wordt. Replicatie-onderzoek zou juist inzicht kunnen geven in de grilligheid van het systeem [...]'. Hij geeft vervolgens een voorbeeld uit de chaostheorie (zie filmpje hier) waaruit blijkt dat afhankelijk van het startpunt van de slinger een sterk effect optreedt of juist helemaal niet. De theorie is niet falsifieerbaar en het experiment niet exact te repliceren. Ergo: 'Methoden en technieken die optimaal geschikt zijn voor de bestudering van de ene klasse van systemen zijn niet overal probleemloos inzetbaar.'

Misschien moet je hieruit ook maar direct concluderen dat het experiment niet zo'n geschikte methode is om menselijk gedrag te onderzoeken. Anders dan natuurkundige objecten hebben mensen een perceptie en interpretatie van de (experimentele) situatie, en die beïnvloedt onvermijdelijk hun gedrag. Pogingen om dat alles onder controle te krijgen leveren soms een interessant effect op, dat dan vervolgens in replicatie-onderzoek weer sneuvelt. Het is buitengewoon ingewikkeld om uit te zoeken waar dat aan ligt: de hoeveelheid begincondities en 'storende factoren' is in de menswetenschappen nog veel groter dan in de natuurwetenschappen.

Zelfs als je het experiment wel zinvol vindt voor de menswetenschappen, is het de vraag of je moet aanbevelen dat ieder experimenteel onderzoek hier gevolgd wordt door een reeks replicatiestudies. Of de oorspronkelijke resultaten nu bevestigd worden of niet, telkens zal toch de knagende vraag zijn: heb ik exact hetzelfde onderzocht als mijn voorganger? Buiten dat is er de vraag van relevantie: moet je niet beperken tot onderzoek (en replicatie) waarbij het hele veld het er over eens is dat er een theoretisch relevante kwestie op het spel staat? Gezien de hoeveelheid theorieën (en theorettes) in de psychologie is die consensus nog ver weg. Dan staat de aanbeveling om standaard te repliceren gelijk aan het gooien van een bommetje in een confettifabriek, met als gevolg een explosie aan losse snippers waar niemand meer wijs uit kan worden. In de sociale psychologie vergde het alleen al twee dikke delen Handbook of Theories of Social Psychology (in het jaar van Stapels démasqué gepubliceerd onder redactie van Van Lange, Kruglanski en Higgins) om op theoretisch vlak enig lijn in de zaak te brengen.

Een kritische discussie over de mogelijke verbeteringen in dit veld, zoals De Baar aanbeveelt, is zeker op zijn plaats. Het installeren van een automatische replicatiepiloot en methodologische fijnslijperij, wat nu de dominante trend lijkt te worden, lijken me hierbij geen zinvolle acties, het vergroten van het theoretische gewicht van (sociaal)psychologisch onderzoek wel.

Klik hier voor de recensie van Marco de Baar in De Psycholoog.

'Het was mijn broer'

Weet u nog, Joseph Luns? Die stond als student van 1933 tot 1936 ingeschreven als lid van de NSB. Zelf wist hij dat niet, zijn broer had hem buiten zijn medeweten ingeschreven, zo verklaarde hij. Desgevraagd bevestigde zijn broer dat – maar het bleek niet waar. Luns had hem onder druk gezet, uit vrees te moeten aftreden als secretaris-generaal van de NAVO.

Uit het rapport over het wetenschappelijk wangedrag van de cultureel antropoloog Mart Bax komt een soortgelijke manoeuvre naar voren: 57 van zijn ruim 150 publicaties zijn ‘niet gerealiseerd’, maar wel in zijn officiële publicatielijst opgenomen. Hoe kwam dat? Bax gaf jaarlijks de titels op van artikelen, papers en andere probeersels waar hij mee bezig was. Soms leidde dat niet tot publicatie omdat hij ziek werd of omdat er een oorlog uitbrak (antropologen werken soms in roerige regio’s). Anderen op de afdeling waren dan zo voorbarig of onzorgvuldig om die geplande publicaties als ‘gerealiseerd’ in de officiële lijsten te zetten. Zelf had hij niets in de gaten: zijn fysieke handicap verhinderde hem van een beeldscherm te lezen, hij had nooit geleerd met geautomatiseerde systemen te werken en hij had een weerzin tegen bureaucratische procedures. Het belette hem overigens niet om zijn handtekening onder de opgaven te zetten.

Bax, geboren in 1937, kwam in 1965 in dienst van de VU, promoveerde in 1973 aan de Universiteit van Amsterdam, en werd aan de VU in 1986 UHD en in 1988 bijzonder hoogleraar ‘politieke antropologie in het bijzonder religieuze machtsvorming en processen van staatsformatie’. Deze carrière berustte voor een belangrijk deel op zijn buitengewoon hoge wetenschappelijke productie en zijn actieve betrokkenheid in een internationaal wetenschappelijk netwerk. Een derde van die publicaties bestond dus simpelweg niet. Van de wel gematerialiseerde publicaties (ruim 90) bleek een belangrijk deel te bestaan uit ‘recycling’ van eerdere publicaties, een lucratieve vorm van zelfplagiaat. Zelf zag Bax daar weinig problemen in: het was een gebruikelijke strategie en ‘een manier om meer mensen zijn teksten te laten lezen’ (p.35).

Bax' meest prestigieuze publicatie (1995), vol onjuistheden en slordigheden.

Uit het rapport over Bax stijgt, behalve een walm van misleiding en slordigheid, het beeld op van een hoogleraar die zichzelf een god waant: hij reageerde niet op kritieken op zijn werk en hij maakte van zijn afdeling een sekte ‘waarbinnen het voor insiders goed toeven was maar waar invloeden van buiten systematisch werden geweerd. […] Promovendi moesten hun plek vinden in een sterk afgesloten omgeving, waarin woord van Bax wet was’ (p. 43-44). Het is een bekend patroon, net zoals de neiging om met spectaculaire publicaties de media te halen (religieuze vernederingsrituelen in Neerdonk, het bloedbad dat zou hebben plaatsgevonden in Medjugorje). Uiteraard is het archief van Bax opgeruimd, en zijn de lokale informanten overleden, zodat de commissie eigenlijk niets aan oorspronkelijke bronnen kon controleren.

Dit alles stuit tegen de borst, maar wat mij nog het meest trof was de manier waarop Bax allerlei slordigheden en omissies in zijn publicaties goedpraatte. Hij had gekozen voor ‘het hanteren van een schrijfstijl, mede geïnspireerd op Norbert Elias en Johan Goudsblom, waarin methodologische nuanceringen werden vermeden om de tekst leesbaar te houden’ (p.16). Bax was met zijn ‘theorie van religieuze regimes’ een fanatiek aanhanger van Elias, maar wat hij hem hier in de schoenen schuift is buitengewoon kwaadaardig. En de bescheiden, erudiete en nauwkeurige Goudsblom tot 'partner in crime' te benoemen getuigt van een niets ontziende drang tot zelfrechtvaardiging.

Rantsoen

Bind het aantal publicaties per onderzoeker aan een maximum. Dat is een van de suggesties in het slothoofdstuk van De publicatiefabriek. Dit is geen nieuwe gedachte. Anita Jansen, hoogleraar in de psychologie aan de Universiteit Maastricht, opperde het al in 1993, en de filosoof en socioloog Tannelie Blom maakte er in 1997 een stelling bij zijn proefschrift van. En onlangs kwam ik het weer tegen in de rubriek 'Ware wetenschap' van De Volkskrant (27 augustus 2013).

De communicatiewetenschapper Daniël Janssen bood de lezer een kijkje op de werkvloer. Bij het beoordelingsgesprek vinkte zijn leidinggevende af hoe vaak Janssen het afgelopen jaar had gepubliceerd in hoog aangeschreven tijdschriften. 'We spraken wel over onderwijs en andere activiteiten, maar uiteindelijk wordt een wetenschapper op zijn H-index afgerekend.' Zo'n twee keer per jaar moet Janssen in een A- of een B-tijdschrift staan; daar ligt de lat. Over de inhoud van zijn werk ging het bij dat beoordelingsgesprek niet, als we op het krantenbericht mogen afgaan.

Janssen wordt er niet vrolijk van, maar moet er wel aan meedoen. Liever zou hij zien dat wetenschappers op rantsoen geplaatst worden: 'Bepaal dat ze maximaal twee keer per jaar een artikel mogen insturen naar een tijdschrift. Dan ga je beter nadenken over de vraag welk onderzoek het meest waardevol is. Kwaliteit boven kwantiteit.' Kortom, grenzen aan het productiewerk. Ook hier gaat het trouwens niet over de inhoud. Stel dat het ontwikkelen van het theoretisch kader (inclusief literatuurstudie) meer tijd kost, of het empirisch onderzoek in eerste aanleg weinig interessants oplevert. Dat is volstrekt normaal, maar in de huidige onderzoekscultuur wordt dat niet geaccepteerd: publiceren zul je! Dit is het soort imperatieven dat uiterst saaie artikelen oplevert die niemand wil lezen, de publicatiecholesterol die de aderen van de wetenschap doet dichtslibben, om over erger maar te zwijgen. We weten inmiddels waar sommige wetenschappers toe in staat zijn als ze in paniek raken.

Dan toch maar even over de inhoud. Volgens de Volkskrant ging het om experimenten over het effect van excuses door bedrijven (bijvoorbeeld bij wanprestatie) op de boosheid van klanten. Wat denkt u dat de wetmatigheid zal zijn? Inderdaad, hoe bozer klanten zijn over een schandaal, des te meer zijn die excuses nodig om hun woede te temperen. Dat is, om het zacht te zeggen, bepaald niet contra-intuïtief (al zal het eigenlijke onderzoek vast ingewikkelder zijn).  Janssen wil met dit resultaat terechtkomen in het A-tijdschrift in zijn branche, Public Relations Review, waarin wel vaker dit soort onderzoeken over excuses worden gepubliceerd. Mij lijkt dat het bij dit type onderzoek inderdaad raadzaam is het aantal artikelen beperkt te houden.