Afscheid van de slodderwetenschap?

Marino van Zelst

Chris Hartgerink

Fraude in de wetenschap blijft de gemoederen bezig houden. Marino van Zelst en Chris Hartgerink schreven op 12 oktober in NRC Handelsblad dat fraude voortkomt uit zelf opgelegde publicatiedruk en uit de geslotenheid van het onderzoeksproces.

 

David Goodstein voegde daar in On fact and fraud (2010) nog aan toe dat fraudeurs bijna altijd werken in een domein waar men niet verwacht dat onderzoeken exact reproduceerbaar zijn.







Fraude, hoe afkeurenswaardig ook, is niet het echte probleem, schreef ik in een ingezonden brief (NRC Handelsblad 17 oktober). Data fabriceren of vervalsen doen slechts weinigen, maar goochelen met statistische analyses is wijdverbreid. Ik noemde dat, in navolging van de commissie-Levelt, 'slodderwetenschap', en dus schreef de koppenmaker van NRC Handelsblad boven mijn brief: 'Sloddervossen zijn erger dan fraudeurs'. Maar dat stond niet in mijn brief.


Bij nader inzien wekt de term 'slodderwetenschap' (een vrije vertaling van sloppy science) een verkeerde indruk, alsof het om slordigheidjes zou gaan. Het gaat echter om mooier maken, om het fotoshoppen van je onderzoeksbevindingen, om zo je kans op publicatie te vergroten. Op zich is dit natuurlijk niet zo vreemd, maar de vraag is wel: hoe ver mag je daarin gaan? Mijn eigen faculteit hield daarover vorige week nog een discussiebijeenkomst, onder de titel 'Sloppy science - Use and misuse of data in the behavioural and social sciences'.

Denk nu niet dat dit probleem alleen in Nederland of alleen in de sociale wetenschappen voorkomt. In The Economist van vorige week wordt een indringend overzicht gegeven van zowel 'questionable research practices' als stomme fouten als gevolg van onvoldoende kennis van de statistiek. Het blijkt dat zelfs in de subatomaire fysica bias kan optreden wanneer de onderzoekers weten wat er uit moet komen!

Harry Collins

Is replicatie dan het geheime wapen om de zaak weer op orde te krijgen? In theorie misschien wel, maar het artikel in The Economist maakt duidelijk dat er op die weg nog heel wat voetangels en klemmen zijn, waaronder de door Harry Collins gemunte term 'experimenter's regress: een replicatie is pas echt goed als deze hetzelfde resultaat oplevert als het origineel...

PS In Trouw (11 oktober) stond een opiniestuk van de artsen Yvo Smulders en Joeri Tijdink met als titel 'Mild bedrog' groter probleem dan fraude. Zij belichten vooral de onbewuste beïnvloeding van onderzoekers als gevolg van perverse factoren (financiële belangen, publicatiedruk).

De lessen van Stapel

Lesgeven over fraude en integriteit in de wetenschap was aan de Universiteit van Tilburg tot twee jaar geleden toevertrouwd aan ervaringsdeskundige Diederik Stapel. Daar kunnen we in ieder geval van leren dat er voor fraudebestrijding meer nodig is dan mooie woorden en gedragscodes. Onder andere daarover ging het op dinsdag 15 oktober in Nijmegen, in een discussie met sociaalpsycholoog en decaan sociale wetenschappen Daniel Wigboldus.

Wigboldus verdedigde zijn vak, en dat siert hem. Het rapport van de Commissie Levelt had hem wel aan het denken gezet, maar Stapel was zeker niet typerend voor de sociale psychologie, al was het maar door zijn neiging de gelederen van zijn leerstoelgroep sterk gesloten te houden. Die sekte-achtige benadering zagen we trouwens ook in de fraudezaak van de cultureel-antropoloog Bax. 


Met mijn stelling 'Het huidige systeem van kwaliteitsbeoordeling bevordert calculerend gedrag en benadeelt de wetenschap' leek Wigboldus het wel eens te zijn. Als decaan wil hij zich sterk maken voor een meer genuanceerde vorm van kwaliteitsbeoordeling dan het tellen van publicaties of het registreren van de H-index van onderzoekers.




Misschien is op dit punt het tij sowieso al aan het keren, zoals vanuit het publiek door de cultureel antropoloog Henk Driessen betoogd werd.




Wigboldus kan zich in ieder geval beroepen op het rapport van de KNAW-commissie-Bensing over kwaliteitsindicatoren in de sociale wetenschapppen. En ook Bert van der Zwaan, rector magnificus van de Universiteit Utrecht, wil af van de 'volumetrie' in de gangbare wetenschapsideologie, maar hij vergelijkt het in een interview met DUB met het van koers laten veranderen van een olietanker: het gaat heel langzaam.

De discussie in Nijmegen was overigens georganiseerd door het Centrum voor Ethiek en stond onder leiding van Evert van der Zweerde. Mijn powerpoint met de stellingen vind je hier.

Grillige experimenten

Met regelmaat ontvang ik reacties van lezers op De publicatiefabriek. Zo schreef een oud-collega me deze week: 'Ik heb gisteren jouw prachtboek uitgelezen en ben vol lof. Het leest als een trein, er valt veel te lachen, het is heel beargumenteerd geschreven, de lezer steekt er een hele hoop van op, en de studie is ook nog een inleiding in de filosofie van de sociale wetenschappen met aandacht voor de heilige drie-eenheid: Methode, Epistemologie en Ontologie. Dit aan de hand van de casus: de  meesterfraude van Stapel, of om Reve te parafraseren: ‘dit verzint alleen de werkelijkheid.’'

Marco de Baar

Ook buiten de sociale wetenschappen trekt het boek de aandacht. In het oktobernummer van De Psycholoog schreef Marco de Baar, hoogleraar natuurkunde aan de Technische Universiteit Eindhoven: '[Abma] slaagt er prima in om te beschrijven hoe, in het kielzog van schijnbaar objectieve criteria, slodderwetenschap kan ontstaan'. Zijn conclusie: 'Dit boek is daarom zeker ook relevant voor wetenschappers uit andere disciplines'.

De Baar maakt interessante opmerkingen over de betekenis van replicatie-onderzoek: 'Als in experimenten soms sterke effecten worden gevonden en soms niet, dan zegt dat juist iets heel wezenlijks over het systeem dat onderzocht wordt. Replicatie-onderzoek zou juist inzicht kunnen geven in de grilligheid van het systeem [...]'. Hij geeft vervolgens een voorbeeld uit de chaostheorie (zie filmpje hier) waaruit blijkt dat afhankelijk van het startpunt van de slinger een sterk effect optreedt of juist helemaal niet. De theorie is niet falsifieerbaar en het experiment niet exact te repliceren. Ergo: 'Methoden en technieken die optimaal geschikt zijn voor de bestudering van de ene klasse van systemen zijn niet overal probleemloos inzetbaar.'

Misschien moet je hieruit ook maar direct concluderen dat het experiment niet zo'n geschikte methode is om menselijk gedrag te onderzoeken. Anders dan natuurkundige objecten hebben mensen een perceptie en interpretatie van de (experimentele) situatie, en die beïnvloedt onvermijdelijk hun gedrag. Pogingen om dat alles onder controle te krijgen leveren soms een interessant effect op, dat dan vervolgens in replicatie-onderzoek weer sneuvelt. Het is buitengewoon ingewikkeld om uit te zoeken waar dat aan ligt: de hoeveelheid begincondities en 'storende factoren' is in de menswetenschappen nog veel groter dan in de natuurwetenschappen.

Zelfs als je het experiment wel zinvol vindt voor de menswetenschappen, is het de vraag of je moet aanbevelen dat ieder experimenteel onderzoek hier gevolgd wordt door een reeks replicatiestudies. Of de oorspronkelijke resultaten nu bevestigd worden of niet, telkens zal toch de knagende vraag zijn: heb ik exact hetzelfde onderzocht als mijn voorganger? Buiten dat is er de vraag van relevantie: moet je niet beperken tot onderzoek (en replicatie) waarbij het hele veld het er over eens is dat er een theoretisch relevante kwestie op het spel staat? Gezien de hoeveelheid theorieën (en theorettes) in de psychologie is die consensus nog ver weg. Dan staat de aanbeveling om standaard te repliceren gelijk aan het gooien van een bommetje in een confettifabriek, met als gevolg een explosie aan losse snippers waar niemand meer wijs uit kan worden. In de sociale psychologie vergde het alleen al twee dikke delen Handbook of Theories of Social Psychology (in het jaar van Stapels démasqué gepubliceerd onder redactie van Van Lange, Kruglanski en Higgins) om op theoretisch vlak enig lijn in de zaak te brengen.

Een kritische discussie over de mogelijke verbeteringen in dit veld, zoals De Baar aanbeveelt, is zeker op zijn plaats. Het installeren van een automatische replicatiepiloot en methodologische fijnslijperij, wat nu de dominante trend lijkt te worden, lijken me hierbij geen zinvolle acties, het vergroten van het theoretische gewicht van (sociaal)psychologisch onderzoek wel.

Klik hier voor de recensie van Marco de Baar in De Psycholoog.

'Het was mijn broer'

Weet u nog, Joseph Luns? Die stond als student van 1933 tot 1936 ingeschreven als lid van de NSB. Zelf wist hij dat niet, zijn broer had hem buiten zijn medeweten ingeschreven, zo verklaarde hij. Desgevraagd bevestigde zijn broer dat – maar het bleek niet waar. Luns had hem onder druk gezet, uit vrees te moeten aftreden als secretaris-generaal van de NAVO.

Uit het rapport over het wetenschappelijk wangedrag van de cultureel antropoloog Mart Bax komt een soortgelijke manoeuvre naar voren: 57 van zijn ruim 150 publicaties zijn ‘niet gerealiseerd’, maar wel in zijn officiële publicatielijst opgenomen. Hoe kwam dat? Bax gaf jaarlijks de titels op van artikelen, papers en andere probeersels waar hij mee bezig was. Soms leidde dat niet tot publicatie omdat hij ziek werd of omdat er een oorlog uitbrak (antropologen werken soms in roerige regio’s). Anderen op de afdeling waren dan zo voorbarig of onzorgvuldig om die geplande publicaties als ‘gerealiseerd’ in de officiële lijsten te zetten. Zelf had hij niets in de gaten: zijn fysieke handicap verhinderde hem van een beeldscherm te lezen, hij had nooit geleerd met geautomatiseerde systemen te werken en hij had een weerzin tegen bureaucratische procedures. Het belette hem overigens niet om zijn handtekening onder de opgaven te zetten.

Bax, geboren in 1937, kwam in 1965 in dienst van de VU, promoveerde in 1973 aan de Universiteit van Amsterdam, en werd aan de VU in 1986 UHD en in 1988 bijzonder hoogleraar ‘politieke antropologie in het bijzonder religieuze machtsvorming en processen van staatsformatie’. Deze carrière berustte voor een belangrijk deel op zijn buitengewoon hoge wetenschappelijke productie en zijn actieve betrokkenheid in een internationaal wetenschappelijk netwerk. Een derde van die publicaties bestond dus simpelweg niet. Van de wel gematerialiseerde publicaties (ruim 90) bleek een belangrijk deel te bestaan uit ‘recycling’ van eerdere publicaties, een lucratieve vorm van zelfplagiaat. Zelf zag Bax daar weinig problemen in: het was een gebruikelijke strategie en ‘een manier om meer mensen zijn teksten te laten lezen’ (p.35).

Bax' meest prestigieuze publicatie (1995), vol onjuistheden en slordigheden.

Uit het rapport over Bax stijgt, behalve een walm van misleiding en slordigheid, het beeld op van een hoogleraar die zichzelf een god waant: hij reageerde niet op kritieken op zijn werk en hij maakte van zijn afdeling een sekte ‘waarbinnen het voor insiders goed toeven was maar waar invloeden van buiten systematisch werden geweerd. […] Promovendi moesten hun plek vinden in een sterk afgesloten omgeving, waarin woord van Bax wet was’ (p. 43-44). Het is een bekend patroon, net zoals de neiging om met spectaculaire publicaties de media te halen (religieuze vernederingsrituelen in Neerdonk, het bloedbad dat zou hebben plaatsgevonden in Medjugorje). Uiteraard is het archief van Bax opgeruimd, en zijn de lokale informanten overleden, zodat de commissie eigenlijk niets aan oorspronkelijke bronnen kon controleren.

Dit alles stuit tegen de borst, maar wat mij nog het meest trof was de manier waarop Bax allerlei slordigheden en omissies in zijn publicaties goedpraatte. Hij had gekozen voor ‘het hanteren van een schrijfstijl, mede geïnspireerd op Norbert Elias en Johan Goudsblom, waarin methodologische nuanceringen werden vermeden om de tekst leesbaar te houden’ (p.16). Bax was met zijn ‘theorie van religieuze regimes’ een fanatiek aanhanger van Elias, maar wat hij hem hier in de schoenen schuift is buitengewoon kwaadaardig. En de bescheiden, erudiete en nauwkeurige Goudsblom tot 'partner in crime' te benoemen getuigt van een niets ontziende drang tot zelfrechtvaardiging.

Rantsoen

Bind het aantal publicaties per onderzoeker aan een maximum. Dat is een van de suggesties in het slothoofdstuk van De publicatiefabriek. Dit is geen nieuwe gedachte. Anita Jansen, hoogleraar in de psychologie aan de Universiteit Maastricht, opperde het al in 1993, en de filosoof en socioloog Tannelie Blom maakte er in 1997 een stelling bij zijn proefschrift van. En onlangs kwam ik het weer tegen in de rubriek 'Ware wetenschap' van De Volkskrant (27 augustus 2013).

De communicatiewetenschapper Daniël Janssen bood de lezer een kijkje op de werkvloer. Bij het beoordelingsgesprek vinkte zijn leidinggevende af hoe vaak Janssen het afgelopen jaar had gepubliceerd in hoog aangeschreven tijdschriften. 'We spraken wel over onderwijs en andere activiteiten, maar uiteindelijk wordt een wetenschapper op zijn H-index afgerekend.' Zo'n twee keer per jaar moet Janssen in een A- of een B-tijdschrift staan; daar ligt de lat. Over de inhoud van zijn werk ging het bij dat beoordelingsgesprek niet, als we op het krantenbericht mogen afgaan.

Janssen wordt er niet vrolijk van, maar moet er wel aan meedoen. Liever zou hij zien dat wetenschappers op rantsoen geplaatst worden: 'Bepaal dat ze maximaal twee keer per jaar een artikel mogen insturen naar een tijdschrift. Dan ga je beter nadenken over de vraag welk onderzoek het meest waardevol is. Kwaliteit boven kwantiteit.' Kortom, grenzen aan het productiewerk. Ook hier gaat het trouwens niet over de inhoud. Stel dat het ontwikkelen van het theoretisch kader (inclusief literatuurstudie) meer tijd kost, of het empirisch onderzoek in eerste aanleg weinig interessants oplevert. Dat is volstrekt normaal, maar in de huidige onderzoekscultuur wordt dat niet geaccepteerd: publiceren zul je! Dit is het soort imperatieven dat uiterst saaie artikelen oplevert die niemand wil lezen, de publicatiecholesterol die de aderen van de wetenschap doet dichtslibben, om over erger maar te zwijgen. We weten inmiddels waar sommige wetenschappers toe in staat zijn als ze in paniek raken.

Dan toch maar even over de inhoud. Volgens de Volkskrant ging het om experimenten over het effect van excuses door bedrijven (bijvoorbeeld bij wanprestatie) op de boosheid van klanten. Wat denkt u dat de wetmatigheid zal zijn? Inderdaad, hoe bozer klanten zijn over een schandaal, des te meer zijn die excuses nodig om hun woede te temperen. Dat is, om het zacht te zeggen, bepaald niet contra-intuïtief (al zal het eigenlijke onderzoek vast ingewikkelder zijn).  Janssen wil met dit resultaat terechtkomen in het A-tijdschrift in zijn branche, Public Relations Review, waarin wel vaker dit soort onderzoeken over excuses worden gepubliceerd. Mij lijkt dat het bij dit type onderzoek inderdaad raadzaam is het aantal artikelen beperkt te houden.

Stapel zet de wereld op zijn kop

In een lang interview (Trouw, 24 augustus) mocht Diederik Stapel ongeremd zijn hart uitstorten. Vooral de commissie-Levelt moest het ontgelden. Die zou ‘karaktermoord’ op hem hebben gepleegd en bovendien zijn vakgebied, de sociale psychologie, ‘geweld’ hebben aangedaan. Ernstige beschuldigingen, maar kloppen ze ook?

De commissie-Levelt had allereerst de vraag te beantwoorden welke publicaties van Stapel op fraude berustten en hoe die fraude eruit zag. Dat vergde een intensieve methodische en statistische reconstructie van de betreffende onderzoeken. De uitkomst was ondubbelzinnig: 55 van Stapels publicaties berusten onbetwistbaar op fraude en bij nog eens 10 is dit vrijwel zeker. Ook is komen vast te staan dat hij die fraude alleen pleegde: zijn coauteurs wisten van niets. Stapel had zijn collega’s en AIO’s dus bedrogen, net als de financiers van de onderzoeksprojecten, de redacties van tijdschriften en de promotiecommissies die de resultaten van de – frauduleuze – onderzoeken te beoordelen hadden.

Hoe heeft Stapel dit bedrog zo lang kunnen volhouden? Dit had allereerst te maken met zijn werkwijze, zo bleek uit de bijna honderd interviews die de commissie had met betrokkenen. In de omgang met collega’s en promovendi toonde hij grote betrokkenheid, waardoor hij hun vertrouwen won. Op zich is daar niets mis mee, maar het krijgt een andere lading wanneer dergelijk gedrag gepaard gaat met regelrecht bedrog. Stapel heeft het vertrouwen van zijn collega’s op massale schaal geschonden. Wanneer hij deze constatering ‘karaktermoord’ noemt zet hij de zaak op zijn kop (de commissie liet zich over zijn karakter overigens in het geheel niet uit).

Stapels fraude werd ook vergemakkelijkt door de onderzoekscultuur in zijn branche: de experimentele sociale psychologie. De commissie constateerde daar een ‘falen van de wetenschappelijke kritiek’. Allerlei merkwaardigheden in de uitvoering van het onderzoek en de analyses, alsook in de resultaten werden door collega’s en reviewers over het hoofd gezien. Ook bleek het heel gewoon te zijn om resultaten te verfraaien. Voor een deel werd dit zelfs aangemoedigd door tijdschriftredacties! In mijn boek De publicatiefabriek laat ik zien hoe de scoringsdrang bij zowel onderzoekers als tijdschriften het kritisch beoordelen van wetenschappelijk werk belemmert.

Volgens sommige sociaalpsychologen deed de commissie-Levelt met deze conclusies een vileine aanval op hun vakgebied. Andere sociaalpsychologen erkenden direct dat het genoemde probleem bestond en dat er iets aan gedaan moest worden. Stapel doet het nu voorkomen alsof de beschadiging van de sociale psychologie niet door hemzelf, maar door de commissie-Levelt was veroorzaakt. Opnieuw zet hij de wereld op zijn kop!

Volgens Stapel is de sociale psychologie deze schade gelukkig alweer grotendeels te boven, waarbij juist de ontdekking van zijn fraude louterend lijkt te hebben gewerkt: wat integriteit betreft zijn de sociaalpsychologen inmiddels ‘lichtjaren verder dan andere wetenschapsgebieden’, zo beweert hij. Op welk onderzoek zou deze uitspraak gebaseerd zijn?

Win-win?

Was dit nu een win-win-situatie? Krant (in dit geval Trouw) krijgt een primeur, en fraudeur (in dit geval Diederik Stapel) krijgt een podium. Hij wil een 'tweede kans' en mag zich van Trouw onbelemmerd in de etalage plaatsen. Resocialisatie is een groot goed, voor een maatschappij een teken van beschaving. Maar moet de 'resocialisant' dit per se luidkeels opeisen? Ik gun Stapel het beste, maar dit interview wekt weinig sympathie (zie ook de commentaren die het opriep).

Maar ik wil het over iets anders hebben. De sociale psychologie heeft door de affaire flinke klappen opgelopen. In de media zijn de schijnwerpers gezet op de 'experimentjes' van de sociaalpsychologen, waarbij de 'vleeshufters' nooit ver weg zijn. Zo'n imagoschade is moeilijk te repareren. De genadeloze manier waarop de commissie-Levelt de onderzoekscultuur in de gehele sociale psychologie ('van hoog tot laag') heeft getypeerd, hielp ook niet mee. Het zou gaan om 'slodderwetenschap' waarin het met de methodologische regels niet al te nauw werd genomen - geen fraude, maar wel een omgeving waarin fraude kon gedijen.

Stapel spreekt zich in het interview uit over het geweld dat de commissie-Levelt zijn voormalige vakgebied zou hebben aangedaan. Hij schaart zich daarmee in het koor van de boze sociaal-psychologen die vinden dat Levelt het rapport moet rectificeren. Maar in zijn drang tot zelfrechtvaardiging wrijft Stapel zelf onbezonnen op de vlek op het blazoen van de sociale psychologie. Wat zegt hij? Na de - grotendeels door hemzelf veroorzaakte imagoschade - heeft de sociale psychologie 'zich herpakt': ze staat nu vooraan, wat betreft integriteit. 'Ze zijn nu lichtjaren verder dan andere wetenschapsgebieden.' Impliciet staat hier dat Levelt gelijk had: er was een probleem met wetenschappelijke integriteit in de sociale psychologie. En, mind you, als gevolg van Stapels fraude heeft het vakgebied een grote sprong voorwaarts gemaakt! Dat is niet te danken aan de 'ouderen' , aldus Stapel: 'Vooral veel jonge onderzoekers houden zich bezig met het heel goed en degelijk uitvoeren en repliceren van onderzoeken.'

Inmiddels lijkt ook de commissie-Levelt een imagoprobleem te krijgen. Een oud-promovenda van Stapel deed in dezelfde aflevering van Trouw een boekje open over de interviewtechnieken van de commissie: suggestieve vragen, gebrek aan systematiek en geen controleerbare verslaglegging van de gesprekken. Het zou de commissie sieren als ze hier serieus en gedocumenteerd uitleg over zou geven. Mogelijk gaat het om een uitglijer in één van de gesprekken, en is de commissie in haar interviewmethode verder net zo streng in de leer geweest als in haar methodologische eisen aan de sociale psychologie. Ik wil het hopen, maar ben er nu toch niet helemaal zeker van.

Boos op Stapel

Er is iets in de fraudeur dat mensen boos maakt. Enkele weken geleden was NRC-columniste Rosanne Hertzberger op een boekpresentatie waar ook Diederik Stapel kwam opdagen. Hij was meegetroond door zijn nieuwe wapenbroeder Anton Dautzenberg. Het lijkt erop alsof Hertzberger pas later in de gaten had dat Stapel daar was, maar toen waren de rapen gaar en volgde er een vals stukje in NRC Handelsblad. Ze vond dat Stapel zich maar beter gedeisd kon houden, in plaats van overal op te duiken en aandacht voor zichzelf te vragen. Daar had ze op zich wel gelijk in, maar door hem en passant te typeren als de Robert M. van de wetenschap vloog ze lelijk uit de bocht.

Rosanne Hertzberger

Dautzenberg kwam daarop in het geweer. In een ingezonden brief in NRC Handelsblad wees hij op de 'twee verschrikkelijke jaren' die Stapel achter de rug had. Net terwijl hij bezig is uit het dal te klimmen schopt die akelige Hertzberger hem er weer in. Dat Stapels ex-promovendi eveneens vreselijke jaren achter de rug hebben, maar dan door het handelen van hun promotor laat Dautzenberg gemakshalve maar buiten beschouwing.

Anton Dautzenberg

Toen Stapel vorig jaar van de NOS zendtijd kreeg om zijn boek te promoten, sprak hij devoot van een zelfonderzoek dat hem moest leren waarom hij tot zijn frauduleus handelen gekomen was. Nu blijkt dat dit zelfonderzoek in de volle openbaarheid gaat plaatsvinden, via een theatervoorstelling en een boek, samen met Dautzenberg. Het lijkt erop alsof Stapel en Dautzenberg nu elkaar gebruiken om publiciteit te genereren, Dautzenberg om een enigszins wankel schrijverschap op te peppen en Stapel om zichzelf en zijn nieuwe coaching-bureau in de schijnwerpers te zetten.

Fritz Strack

En nu meldde de Volkskrant dat er sociaalpsychologen boos zijn, omdat Stapel naar hun idee een te lichte werkstraf  heeft gekregen. De geschokte Utrechtse emeritus-hoogleraar sociale psychologie Wolfgang Stroebe had het liefst gezien dat Stapel in de gevangenis was beland, en ook zijn collega Fritz Strack uit Würzburg vindt de 120 uur werkstraf niet in verhouding staan tot de omvang van de fraude. 'Gesundes Volksempfinden' heet dat. 

Ik vind het altijd wat verdacht als mensen zich nadrukkelijk profileren als rechtschapen burgers door een wetsovertreder hel en verdoemenis toe te wensen. Vanwaar die felheid? Maar me er helemaal aan onttrekken, dat lukt mij ook niet. Zo bedacht ik het dat het wel passend zou zijn als Stapel kreeg opgedragen om ieder van zijn slachtoffers een brief te schrijven waarin hij nog eens teruggaat naar de tijd dat hij ze zowel begeleidde als bedroog en zo nauwkeurig mogelijk aangeeft wat hem in die specifieke context had bewogen om dat zo te doen. Niet algemeen, nee, heel precies, in detail, per geval. Het is natuurlijk de vraag of die slachtoffers zitten te wachten op zo'n brief van hun voormalige mentor. Dan kan hij misschien maar beter een paar weken voor straf als portier in een van de Tilburgse universiteitsgebouwen fungeren.

Deep Impact

Bibliometrie was aanvankelijk een handig hulpmiddel om je weg te vinden in de steeds onoverzichtelijker wordende hoeveelheid wetenschappelijke literatuur. Voortbordurend op het werk van het CWTS in Leiden (hun weblog 'The Citation Culture' is zeer de moeite waard) laat ik in hoofdstuk 7 van De publicatiefabriek zien hoe citatiescores en impactfactoren niet zomaar een onschuldige weerspiegeling zijn van wat er zich afspeelt in de wetenschappelijke wereld, maar instrumenten die de hiërarchieën en dus de machtsverhoudingen in die wereld mede bepalen.

Marcus Munafo

Björn Brembs

Katherine Button

Dit werd onlangs nog weer eens bevestigd in een artikel van drie jonge onderzoekers, een neurobioloog, een experimenteel psycholoog en een neurowetenschapper/psychiater. In Deep Impact: Unintended consequences of journal rank, zojuist gepubliceerd in Frontiers in Human Neuroscience beargumenteren ze op basis van een karrenvracht publicaties dat het huidige systeem perverse consequenties heeft voor de prioriteiten in het onderzoek.

Op p.19 van hun manuscript schrijven ze: 'Het is denkbaar dat onderzoeksinstellingen in de laatste decennia wereldwijd wetenschappers hebben ingehuurd en in het zonnetje gezet die uitblinken in het verkopen van hun werk aan toptijdschriften, maar die niet noodzakelijkerwijs goed zijn in het doen van hun onderzoek. Omgekeerd kan het zijn dat deze instellingen uitstekende wetenschappers uit hun gelederen hebben verstoten wier 'marketing skills' niet voldeden aan de instellingseisen.'

Kortom, wie doorgaat voor een 'Golden Boy' hoeft niet per se een goede wetenschapper te zijn, het kan ook iemand zijn die zeer goed is in zelfpromotie. Binnen zijn vakgebied toonde Diederik Stapel zich daar tamelijk bedreven in, waarbij hij ook heel handig was in het kiezen van zijn bondgenoten (zijn coauteurs). Of zijn recente associatie met Anton Dautzenberg hem tot een 'Golden Boy' in de toneelwereld zal maken? We zullen zien.

Tot slot: hoe ging het nu een paar weken geleden bij Omroep Brabant, waar ik in vijf minuten de essentie van mijn boek uit de doeken mocht doen? Oordeel zelf aan de hand van dit videofragment.

Receptie

 

Aafke Komter

Over de ontvangst van De publicatiefabriek mag ik niet klagen. Het begon al met de waarderende, maar ook kritische, gesproken recensie van Aafke Komter bij de presentatie van het boek in het Trippenhuis op 30 mei. Ze is het op drie belangrijke punten niet met mij eens, en oordeelt daarbij harder over de (sociale) psychologie dan ik. Ze geeft serieus commentaar en ik zal er bij een volgende gelegenheid op reageren. Wie haar betoog wil lezen kan hier terecht.

Drie kritiekpunten

Op zaterdag 1 juni schreef Frank van Kolfschooten, bekend van diverse publicaties over fraude in de wetenschap, een recensie in NRC Handelsblad. Terecht merkt hij op dat het me in De publicatiefabriek niet gaat om Stapel zelf maar om de wetenschappelijke cultuur waarbinnen Stapel functioneerde. Hij had het liever anders gezien: 'Het wachten is op een boek waarin er vanuit het perspectief van een klinisch psycholoog naar Stapel wordt gekeken'. Mijn kritiek op het business model dat de universiteiten in zijn greep heeft, gaat volgens hem gepaard met weinig realistische aanbevelingen. Daar heeft hij misschien een punt, maar wie betere aanbevelingen heeft mag het zeggen. En dat meen ik serieus. Verder mist hij 'nieuwtjes' in het boek. Die zou ik volgens hem hebben binnengehaald als ik was gaan bellen 'met mensen rondom Stapel'. Kennelijk weet hij dingen die ik gemist heb. Ik zou zeggen: voor de draad ermee! Intussen zorgt Stapel, met zijn nieuwe brother in arms (of moet ik zeggen partner in crime) Dautzenberg voor voldoende nieuwtjes. Daar kom ik nog een keer op terug.

Van vele tientallen lezers (inclusief sociaalpsychologen) kreeg ik intussen (zeer) positieve reacties. Ik kan ze hier niet zomaar met naam en toenaam citeren, maar ze sterken me in de overtuiging dat een grondige, genuanceerde reconstructie van de affaire-Stapel en haar context gewaardeerd wordt.

Natuurlijk zijn er ook kritische kanttekeningen. De Utrechtse emeritushoogleraar sociale psychologie Wolfgang Stroebe schrijft dat mijn boek leest als een thriller, maar is het niet eens met mijn uitspraken over de sociale psychologie: die is breder en robuuster dan ik denk. Verder denkt hij dat onderzoekers zonder de hedendaagse structuur van prikkels - afrekenen op aantallen publicaties - heel weinig zouden publiceren. Voor een sociaalpsycholoog is dit een begrijpelijke opvatting, maar als deze waar zou zijn is het in de wetenschap nog erger dan ik dacht. Voorlopig houd ik het erop dat intrinsieke motivatie de primaire drijfveer is om te onderzoeken en te publiceren.

Tot slot nog twee internetreacties, die voor zichzelf spreken, van Taede Smaedes en van Harry van de Vijfeijke.

PS Wist u dat er ook al Stapelshirts op de markt zijn?

Dokteren rond de sociale psychologie

De affaire-Stapel blijft de gemoederen bezig houden. De faculteit sociale wetenschappen in Utrecht controleert steekproefsgewijs hoe medewerkers hun data omzetten in publicaties, en hoopt zo wetenschappelijk integer gedrag te bevorderen. In Tilburg is men al een stap verder: daar is al een heel protocol voorhanden waarmee de opslag van gegevens en alle bewerkingen, alsook de correspondentie met tijdschriften, is geregeld. Better safe than sorry. Ik leerde dit vandaag op het Solid Psychological Science Symposium in Nijmegen, dat werd geleid door twee sociaalpsychologen die (ook naar eigen zeggen) veel op elkaar leken.

Marcel Zeelenberg

Daniel Wigboldus

Niet toevallig, zo leek het 's ochtends, heeft dit symposium hetzelfde acroniem (SPSS) als het populairste digitale statistiekpakket voor de sociale wetenschappen. Het roemruchte trio Joe Simmons, Leif Nelson en Uri Simonsohn (bekend van hun studie naar false-positives) behandelde in drie lezingen achtereenvolgens: nieuwe criteria voor replicatiestudies, het zogenaamde p-curving, en 'life after p-hacking'. Ophouden met p-hacking heeft tal van voordelen: je krijgt er minder publicaties en betere wetenschap van. Het is echter wel moeilijk om er mee te stoppen (daarvoor is in tussen P-Hackers Anonymous opgericht).

Klaus Fiedler (Heidelberg) maande het gehoor niet te veel te vertrouwen op statistiek en op exacte replicaties: bij experimenteel onderzoek in de menswetenschappen zijn er simpelweg te veel factoren in het spel om zeker te weten waardoor een effect veroorzaakt wordt. Dit was koren op de molen van de antropoloog Alan Fiske, die in een humoristisch betoog (zonder power point!) sociaalpsychologen verweet te snel naar de finish - het experiment - te sprinten.

Alan Fiske

Wil je iets weten over menselijk gedrag, bestudeer het dan allereerst in natura. Welke variaties zijn er te zien in menselijk gedrag, in diverse culturen, hoe geven mensen hun onderlinge verhoudingen vorm, hoe gaan ze om met dreiging en dood, en zo meer (zie voor een catalogus hiervan eHRAF). Wie de grilligheden in het menselijk handelen negeert en zich baseert op doorsnee gedrag van westerlingen (lees: eerstejaars psychologiestudenten) in laboratoriumsituaties, mist een hoop van wat sociaalwetenschappelijk onderzoek spannend - en relevant - kan maken.

De uitsmijter werd verzorgd door de Canadees Travis Proulx, nu werkzaam in Tilburg, die op beeldende wijze de overmaat aan theorieën in de sociale psychologie aan de kaak stelde. Volgens hem geen probleem als je je theorieën en modellen maar op de juiste wijze weet te 'branden'. Hij noemde Rick Starfield's Social Psychology: Media, Markets & Magic! als zijn inspiratiebron - en daarmee had hij het gehoor lelijk tuk, want dat boek bestaat helemaal niet (en Starfield zelf ook niet). Of Proulx bestaat? Ook dat blijft in nevelen gehuld... Toch wat riskant om verzinsels voor echt te laten doorgaan in het toch al zo getergde vakgebied, dat nog steeds herstellende is van Coping with chaos.

Voor wie meer wil weten: kijk hier voor de abstracts van dit symposium. Ook Rolf Zwaan was aanwezig bij dit symposium. In zijn blog ging hij vooral in op de lezing van Klaus Fiedler.

VARA en BNR

Vorige week woensdag was ik te gast bij het radioprogramma De Gids van de VARA. Vooraf zei Felix Meurders: je zit er voor 10 minuten in, maar het zal voelen als 5 minuten. Dat klopte wel. Toen ik het terug luisterde waren het echter weer gewoon 10 minuten...


Het blokje opende met een stukje uit Stapels apologie. Daarna ging het over mijn eigen nabijheid tot de sociale psychologie, de e-mail die Stapel mij stuurde en zijn interview in NY Times Magazine, Roos Vonk en haar boosheid over kritische interviewers (ook in De Gids), 'grijze praktijken' in het wetenschappelijk onderzoek, de spanning tussen inhoudelijke ambitie en carrièredrang, en de uiteenlopende reacties in de wereld van de sociale psychologie. Affijn, luister zelf maar.


Vergeleken met de rust van de VARA-studio was het bij BNR, twee dagen later, een gezellige drukte. In het Grand Café zaten de gasten lekker te kleppen, stond BNR huisjock Thomas Robson op scherp en schoven gasten soepeltjes aan bij een hoge tafel met microfoons, barkrukken en nootjes. Zoals het tegenwoordig betaamt was er ook een 'side-kick', ditmaal PvdA-voorzitter Hans Spekman. Met hem had ik buiten (het was schitterend weer) al even zitten praten over scoren in de politiek en in de wetenschap. We zagen duidelijke parallellen. Binnen aan tafel ging het gesprek verder. Gastheer Wilfred Genee (ja die) vroeg zich af hoe Stapel zo lang met die fraude weg kon komen. Goede vraag. En het ging over de relevantie en de wetenschappelijkheid van de sociale psychologie. Ook in 10 minuten.

Boekhandel Roelants

Nijmegen kent één echte academische boekhandel: Roelants. Met enige regelmaat vinden daar boekpresentaties plaats, in een prettig informele sfeer. Gisteren was mijn boek aan de beurt. In een overvolle kelder sprak Paul van Tongeren, hoogleraar wijsgerige ethiek over schizogene en zelfs criminogene universitaire instituties, waar de drang tot scoren (kwantiteit) het heeft gewonnen van wetenschappelijke nieuwsgierigheid (kwaliteit) en over cynisme en fraude. Ik sprak hem uiteraard niet tegen, maar heb vooral de zaal uitgenodigd met commentaar en vragen te komen. Dat lukte wonderwel. Soms leek het alsof in de kelder van 'voorheen De Oude Mol' de revolutie opnieuw was uitgebroken...

Wouter Roelants, Ruud Abma, Paul van Tongeren, Marc Beerens (Uitgeverij Vantilt)

Paul van Tongeren

Trippenhuis

Een hele eer, een boekpresentatie in de Oude Vergaderzaal van Het Trippenhuis, de zetel van de KNAW in Amsterdam. Dat was op 30 mei. De dag begon al goed. 's Ochtends om 7.15 nam Bas Haring op radio 4 de kranten door en opende met een bespreking van het interview met mij dat die dag in de Volkskrant stond. Dat de universiteiten publicatiefabrieken waren geworden vond hij een schokkende observatie. Wat bleef hangen was het gebrek aan denkruimte op de universiteiten: er moet geproduceerd worden. Haring trok ook een parallel met de bankencrisis: die zou voortkomen uit een monomane cultuur waarin iedereen achter dezelfde targets aanjaagt. Als dat het voorland is van de universiteiten...

Maar het was feest, dus niet te veel somberen! Hieronder wat foto's van de presentatie.

Hier ging het om.

Aafke Komter gaf een gesproken recensie.

KNAW-president Hans Clevers nam De publicatiefabriek in ontvangst.

Napraten in de Rembrandtzaal.

Foto's gemaakt door Martin Abma:

Boek is binnen

Het is altijd wonderbaarlijk als een verzameling gedachten zich materialiseert in de vorm van een boek. Het is alsof al het gepuzzel en geploeter in één beweging - swoesjjj! - in de vergetelheid verdwijnt. Er is een nieuwe fase ingetreden, waarin het boek een eigen leven gaat leiden, los van de auteur. Ik hoop dat het een goed leven zal zijn.

Het boek is er nu. Donderdag wordt het ten doop gehouden in het Trippenhuis. En vrijdag is er een feestelijke bijeenkomst in Boekhandel Roelants (Nijmegen).

What's Ap?

Vaak wordt beweerd dat Science en Nature toptijdschriften zijn. Dat komt omdat artikelen die daarin verschijnen de aandacht trekken en vaak geciteerd worden. Het streven naar grote nieuwswaarde levert deze tijdschriften een hoge impactfactor op. Aandacht genereren staat echter niet gelijk aan wetenschappelijke kwaliteit. Met enige regelmaat moeten artikelen worden teruggetrokken, omdat de spetterende resultaten niet blijken te kloppen: te zeer opgepoetst of zelfs - maar dat is zeldzaam - geheel uit de duim gezogen. Zo publiceerde Diederik Stapel in april 2011, samen met de Groningse socioloog Siegwart Lindenberg, in Science het geheel verzonnen artikel Coping with chaos.

Enige rellerigheid is Science en Nature niet vreemd. Op 30 april publiceerde Nature een stuk waarin melding wordt gemaakt van ruzie in de sociaalpsychologische wereld: Omstreden resultaten nieuwe klap voor sociale psychologie. Object van discussie is experimenteel onderzoek uit 1998 van de Nijmeegse sociaalpsycholoog Ap Dijksterhuis (foto). Pogingen van de Engelse psycholoog David Shanks om met exact dezelfde opzet en procedures de toen gevonden resultaten te bevestigen waren niet gelukt. Had Dijksterhuis de zaken te mooi voorgesteld? Dat wordt gesuggereerd, maar niet bewezen. Verlekkerd verwijst Nature naar eerdere discussies over 'priming', een in de sociale psychologie veel gebruikte techniek om proefpersonen te 'prepareren' (en ze tegelijkertijd te misleiden over het eigenlijke doel van het experiment). Nobelprijswinnaar Kahneman had zijn zorg uitgesproken over het gebrek aan replicatie (herhaalbaarheid), en tussen primingonderzoekers en critici werden harde woorden gesproken.

De controverse tussen Dijksterhuis en Shanks loopt al een tijdje (via e-mail) en had, zeker in het begin, een zakelijk en technisch karakter: hoe doe je een goede, exacte replicatie van het primingexperiment uit 1998? Nu Nature er op gesprongen is, lijkt het ineens hot news, maar de eerste excuses zijn alweer aangeboden, en ook blijkens de toevoegingen onder het bovengenoemde artikel is er eigenlijk niet zo veel aan de hand: exacte replicaties lukken vaker niet dan wel (en dat geldt niet alleen voor de sociale psychologie - zie ook het commentaar van Gary Marcus in The New Yorker). Daarom neemt men in de sociale psychologie liever zijn toevlucht tot zogenaamde conceptuele replicaties: via een anders ingericht experiment probeer je hetzelfde mechanisme (de werkzaamheid van onbewuste factoren bijvoorbeeld) aan te tonen. Of dat een goede oplossing is staat ter discussie, maar het gebeurt in de sociale psychologie volop.

De hedendaagse wetenschappelijke wereld is competitief en velen zien dat als een groot goed. Op het niveau van de genoemde toptijdschriften leidt het echter soms tot bedenkelijke manoeuvres. Nature en Science zijn concurrenten. Ap Dijksterhuis is een vaste beoordelaar (reviewing editor) van Science, een van de drie voor het psychologisch vakgebied - een bijzondere positie dus. Niets leuker voor Nature dan de coryfee van zijn concurrent onderuit te halen en al doende de aandacht op je eigen voortreffelijkheid en waakzaamheid te vestigen. Overigens had Dijksterhuis het verzonnen artikel van Stapel beoordeeld en het een hoge score gegeven. Stapel was er tot op grote hoogte in geslaagd een stereotiep sociaalpsychologisch onderzoek te simuleren, zodanig dat zelfs Dijksterhuis er in trapte. Bedenk wel dat reviewing editors van hun toptijdschrift niet veel tijd krijgen om een conceptartikel te beoordelen: het moet snel-snel. Daar zit het echte probleem van de publicatiefabriek: veel wetenschappers nemen niet de tijd om elkaars werk echt kritisch te lezen.

Veenbrand

Het blijft rommelen in de universitaire wereld. In De Groene Amsterdammer van deze week staat een uitgebreid artikel over de bedrijfscultuur aan de Vrije Universiteit. Die wordt in toenemende mate een diplomatie- en publicatiefabriek, ferm in de greep van managers die iedere herinnering aan klassieke academische waarden willen uitroeien. Dat leidde tot interne protesten, waarna rector magnificus Lex Bouter in maart jl. opstapte. Inmiddels is zijn plaats ingenomen door Frank van der Duyn Schouten, die aan de Universiteit van Tilburg zijn sporen heeft verdiend door in 2006 Diederik Stapel binnen te halen en hem daarbij onalledaagse financiële tegemoetkomingen te gunnen.

Gisteravond  was Roos Vonk weer eens te gast bij Pauw & Witteman. Een opiniebijdrage die ze in 2010 in de Volkskrant had geschreven was gebruikt voor het havo-eindexamen. Kamerleden van het CDA vonden dat dit niet door de beugel kon: het was toch gebaseerd op door Stapel aangeleverde verzonnen gegevens? Niet dus, ze hadden niet goed opgelet. Dit stuk dateerde van een jaar eerder. Vonk wilde dit graag even publiekelijk rechtzetten, en tegelijkertijd zowel het dierenwelzijn als zichzelf promoten. De associatie met Diederik Stapel blijft haar in de publieke opinie achtervolgen, maar haar collega's op de universiteit 'begrijpen het helemaal'. In de wetenschappelijke wereld is ze dus gerehabiliteerd, was de suggestie. Met haar vorige optreden bij Pauw & Witteman bewees ze haar vakgebied bepaald geen dienst, o.a. door haar uitlating dat je pas kritisch naar je onderzoek gaat kijken als de uitkomsten niet zijn wat je ervan verwacht had. Het voortdurend zoeken naar bevestiging (confirmatiebias) staat sinds het rapport van de commissie-Levelt bekend als een vorm van 'slodderwetenschap'. Zouden haar meer serieuze collega's in de sociale psychologie blij zijn met Vonks optredens bij P&W?

En de sociologen in Nederland hebben genoeg van de eenzijdigheid in de beoordeling van wetenschappelijke prestaties (NRC Handelsblad 18 mei). Wat ze winnen aan internationaal prestige, verliezen ze aan maatschappelijke waardering in het eigen land. Er wordt te veel gepubliceerd en vooral te veel in specialistische internationale tijdschriften. Dergelijke artikelen bereiken gemiddeld vijf lezers: 'Wat telt als publicatie bereikt niet langer enig publiek, terwijl wat wel door het publiek wordt gelezen, niet wordt erkend als publicatie'. Met dat laatste wordt gedoeld op publicaties in de Nederlandse taal (artikelen, boeken, bijdragen in kranten met een bespiegelend karakter, etc.) De Amsterdamse socioloog Jan-Willem Duyvendak vindt dat meer typen publicaties zouden moeten meetellen in de beoordeling van wetenschappelijk werk: 'het is nu volstrekt doorgeslagen naar één bepaald type wetenschappelijke output'.

Het lijkt erop alsof de sociale wetenschappen door hun internationale-publicatiedrang zich hebben losgezongen van het eigen land en verregaand in zichzelf gekeerd zijn geraakt. Daarmee zijn ze een gevaarlijke weg ingeslagen: zonder maatschappelijke waardering wordt het voortbestaan van de sociale wetenschappen bedreigd. De affaire-Stapel heeft al laten zien dat het publieke oordeel over de sociale wetenschappen in snel tempo uiterst negatief werd. De ruimtevaartingenieur Schöyer schreef op 5 nov. 2011  in NRC Handelsblad dat de psychologie wel kon worden opgeheven als iemand als Stapel zo zijn gang kon gaan en zijn collega's hem beschouwden als behorend tot de top. Het valt te vrezen dat de sociale wetenschappen als ze zo doorgaan niet van dit imago af zullen komen.