maandag 21 oktober 2013

Afscheid van de slodderwetenschap?

Marino van Zelst
Chris Hartgerink
Fraude in de wetenschap blijft de gemoederen bezig houden. Marino van Zelst en Chris Hartgerink schreven op 12 oktober in NRC Handelsblad dat fraude voortkomt uit zelf opgelegde publicatiedruk en uit de geslotenheid van het onderzoeksproces.


 

David Goodstein voegde daar in On fact and fraud (2010) nog aan toe dat fraudeurs bijna altijd werken in een domein waar men niet verwacht dat onderzoeken exact reproduceerbaar zijn.







Fraude, hoe afkeurenswaardig ook, is niet het echte probleem, schreef ik in een ingezonden brief (NRC Handelsblad 17 oktober). Data fabriceren of vervalsen doen slechts weinigen, maar goochelen met statistische analyses is wijdverbreid. Ik noemde dat, in navolging van de commissie-Levelt, 'slodderwetenschap', en dus schreef de koppenmaker van NRC Handelsblad boven mijn brief: 'Sloddervossen zijn erger dan fraudeurs'. Maar dat stond niet in mijn brief.


Bij nader inzien wekt de term 'slodderwetenschap' (een vrije vertaling van sloppy science) een verkeerde indruk, alsof het om slordigheidjes zou gaan. Het gaat echter om mooier maken, om het fotoshoppen van je onderzoeksbevindingen, om zo je kans op publicatie te vergroten. Op zich is dit natuurlijk niet zo vreemd, maar de vraag is wel: hoe ver mag je daarin gaan? Mijn eigen faculteit hield daarover vorige week nog een discussiebijeenkomst, onder de titel 'Sloppy science - Use and misuse of data in the behavioural and social sciences'.


Denk nu niet dat dit probleem alleen in Nederland of alleen in de sociale wetenschappen voorkomt. In The Economist van vorige week wordt een indringend overzicht gegeven van zowel 'questionable research practices' als stomme fouten als gevolg van onvoldoende kennis van de statistiek. Het blijkt dat zelfs in de subatomaire fysica bias kan optreden wanneer de onderzoekers weten wat er uit moet komen!

Harry Collins


Is replicatie dan het geheime wapen om de zaak weer op orde te krijgen? In theorie misschien wel, maar het artikel in The Economist maakt duidelijk dat er op die weg nog heel wat voetangels en klemmen zijn, waaronder de door Harry Collins gemunte term 'experimenter's regress: een replicatie is pas echt goed als deze hetzelfde resultaat oplevert als het origineel...

PS In Trouw (11 oktober) stond een opiniestuk van de artsen Yvo Smulders en Joeri Tijdink met als titel 'Mild bedrog' groter probleem dan fraude. Zij belichten vooral de onbewuste beïnvloeding van onderzoekers als gevolg van perverse factoren (financiële belangen, publicatiedruk).

donderdag 17 oktober 2013

De lessen van Stapel

Lesgeven over fraude en integriteit in de wetenschap was aan de Universiteit van Tilburg tot twee jaar geleden toevertrouwd aan ervaringsdeskundige Diederik Stapel. Daar kunnen we in ieder geval van leren dat er voor fraudebestrijding meer nodig is dan mooie woorden en gedragscodes. Onder andere daarover ging het op dinsdag 15 oktober in Nijmegen, in een discussie met sociaalpsycholoog en decaan sociale wetenschappen Daniel Wigboldus.


Wigboldus verdedigde zijn vak, en dat siert hem. Het rapport van de Commissie Levelt had hem wel aan het denken gezet, maar Stapel was zeker niet typerend voor de sociale psychologie, al was het maar door zijn neiging de gelederen van zijn leerstoelgroep sterk gesloten te houden. Die sekte-achtige benadering zagen we trouwens ook in de fraudezaak van de cultureel-antropoloog Bax. 


Met mijn stelling 'Het huidige systeem van kwaliteitsbeoordeling bevordert calculerend gedrag en benadeelt de wetenschap' leek Wigboldus het wel eens te zijn. Als decaan wil hij zich sterk maken voor een meer genuanceerde vorm van kwaliteitsbeoordeling dan het tellen van publicaties of het registreren van de H-index van onderzoekers.




Misschien is op dit punt het tij sowieso al aan het keren, zoals vanuit het publiek door de cultureel antropoloog Henk Driessen betoogd werd.




Wigboldus kan zich in ieder geval beroepen op het rapport van de KNAW-commissie-Bensing over kwaliteitsindicatoren in de sociale wetenschapppen. En ook Bert van der Zwaan, rector magnificus van de Universiteit Utrecht, wil af van de 'volumetrie' in de gangbare wetenschapsideologie, maar hij vergelijkt het in een interview met DUB met het van koers laten veranderen van een olietanker: het gaat heel langzaam.

De discussie in Nijmegen was overigens georganiseerd door het Centrum voor Ethiek en stond onder leiding van Evert van der Zweerde. Mijn powerpoint met de stellingen vind je hier.

vrijdag 11 oktober 2013

Grillige experimenten

Met regelmaat ontvang ik reacties van lezers op De publicatiefabriek. Zo schreef een oud-collega me deze week: 'Ik heb gisteren jouw prachtboek uitgelezen en ben vol lof. Het leest als een trein, er valt veel te lachen, het is heel beargumenteerd geschreven, de lezer steekt er een hele hoop van op, en de studie is ook nog een inleiding in de filosofie van de sociale wetenschappen met aandacht voor de heilige drie-eenheid: Methode, Epistemologie en Ontologie. Dit aan de hand van de casus: de  meesterfraude van Stapel, of om Reve te parafraseren: ‘dit verzint alleen de werkelijkheid.’'

Marco de Baar

Ook buiten de sociale wetenschappen trekt het boek de aandacht. In het oktobernummer van De Psycholoog schreef Marco de Baar, hoogleraar natuurkunde aan de Technische Universiteit Eindhoven: '[Abma] slaagt er prima in om te beschrijven hoe, in het kielzog van schijnbaar objectieve criteria, slodderwetenschap kan ontstaan'. Zijn conclusie: 'Dit boek is daarom zeker ook relevant voor wetenschappers uit andere disciplines'.

De Baar maakt interessante opmerkingen over de betekenis van replicatie-onderzoek: 'Als in experimenten soms sterke effecten worden gevonden en soms niet, dan zegt dat juist iets heel wezenlijks over het systeem dat onderzocht wordt. Replicatie-onderzoek zou juist inzicht kunnen geven in de grilligheid van het systeem [...]'. Hij geeft vervolgens een voorbeeld uit de chaostheorie (zie filmpje hier) waaruit blijkt dat afhankelijk van het startpunt van de slinger een sterk effect optreedt of juist helemaal niet. De theorie is niet falsifieerbaar en het experiment niet exact te repliceren. Ergo: 'Methoden en technieken die optimaal geschikt zijn voor de bestudering van de ene klasse van systemen zijn niet overal probleemloos inzetbaar.'

Misschien moet je hieruit ook maar direct concluderen dat het experiment niet zo'n geschikte methode is om menselijk gedrag te onderzoeken. Anders dan natuurkundige objecten hebben mensen een perceptie en interpretatie van de (experimentele) situatie, en die beïnvloedt onvermijdelijk hun gedrag. Pogingen om dat alles onder controle te krijgen leveren soms een interessant effect op, dat dan vervolgens in replicatie-onderzoek weer sneuvelt. Het is buitengewoon ingewikkeld om uit te zoeken waar dat aan ligt: de hoeveelheid begincondities en 'storende factoren' is in de menswetenschappen nog veel groter dan in de natuurwetenschappen.


Zelfs als je het experiment wel zinvol vindt voor de menswetenschappen, is het de vraag of je moet aanbevelen dat ieder experimenteel onderzoek hier gevolgd wordt door een reeks replicatiestudies. Of de oorspronkelijke resultaten nu bevestigd worden of niet, telkens zal toch de knagende vraag zijn: heb ik exact hetzelfde onderzocht als mijn voorganger? Buiten dat is er de vraag van relevantie: moet je niet beperken tot onderzoek (en replicatie) waarbij het hele veld het er over eens is dat er een theoretisch relevante kwestie op het spel staat? Gezien de hoeveelheid theorieën (en theorettes) in de psychologie is die consensus nog ver weg. Dan staat de aanbeveling om standaard te repliceren gelijk aan het gooien van een bommetje in een confettifabriek, met als gevolg een explosie aan losse snippers waar niemand meer wijs uit kan worden. In de sociale psychologie vergde het alleen al twee dikke delen Handbook of Theories of Social Psychology (in het jaar van Stapels démasqué gepubliceerd onder redactie van Van Lange, Kruglanski en Higgins) om op theoretisch vlak enig lijn in de zaak te brengen.

Een kritische discussie over de mogelijke verbeteringen in dit veld, zoals De Baar aanbeveelt, is zeker op zijn plaats. Het installeren van een automatische replicatiepiloot en methodologische fijnslijperij, wat nu de dominante trend lijkt te worden, lijken me hierbij geen zinvolle acties, het vergroten van het theoretische gewicht van (sociaal)psychologisch onderzoek wel.

Klik hier voor de recensie van Marco de Baar in De Psycholoog.