maandag 27 januari 2014

Goodbye Sloppy Science

Vorige week in het Brabantse Heeze, conferentiecentrum 'Kapellerput'. De Nederlands-Vlaamse Onderzoekschool 'Experimentele Psychopathologie' hield daar een tweedaags symposium over 'slodderwetenschap', oftewel dubieuze praktijken in het wetenschappelijk onderzoek (in het Engels: Questionable Research Practices, QRP's). Het onderwerp bleek de AIO's van deze onderzoekschool zeer bezig te houden. Niet alleen wilden ze zich graag aan de regels houden, ze wilden vooral ook goed onderzoek doen. Dat onderzoekers door allerlei externe productiviteitscriteria (en soms ook informele pressie) worden opgejut om maar zo veel mogelijk te publiceren, bevalt ze maar niets.
Gert Storms (KU Leuven) hing zijn betoog op aan The good, the bad and the ugly. De 'goeden' zijn degenen die het zelfreinigend vermogen van de wetenschap beklemtonen, de slechteriken - uiteraard - de onderzoeksfraudeurs (een ontmoedigende reeks passeerde de revue) en de 'lelijkerds' zijn degenen die zich overgeven aan discutabele datamanipulaties. In de top tien van fraudeurs werden de eerst vier posities ingenomen door vertegenwoordigers van de biomedische wetenschappen. Kennelijk is de materie daar lastig - en de pressie groot.
Jelte Wicherts (Tilburg) concentreerde zich op de menselijke factoren in de statistiek. In zijn betoog viel vooral op dat psychologen weinig geïnteresseerd lijken te zijn in hun gegevens als de analyses gedaan en de bevindingen gepubliceerd zijn. Psychologisch onderzoek als one night stand. Verder gaf hij beeldend aan wat je allemaal kunt doen om de significantie van je onderzoek te vergroten. Het leek wel een crash course fotoshoppen van je onderzoek - al was dat zeker niet Wicherts' bedoeling.
De middagsessie werd grotendeels gevuld met een uitgebreid betoog over wetenschapsethiek van Pieter Drenth, emeritus-hoogleraar psychologie (VU) en voorzitter van de commissie die onderzocht in hoeverre het Amsterdamse werk van Diederik Stapel op fraude berustte. Dat laatste leverde de meeste vragen uit de zaal op, bijvoorbeeld: hoe kun je nu vaststellen of iemand gefraudeerd heeft als de oorspronkelijke data niet meer beschikbaar zijn? Als iemand zeer bedreven is in de statistiek is dat heel lastig, maar dat gold niet voor Stapel. Een goede statisticus kan dus zien hoe (on)waarschijnlijk de weergegeven verbanden in zijn werk zijn.
De tweede dag van het symposium werd geopend door de cognitief psycholoog Rolf Zwaan (EUR), die inging op de huidige 'replicatiebeweging' (volgens sommigen: -hype). Zwaan maakte ook deel uit van de commissie die de fraude van Dirk Smeesters onderzocht. Hij hield een vlammend pleidooi voor de preregistratie van experimenten, en het door replicatie vaststellen welke empirische bevindingen solide zijn. Over deze en andere kwesties schrijft Zwaan regelmatig interessante stukken op zijn weblog.

Ook de AIO's zelf kwamen aan het woord: Sabine Wanmaker, Evelyne Debey, Renée Visser en Dalena van Heugten presenteerden op buitengewoon professionele wijze en in vlot Engels hun onderzoeksbevindingen. Duidelijk werd dat experimenteel onderzoek naar processen in de menselijke psyche boeiend is, maar ook veel hindernissen kent: het is verreweg het meest complexe onderzoeksobject dat je kunt bedenken.

 


Dit werd ook het uitgangspunt voor mijn eigen praatje: psychologen onderzoeken hun eigen soortgenoten. Die zijn even slim als zijzelf en houden vaak hardnekkig vast aan hun eigen interpretaties van de menselijke werkelijkheid. Als menswetenschapper moet je dan echt met een betere - en goed werkbare - interpretatie van het psychisch leven komen. Het afdwingen van eenduidige, positieve resultaten door statistische manipulaties en andere QRP's mag in een tijd van publicatiedruk verleidelijk zijn, patiënten help je er uiteindelijk niet mee. Hoe houd je als AIO stand in zo'n cultuur? Zorg dat je meer in huis hebt dan onderzoekstechnische kennis en specialistische theorie. Reflecteer op je eigen positie en doelstellingen, en ontwikkel je eigen academische kompas, bijvoorbeeld door je te verdiepen in de geschiedenis van je vakgebied.

NB De dia's van mijn presentatie vind je hier.

Geen opmerkingen:

Een reactie posten