Peer-reviewing en het aanzien van de wetenschap

Een pleidooi voor non-peer reviewing

Het aanzien van de wetenschap brokkelt af. Die afbrokkeling vormt een bedreiging voor de beschaving, met name de westerse. Als we niet uitkijken zal met de onvermijdelijke onderuitgang van de sociale wetenschap en de klimaatwetenschap het imago van alle wetenschapsbeoefening meer schade lijden dan ze verdient. Dat is de achtergrond voor dit pleidooi voor non-peer reviewing, met name in de sociale wetenschap.

Idealiter

De superioriteit van wetenschapsbeoefening ten opzichte van andere vormen van kennisverwerving en -verspreiding, schuilt in het verwelkomen van kritiek, anders gezegd: in de focus op inhoud van hetgeen geschreven of uitgesproken wordt in plaats van op de gezagspositie van de schrijver of spreker.

Wetenschapsbeoefening is niet zo gemakkelijk. Het beschrijven van de voorwaarden waaraan voldaan moet zijn om tot wetenschappelijke kennis te komen, is minder moeilijk.

Er moeten expliciete, falsifieerbare hypotheses opgesteld en getoetst worden.

De data zelf en de exacte wijze waarop ze verzameld werden, moeten openbaar zijn.

De data moeten verwerkt worden met behulp van betrouwbare, degelijke, deskundig gehanteerde hulpmiddelen.

De voorkeur gaat uit naar data die afkomstig zijn van -herhaalbare- experimenten.

De getoetste hypotheses moeten in het verlengde liggen van een helder geformuleerde theorie.

De mate waarin is voldaan aan deze voorwaarden bepaalt de kwaliteit van de betreffende wetenschappelijke inspanning. Is die waarde van voldoende niveau, dan kan de betekenis van wetenschappelijke producties worden beoordeeld.

Beperkingen

De voorwaarden uit de vorige paragraaf beschrijven een ideaalbeeld. Beoefenaars van natuurwetenschappen kunnen dat ideaal het dichtst benaderen, maar zelfs voor hen vormt met name de laatst genoemde voorwaarde -aansluiting op een helder geformuleerde theorie- een fundamenteel probleem. Michael Polanyi heeft er in Personal Knowledge (1958) al op gewezen dat zonder deze voorwaarde wetenschapsbeoefening niet tot zinvolle kennis zou leiden maar tot de vulling van rariteitenkabinetten: losse, onsamenhangende brokjes wetenschappelijke kennis in een oceaan van meningen en traditionele opvattingen.

Thomas Kuhn heeft deze theoretisch geformuleerde beperking praktisch uitgewerkt in The Structure of Scientific Revolutions. De term ‘paradigma’ is daarin het centrale begrip.

Oneerbiedig geformuleerd stelt Kuhn eigenlijk dat wetenschappers ook maar mensen zijn en niet allemaal op even hoog niveau presteren. Net als mensen in het algemeen, laten veel wetenschappers zich leiden door hun inschatting of ze hun hypotheekbetalingen ook op middellange termijn nog kunnen betalen, competitie en vriendschap spelen een rol, net als geld en aanzien. Anders gezegd: wetenschapsbeoefening is ook een sociologisch verschijnsel.

Dit is allemaal nogal negatief geformuleerd, het kan ook positiever. De meeste wetenschappers blijven met hun onderzoek in de buurt van het geheel van gangbare theorieën dat het paradigma vormgeeft. Versterking van het overheersende paradigma kan beslist zinvol zijn. Paradigma’s lenen zich niet voor eenduidige falsificatie en al helemaal niet voor verificatie. Het geldende paradigma moet meer verklaren, meer zinvol onderzoek voorstellen en zowel de kracht als de beperkingen van het oude paradigma verklaren: er is niet iets fundamenteel fout aan bijdragen op deze gebieden.

Bedreigingen

De sociologische aspecten van de wereld der wetenschap bedreigen de kwaliteit ervan op verschillende manieren. Een aantal bedreigingen doet zich voor in elke tak, anderen zijn meer specifiek voor bepaalde takken van wetenschap.

In Valse vooruitgang. Bedrog in de Nederlandse wetenschap beschreef Frank van Kolfschooten een aantal gevallen van bedrog, variërend van onthutsend tot ronduit sensationeel. Het blijkt zelfs de vorm te kunnen aannemen van datavervalsing door een verliefde assistente om claims van haar wetenschappelijke baas te onderbouwen, vervalsing die dan decennialang niet getackled wordt dankzij misplaatst respect voor het gezag van die wetenschapper.

De strapatsen van de sociaal psycholoog Diederik Stapel, die zelfs buiten de wetenschappelijke wereld een bijna spreekwoordelijke status heeft bereikt, waren nog spectaculairder. Dat soort gedragingen vormen echter geen grote bedreiging voor het aanzien van de wetenschap: ze zijn zo overduidelijk bedrieglijk dat iedereen uit zijn omgeving hem heeft laten vallen en de man -terecht- als paria van de wetenschap wordt beschouwd. Ex-hoogleraar Stapel heeft zelfs zijn doctorstitel ingeleverd. Het gevaar bestaat dat daarmee het beeld wordt opgeroepen dat het hier gaat om de uitzondering die de regel van integere wetenschapsbeoefening juist bevestigt [i].

Twee zaken krijgen daardoor te weinig aandacht.

Altijd en overal bestaat het gevaar van puur bedrog. Bij de voorwaarden zou eigenlijk ook moeten staan: de beoefenaren van de wetenschap kennen een minimaal niveau van integriteit. De mogelijkheid dat sprake is van puur bedrog, verzonnen data, krijgt in het algemeen te weinig aandacht: dat minimale niveau wordt als gegeven beschouwd.

Daarnaast heeft veel sociaal wetenschappelijk onderzoek een politieke kleur: de theorieën verwijzen te weinig naar meetbaar gedrag en te veel naar een mensbeeld. Mensbeelden fungeren als paradigma’s. In de criminologie is het paradigma bijvoorbeeld: daders zijn slachtoffers. Politieke kleuring komt ook buiten de sociale wetenschap voor, zie climategate.

Objectief

Gezien de omvang van de wetenschappelijke productie is het onvermijdelijk dat de gezagspositie van schrijvers en sprekers toch een rol speelt: niemand kan alles lezen. Langs verschillende wegen wordt er naar gestreefd om er voor te zorgen dat dat gezag uitsluitend ontleend wordt aan de wetenschappelijke prestaties sec.

Ongeveer sinds 1960 beogen indexen (zoals de Science Citation Index van Thomson Reuters en afgeleiden daarvan) een objectieve maat te geven voor gezag in wetenschappelijke kring. Simpel gesteld: wie veel geciteerd wordt door andere wetenschappers heeft blijkbaar iets belangwekkends te melden.

Er zijn heel wat vragen en kanttekeningen te maken bij het precieze mechanisme. Wat is bijvoorbeeld het effect van ontmaskering en/of terugtrekking? En fundamenteler: wat valt er te doen aan doelgerichte pogingen om de index te beïnvloeden? Er is een zekere overeenkomst met de meest bedenkelijke vormen van ‘search engine optimalisatie’, denk aan zogenaamde linkfarms. Phil Davis schreef recent een stuk op The Scholarly Kitchen over die praktijken onder de titel Emergence of a Citation Cartel [ii].

Het fenomeen peer reviewing is veel ouder maar de brede toepassing ervan is ongeveer even oud als de indexering. Vooral de blinde variant lijkt op het eerste gezicht een fantastisch hulpmiddel: voordat een tijdschrift een artikel plaatst wordt het artikel voorgelegd aan een aantal mensen die geacht kunnen worden deskundig te zijn over het onderwerp dat in het artikel besproken wordt. De reviewers krijgen niet te horen door wie het geschreven is en, idealiter, weet de redactie die oordeelt over wel of niet opname van het artikel ook niet wie de reviewers zijn. In de praktijk blijkt dit systeem verre van waterdicht te zijn.

Twan de Vries van het Leids Universitair Medisch Centrum heeft hier meermaals aandacht voor gevraagd. Na een opsomming van verschillende manieren waarop dit in zijn werk kan gaan,  schreef De Vries in het Leids Universitair Weekblad Mare:

De meeste van de bovengenoemde problemen zijn terug te voeren op het slecht functioneren van het peer review proces. (…) Het wordt de hoogste tijd dat reviewers zich (weer) gaan realiseren dat het beoordelen van wetenschappelijk artikelen een serieuze en tijdrovende aangelegenheid is die zorgvuldigheid en neutraliteit vereist [iii].

Later interviewde het VPRO-radioprogramma Noorderlicht een aantal wetenschappers onder het kopje ‘ellebogenwerk’.

Peers en collega’s

Het woord ‘peer’ heeft in de wetenschap de betekenis: iemand met dezelfde status en competenties. Daarbuiten verwijst het (o.a.) ook naar leeftijdsgenoten en elke groep van mensen die invloed op iemand heeft. Daarvan komt het begrip peer-pressure: “influence from members of one’s peer group: his behavior was affected by drink and peer pressure.

Het is ironisch dat een belangrijk deel van de problemen ingebakken zit in de verschillende betekenissen van de term ‘peer’. Nog ironischer is dat de waarschuwing voor gevaarlijke aspecten van reviewing door ‘peers’ ook ingesloten zit in de Nederlandse term ervoor. Peer reviewing wordt in het Nederlands vertaald als: “collegiale toetsing” en volgens vanDale staat de term ‘collegiaal’ zowel voor “zoals het toegaat onder collega’s” als voor “kameraadschappelijk”.

Controle door collega’s is beter dan geen controle: ‘peer reviewed’ is beter dan ‘non peer reviewed’.  Grootschalig bewust of onbewust verkeerd gebruiken van statistiek en andere vormen van wetenschapsfraude vergen nog iets anders.

Non-peer reviewing

Zeker in de sociale wetenschap zou het goed zijn wanneer ook mensen van het buiten het betreffende vakgebied, artikelen kritisch zouden beoordelen.

Voor heel veel wetenschappelijke artikelen geldt dat voor reviewing het volstaat om te beschikken over een flinke dosis gezond verstand, intelligentie, kritische zin en enige kennis van statistiek.

In de sociale wetenschap geldt dit voor alle artikelen.

Het imago van sociale wetenschappen brokkelt af. Mijn ‘werkhypothese’ is dat juist echte wetenschappers nog een relatief positief beeld hebben van de sociale wetenschappen. Niet allemaal. In de VS wordt eraan gewerkt om vanuit de NSF (National Science Foundation) geen geld meer te stoppen in sociale wetenschappen [iv]. Mogelijk is inmiddels politicologie al geschrapt.

 Noten


[i] In het NRC schrijft Sjoerd de Jong over hoe de krant omgaat met de Zaak Stapel. De krant plaatst in het archief bij stukken die verwijzen naar het werk van de gestruikelde wetenschapper een waarschuwing. Het artikel bevat geen enkele aanwijzing of suggestie dat de krant in de toekomst terughoudender zal zijn in haar verwijzingen naar voortbrengelen uit de sociale psychologie. link naar het NRC-artikel.
[ii] Link naar het artikel op The Scholarly Kitchen.
[iii] Link naar het Mareonline-artikel. Link naar Wetenschap 24.
[iv] Senator Senator Tom Coburn heeft de knuppel in het hoenderhok gegooid. Bij Real Clear Science krijgt hij steun van student, Tom Hartsfield.
Hier ondersteuning van een van de oprichters van Science 2.0.

3 reacties op “Peer-reviewing en het aanzien van de wetenschap

  1. Goed artikel. Op Climategate.nl verschijnen ook met enige regelmaat verwante artikelen. Logisch, want als er ergens een onderwerp is waar wetenschap er niet meer toe doet is het daar wel, klimaat-(zwendel).

  2. vergeet niet dat ook de verwerking van data publiek toegankelijk en controleerbaar moet zijn. Dé achilleshiel van de klimaat (modellen) wetenschap

  3. Paradigma verschuiving zou misschien moeten worden bevorderd. De huidige wildgroei binnen bestaande paradigma’s wordt echter aan alle kanten kunstmatig gestimuleerd. Men wil productie waar geen wezenlijk nieuwe ideeën zijn ontstaan. De wetenschap herhaalt zich daardoor in haar citaten. Deze inflatie zou moeten stoppen. Falsificatie blijft noodzakelijk maar wetenschappelijke groei kan niet administratief worden afgedwongen.

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Verplichte velden zijn gemarkeerd met *

De volgende HTML-tags en -attributen zijn toegestaan: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>