Onder de provocerende titel ‘Voodoo correlations in social neuroscience’ heeft promovendus Edward Vul (Massachusetts Institute of Technology, Cambridge, VS) de aanval geopend op een hele batterij prominente hersenwetenschappers. De conclusies die zij uit hersenscans hebben getrokken, deugen vaak niet, betoogt Vul in het artikel, dat hij samen met drie collega’s heeft geschreven. Het epistel zal pas in september verschijnen in het vakblad Perspectives on Psychological Science. Maar het staat al sinds eind december op de site van Vul. Inmiddels is op weblogs en internetfora een stevige discussie onder vakgenoten ontstaan. Edward Vul richt zijn pijlen op de relatie tussen hersenactiviteit en emoties. Daarnaar is de afgelopen tien jaar veel onderzoek gedaan met MRI-scanners. Op de beelden is te zien waar het brein zuurstof verbruikt, en daaruit is af te leiden welke hersendelen betrokken zijn bij bepaalde psychische activiteit. Functionele MRI heet dat, kortweg fMRI. Het idee om kritisch naar dit soort onderzoeken te kijken, kwam voort uit verbazing over de extreem sterke verbanden die eruit kwamen, schrijft de jonge psycholoog. Regelmatig worden correlatiecoëfficiënten van meer dan 0,8 gerapporteerd, wat zou betekenen dat oorzaak en gevolg bijna één op één met elkaar verbonden zijn. Bijvoorbeeld in een onderzoek dat in 2003 verscheen in Science. De onderzoekers analyseerden het verband tussen de activiteit in een bepaald stukje hersenschors en een gevoel van ongemak dat een groep van dertien proefpersonen zei te hebben bij sociale uitsluiting. Ze vonden een correlatiecoëfficiënt van 0,88. Zo’n sterke correlatie vinden is feitelijk niet mogelijk, stellen Vul en zijn collega’s. De onvermijdelijke onzekerheden bij de fMRI-metingen en bij het meten van het gevoel zorgen er samen voor dat een correlatie die in werkelijkheid perfect is, zelden een hoger getal dan 0,75 op zal leveren. Hoe komen al die onderzoekers tot hun - soms onmogelijk hoge - correlatiecoëfficiënten? De kritische Amerikanen plozen 55 artikelen na. Daarin stond vaak niet duidelijk vermeld waarop de getallen gebaseerd waren, terwijl dat volgens de regels wel zou moeten. Daarom stuurden ze de schrijvers van die artikelen een korte vragenlijst. Uit de antwoorden bleek waar het vaak misging: bij de selectie van relevante hersengebieden. Veel onderzoekers hadden eerst één of enkele plekjes van de hersenen gekozen die in de hele groep het sterkste effect lieten zien, en berekenden daarna de correlatiecoëfficiënt die daarbij hoorde. Maar dat mag niet, schrijft Vul. Als je dat doet, selecteer je namelijk de gebieden die bovenop de echte correlatie ook nog een stevige ruiscorrelatie hebben, en die laatste is zuiver toevallig. Op zo’n manier kun je zelfs uit een willekeurige verzameling gegevens een sterke correlatiecoëfficiënt tevoorschijn toveren, betoogt Vul, simpelweg omdat er tussen de duizenden kandidaten altijd wel een plekje zit dat toevallig hoog scoort. Hoe moet het dan wel? Daar zijn verschillende methoden voor, die allemaal gemeen hebben dat de eerste selectie van relevante gebieden en de latere berekening van een correlatiecoëfficiënt onafhankelijk van elkaar zijn. Zo’n correcte analyse kan nog steeds gedaan worden bij de onderzoeken waar Vul nu gehakt van heeft gemaakt. En dat moet ook gebeuren, vindt hij. Vul heeft een punt, schrijft een viertal aangevallen onderzoekers in een reactie, die te vinden is op de site van Vul. Eén van hen, de Groningse hoogleraar Christian Keysers, laat weten dat hij alleen wil reageren binnen de wetenschappelijke kanalen. Hij verwijt Vul dat hij de discussie daarbuiten voert. Vul overdrijft volgens de vier op allerlei manieren. Ze benadrukken bovendien dat de correlatiecoëfficiënten eigenlijk niet zo belangrijk zijn, en dat het vooral gaat om het aantonen van significante correlaties tussen brein en emoties. En die blijven overeind. “Dat klopt wel”, stelt neurowetenschapper en statisticus Eric Maris van het Nijmeegse Donders Instituut, zelf geen partij in het debat. “Maar de sterkte van die correlaties is, zoals Edward Vul stelt, vaak toch echt overdreven. Er is dus wel wat aan de hand. De onderzoekers waar het om gaat, zijn nu verplicht hun fouten recht te zetten en de correlaties opnieuw te berekenen op een manier die geen overschatting oplevert.” Naast het feit dat nu een collectieve blinde vlek van sociale neurowetenschappers aan de kaak gesteld wordt, is er nog iets dat opvalt aan deze affaire. Het trage systeem van wetenschappelijk publiceren in vakbladen, waarbij maanden verstrijken tussen acceptatie en publicatie van een artikel, blijkt ongeschikt voor dit soort geschillen. Sommige bekritiseerde wetenschappers vonden aanvankelijk dat ze pas hoefden te reageren wanneer het artikel van Vul en zijn collega’s officieel gepubliceerd zou zijn, maar beseften al snel dat ze dan te laat zouden zijn. Ze schreven dus een repliek en bereiden nu een officieel tegenartikel voor. Met een beetje geluk kan dat verweer in een tijdschrift verschijnen voor de aanval, die immers pas in september in druk verschijnt. Elmar Veerman Edward Vul, Christine Harris, Piotr Winkelman en Harold Pashler: ‘Voodoo correlations in social neuroscience’. In: Perspectives on Psychological Science, september 2009 Mbemba jabbi, Christian Keysers, Tania Singer en Klaas Enno Stephan: Response to “Voodoo correlations in social neuroscience”by Vul et al. – summary information for the press