Non è necessario essere geni della matematica. Basterebbero i rudimenti della statistica. E’ difficile immaginare un ricercatore intento a sviluppare un disegno di studio o a verificare le sue ipotesi sperimentali sprovvisto di queste competenze di base. Ma sembra che non pochi lavori, pubblicati anche sulle riviste più autorevoli e prestigiose, siano da rivedere. Perché i conti non tornano. Ed è Nature Neuroscience oggi a puntare il dito.

Lo studio porta le firme di Sander Nieuwenhuis, Birte U. Fortsmann ed Eric-Jan Wagenmakers delle Universtà di Leida e di Amsterdam, i quali hanno passato in rassegna più di 500 lavori condotti nel campo delle neuroscienze cognitive, sistemiche e comportamentali usciti recentemente su riviste del calibro di Science, Nature, Nature Neuroscience, Neuron, The Journal of Neuroscience. Risultato? Centocinquantasette i lavori in “forse”, di cui 78 passerebbero comunque l’esame di statistica, ma 79 (più del 50% di quelli dubbi) non starebbero proprio in piedi.

Dove sta l’inghippo? “In teoria – spiegano Nieuwenhuis e colleghi – la comparazione di due effetti sperimentali richiede un test statistico per verificare la significatività della loro (eventuale) differenza; ma nella pratica spesso si ricorre a una procedura non corretta consistente nell’eseguire due test separati, uno per ciascun effetto, dai quali i ricercatori, una volta trovata una significatività nell’uno ma non nell’altro, ne concludono che gli effetti differiscono”.

“E’ proprio il ragionamento di fondo a non quadrare – proseguono gli olandesi – perché non è detto che se un effetto è significativo e l’altro no, risulti significativa giocoforza anche la loro differenza: in altri termini, anche se i valori di P [indicatore della significatività statistica – NdR] vanno a cadere uno sotto e uno sopra il livello di significatività stabilito (es. 0,05), non è possibile concludere che un effetto differisce statisticamente dall’altro, perché va calcolata appunto la significatività della differenza fra gli effetti e non la differenza fra le significatività”.

Non è (purtroppo) un gioco di parole… Questo errore metodologico sembra essere “diffusissimo nella letteratura neuroscientifica e, in particolare, come hanno messo in luce in precedenza diversi ricercatori fra i quali Russel A. Poldrack [vedere l’articolo di R.A. Poldrack, “Neuroimaging, le promesse e le illusioni”, pubblicato su BrainFactor il 3/6/2009], sarebbe comune specialmente negli studi di neuroimaging, ove i risultati vengono tipicamente presentati in mappe statistiche codificate in colore indicanti il livello di significatività di un particolare contrasto per ciascun voxel visibile”.

A questo punto non ci resta che verificare se e quanto queste analisi traballanti abbiano inciso sulle conclusioni degli studi e sulle riflessioni teoriche che questi studi hanno stimolato nel proprio campo disciplinare ma anche oltre i propri “confini naturali”, vista la crescente popolarità delle neuroscienze. Per non parlare delle ricadute sul versante applicativo e clinico… Ma qui i ricercatori olandesi cedono il passo.

Non prima però di avere portato a galla una ulteriore fonte di preoccupazione. Sembra infatti che, su 120 studi condotti nell’ambito delle neuroscienze cellulari e molecolari pubblicati fra il 2009 e il 2010 sulla sola rivista Nature Neuroscience “non ce ne sia uno ad avere usato la procedura corretta nella comparazione della grandezza degli effetti: in generale, i dati vengono analizzati il più delle volte con il ‘t-test’, occasionalmente con l’Anova a una via, anche quando il disegno sperimentale è multifattoriale, condizione che richiede ovviamente una analisi statistica più sofisticata”.

L’inconveniente si verificherebbe nelle situazioni più disparate e cioè quando i ricercatori vogliono comprare gli effetti di un farmaco rispetto a un placebo, i pazienti rispetto ai controlli, un compito specifico rispetto a una condizione neutra, una regione del cervello con un’altra, animali geneticamente modificati “vs.” animali normali, i giovani rispetto agli anziani e via dicendo.

Un altro colpo alla credibilità della comunità neuroscientifica internazionale? Non è certo il primo e il periodo sembra essere fervido assai in quanto ad autocritiche… Sono passati infatti solo pochi giorni dalla denuncia dei ricercatori delle scuole di medicina di Harvard e UCLA del fatto che i risultati degli studi clinici pubblicati sulle riviste più accreditate e prestigiose “possono confondere e trarre in inganno i lettori” [vedere articolo di BrainFactor del 30/8/2011 “Salute: studi clinici sotto accusa, ingannano i lettori”]; in questa vicenda le riviste chiamate in causa erano addirittura The Lancet, New England Journal of Medicine, British Medical Journal, Journal of the American Medical Association, Annals of Internal Medicine, Archives of Internal Medicine.

Reference:

1. Sander Nieuwenhuis, Birte U Forstmann, Eric-Jan Wagenmakers, “Erroneous analyses of interactions in neuroscience: a problem of significance”, Nature Neuroscience, 14, 1105–1107 (2011), doi:10.1038/nn. 2886 – Versione integrale dello studio scaricabile gratuitamente dal sito web dell’Autore all’indirizzo: http://www.sandernieuwenhuis.nl/pdfs/NieuwenhuisEtAl_NN_Perspective.pdf
2. Russel A. Poldrack, “Neuroimaging, le promesse e le illusioni”, BrainFactor, 3/6/2009