No significance? No party! “The file drawer problem”

Fatidica frase finale: “i nostri risultati supportano chiaramente l’ipotesi”. La ricerca pubblicata nella miriade di giornali scientifici disponibili rappresenterebbe una piccola percentuale degli studi realmente condotti. Una realta’ nota da tempo agli scienziati ed estremizzata da Rosenthal (1979) con il termine “the file drawer problem”. I dati effettivamente pubblicati dai giornali e percio’ disponibili in letteratura costituirebbero un minimo 5% degli studi condotti che mostrano risultati significativi. Tutto il resto? Il resto e’ costituito da dati che non mostrano differenze significative, o peggio, che non supportano l’ipotesi, o nella migliore delle ipotesi di difficile interpretazione, ad esempio a causa di limitazioni metodologiche.  Tutta questa mole di dati si tiene percio’ al buio, nei cassetti.  Perche’? Scelta consapevole o forzata? Forse la risposta e’ scelta consapevolmente forzata. Consapevole perche’ le riviste piu’ prestigiose quali Nature e Science tendono a pubblicare una minima percentuale di dati senza significativita’ (Csada et al 1996) probabilmente perche’ ritenuti poco originali o non importanti per l’avanzamento scientifico.  Perciò il ricercatore, ben avvezzo alle scelte editoriali, sa che le possibilità di vedere i suoi dati non significativi pubblicati su una rivista ad alto impatto sono ridotte ed e’ quindi forzato a focalizzarsi sui dati in cui ci sono i profetici valori di p ≤ 0.05 o p ≤ 0.01 perche’ quella parte di dati, anche se debolmente rappresentativa dell’intero fenomeno, sara’ piu’ facilmente vendibile in un giornale. Cosa implica tutto questo? Essendo la scienza un po’ come “una scala senza fine”, accade che altri ricercatori utilizzino i risultati pubblicati per pianificare successivi esperimenti e testare successive ipotesi correlate. Rimane pero’ il dubbio sulla robustezza delle ipotesi  qualora  quei risultati siano il prodotto di un publication bias. Risultato (significativo o non…)? Ai lettori.

Valeria Marasco

Advertisements