Dall’estate scorsa, insieme al collega Fabio Gasparini, si riflette sulle criticità in merito all’utilizzo del modello PRISMA per effettuare le revisioni sistematiche negli ambiti delle scienze umane. In effetti, come ogni modello, anche questo conduce ad una produzione di conoscenza entro certe curve di visibilità e certe curve di enunciazione. In altre parole, anche con il PRISMA (da questo momento “P.”) si incorre nel solito problema della presunta possibilità di raggiungere la visualizzazione limpida e totale (definitiva) dello stato dell’arte della ricerca in una disciplina, ad un tempo x della sua storia.
Perché parlarne? Perché, sin dalla sua “nascita” in ambito medico, questo modello è stato utilizzato anche dai gruppi di ricerca nei campi disciplinari dell’area 11, immaginando, di ottenere delle fonti bibliografiche più precise e rigorose grazie ad una procedura rigida che dice cosa fare, in che modo e secondo quali passaggi.
Dunque, le domande sono molteplici, e ruotano attorno ad alcuni interrogativi centrali: perché gli scienziati scelgono di utilizzare P. per le revisioni sistematiche della letteratura? In che modo, seguendo P., si produce conoscenza? Che cosa rimane incluso e che cosa escluso, in termini bibliografici, nella rete di P.? Questi processi di inclusione ed esclusione che effetti hanno sul più ampio processo di produzione di conoscenza?
Diremo sin da subito che sì, la procedura è standard, i passaggi da seguire sono quelli sviluppati e comunicati attraverso il paper di Moher et al. (2009), ma i margini di manovra che ogni gruppo di ricerca può operare durante i mesi di costruzione della revisione sistematica sono per niente innocui, anzi, sfiorano il paradossale (è logico, si tratta di umani). Sebbene negli ambienti accademici non emerga quasi mai come fattore decisivo, ogni gruppo di ricerca si ritrova libero di decidere database da interrogare, parole chiave, raccordi booleani, filtri, criteri di inclusione e criteri di esclusione. Non solo. Utilizzando P. è prevista anche una sezione chiamata “identification studies via other methods”, ossia la possibilità di includere nella revisione un quantitativo x di opere e articoli ricavati per vie ulteriori rispetto ai database. Quali sono queste vie ulteriori? E perché alla fine generano, a nostro avviso, nuove perplessità (che difendiamo)? Le vie ulteriori sono le più svariate, compreso il libro identificato nella libreria della nonna, l’articolo trovato nella piccola biblioteca comunale nella sezione 8+1 dell’archivio, la breve presentazione di uno studio dell’amico dello zio, e chi ha più fantasia può immaginare molti altri personaggi e ambientazioni.
In questo senso, generano in noi forte perplessità perché, se l’obiettivo di chi crede e sostiene l’utilizzo di P. nelle revisioni sistematiche della letteratura delle scienze umane è quello di affibbiare a tali scienze, o ai propri studi, la S maiuscola (qualunque cosa significhi), questa non è la via giusta perché non garantisce affatto la riproducibilità dello studio (il che non è una cosa negativa a-priori). Infatti, io ho avuto accesso alla libreria di mia nonna e ho trovato il documento x, che si è rivelato decisivo tra gli articoli inclusi e discussi poi nel paragrafo dei risultati del mio paper, ma il ricercatore che intende effettuare una nuova revisione sistematica sul medesimo tema come può presentarsi alla porta dell’abitazione di mia nonna e chiedere in prestito il documento? Siamo sicuri che la nonna abbia il desiderio di conservarlo? In che modo il ricercatore “giustifica” l’inserimento dell’articolo come rilevante, anche se non presente nella lista prodotta da P.? Quali sono i criteri che rendono “rilevante” quell’articolo? Tali criteri vengono esplicitati?
Di seguito un altro problema, strettamente connesso a quanto già detto in questa prima parte.
In ambito accademico, esistono dei database considerati “i principali” e dei database considerati “di disciplina”. Con i primi si fa riferimento principalmente a Scopus e WebOfScience, mentre con i secondi, dipende: per le tematiche educative, ad esempio, un database come Eric, per quelle psicologiche PsychInfo. I primi (i cosiddetti “principali”) tendenzialmente privati, scelgono autonomamente quali criteri adottare per considerare una rivista (e dunque gli articoli pubblicati in essa) idonea al database; i secondi (cosiddetti “di disciplina”), aperti e meno rigidi, tuttavia presentano delle insufficienze soprattutto in merito alla tipologia di documentazione che si può trovare al loro interno; qui si trovano soprattutto articoli in lingua inglese e principalmente strutturati attraverso una metodologia considerata evidence based. Risulta evidente, anche nella fase 0 ossia la scelta dei database, che ci si trova di fronte ad una catena di falle, prima fra tutte la credenza che questi “depositi” siano rappresentativi del campo disciplinare indagato.
A questo punto diventa evidente come l’utilizzo di P. inneschi un processo di produzione di conoscenza all’interno di un dato contesto co-costruito dal ricercatore – quando sceglie le parole chiave – , dai vincoli dell’algoritmo che produce l’output – la lista di articoli – e dalla conformità a regole istituzionali stabilite da una comunità all’interno di un determinato paradigma. L’algoritmo di ricerca che viene utilizzato dai database mette in pratica due attività: utilizza dei dati e produce dei dati. Ma i dati non sono semplicemente “lì a disposizione”, sono piuttosto degli output specifici elaborati da un algoritmo in riferimento al loro utilizzo. In altre parole l’output di P. dipende dalla domanda, o dalle parole chiave, con cui si interrogano i database. Inoltre, ogni ricercatore dovrà confrontarsi con il fatto che la lista di articoli che verrà prodotta non sarà rappresentativa dell’intera letteratura su uno specifico tema, semmai di una rappresentazione parziale. Non solo. La lista di articoli non è neutrale, non si tratta di un elenco con finalità descrittive, ma performative, perché quegli articoli serviranno al ricercatore per ricostruire un dibattito o comprendere cosa hanno detto altri ricercatori sul tema.
In questo momento le nostre riflessioni ci portano a pensare che il modello PRISMA, apparentemente positivistico, in realtà legittima delle rappresentazioni parziali e situate. Ricorrere a questi modelli genera l’illusione di introdurre il minor numero possibile di forzature e scelte soggettive da parte del ricercatore, il quale è invece parte integrante della realtà scientifica modificandola. Per attivare un processo di conoscenza, anche attraverso il modello P., si interviene sulla realtà, creando delle rappresentazioni che sono il prodotto di un processo di selezione e di forzature messe in atto dal ricercatore. Dunque, l’output del modello P. non ha a che fare con la “naturalezza” del mondo scientifico, bensì si tratta di un mondo artificiale costruito dal ricercatore e che verrà utilizzato come base di successive attività scientifiche.
