plaNext – next generation planning: verso una peer-review aperta

di: Nadia Caruso, Simone Tulumello

EyesReg, Vol.7, N.4, Luglio 2017

Numero speciale: Le riviste on-line nelle scienze socioeconomiche e territoriali. A cura di D. Musolino, G. Fini (guest editor), P. Rizzi.

Questo contributo presenta alcune riflessioni sui primi anni di vita di plaNext – next generation planning (http://journals.aesop-planning.eu/), la rivista della rete Young Academics (AESOP-YA) di AESOP, Associazione Europea delle Scuole di Pianificazione. L’obiettivo è contribuire al dibattito sulla peer-review (o revisione tra pari) come standard di valutazione della qualità della ricerca nel contesto delle riviste online. In particolare, intendiamo focalizzare l’attenzione su una delle componenti del modo in cui il processo di peer-review è comunemente organizzato, ovvero sulla blindness, l’anonimato garantito ai revisori degli articoli (blind peer-review) e, in certe riviste, anche agli autori (double-blind peer-review).

Il contributo è organizzato in tre parti: primo, una presentazione dell’esperienza di plaNext e della scelta di fare uso di un processo “ibrido” di peer-review (gli autori non sono anonimi; i revisori possono scegliere se restare anonimi); secondo, una contestualizzazione dei “problemi” della peer-review e del ruolo dell’anonimato; terzo, una discussione del successo e dei limiti dell’approccio adottato da plaNext in relazione alle potenzialità della pubblicazione online.

plaNext: un esperimento di peer-review (quasi) aperto

La decisione di lanciare plaNext nasce nel 2013 a Gotheborg, a margine della conferenza annuale degli YAs, con l’obiettivo di dare continuità ai temi discussi durante la conferenza. La redazione di plaNext è costituita da membri della rete AESOP-YA (inizialmente da coloro che facevano parte del coordination team nel 2013). Il gruppo si coordina e lavora a distanza, con incontri periodici telematici. plaNext alterna numeri tematici, nei quali vengono presentati i migliori paper selezionati dalle conferenze annuali degli AESOP-YA, e generalisti.

La strategia editoriale è quella di dare visibilità alle ricerche di dottorandi e ricercatori a inizio carriera che operano nel campo delle scienze sociali, della pianificazione e degli studi urbani. In un contesto in cui sia le grandi case editrici internazionali, sia gli enti di finanziamento stanno puntando decisamente sul gold OA, l’accesso aperto i cui costi sono coperti dagli autori, (1) si rinforzano le gerarchie accademiche e ne nascono di nuove, in quanto il gold OA crea un campo nel quale l’accesso ai fondi di ricerca diventa discrimine per poter pubblicare ed essere visibili. La scelta di lanciare una rivista interamente online e genuinamente open-access (non vi sono costi né per i lettori né per gli autori) è subito sembrata la scelta “ovvia” per incrementare sia la diffusione dei lavori pubblicati che l’accesso alla pubblicazione, in considerazione del fatto che i giovani ricercatori hanno meno accesso a fondi per pagare il gold OA.

Considerato che una pubblicazione tradizionale implica un processo normalmente lungo e a volte infruttuoso, la strategia editoriale di plaNext è stata ideata con l’obiettivo di supportare gli autori attraverso un processo costruttivo di peer-review, che permettesse anche a chi è alle prime armi nella ricerca di imparare e migliorare le proprie capacità di scrittura.

Specificatamente, la redazione di plaNext ha optato per l’adozione di un approccio ibrido alla peer-review: i nomi degli autori sono sempre visibili ai revisori; mentre i revisori sono liberi di scegliere se firmare o meno i loro commenti – ma incoraggiati a non adottare l’anonimato. In questa maniera, si intende creare uno spazio che garantisca rigore scientifico e lo accompagni con un approccio costruttivo e collaborativo, in un ambiente reso meno burocratico e più trasparente dal disvelamento delle identità. I revisori sono incoraggiati, più che a evidenziare i difetti del pezzo, a focalizzarsi su come questi possano essere superati – e in generale a inquadrare sempre le critiche all’interno di proposte di revisione; ed è la redazione che si assume la responsabilità della decisione editoriale.

Peer-review: standard di qualità o conservazione?

Da un punto di vista più generale, la scelta di aprire il processo di valutazione è sembrata un modo di confrontarsi con una serie di riflessioni recenti sulla peer-review. Con poche eccezioni, soprattutto nell’area delle scienze umanistiche, la peer-review è diventata da qualche decennio lo standard principale di valutazione dei prodotti di ricerca. La presenza all’interno dei curriculum di articoli in riviste con peer-review è diventata conditio sine qua non per entrare e progredire nell’accademia. Sebbene i benefici della peer-review siano innumerevoli – su tutti, indipendenza della valutazione e incremento della qualità degli articoli sottoposti al processo –, si tende spesso a sottovalutarne i limiti e, di conseguenza, non si agisce per superarli. Da un lato, la peer-review è un processo che mobilizza una enorme quantità di risorse umane – le riviste arrivano a richiedere centinaia, in casi migliaia, di valutazioni all’anno – in una vera e propria “economia di scambio” (Elden, 2008), nella quale il lavoro di revisione non è né pagato, né considerato come “prodotto” dai comitati di valutazione.

Da un altro, sebbene la peer-review, e soprattutto il suo anonimato, sia generalmente considerata uno strumento capace di livellare le relazioni di potere, sembrano esistere alcuni limiti alle sue capacità di valutazione. Nel 2014, è stato condotto un esperimento durante la selezione degli abstract per la conferenza NIPS (Neural Information Processing System): gli abstract sono stati divisi tra due commissioni e una percentuale è stata assegnata a entrambe le commissioni. Il risultato è stato che più della metà degli abstract accettati da una delle due commissioni non è stato accettato dall’altra: sembra che il risultato delle valutazioni in peer-review potrebbe essere in buona parte casuale (Price, 2014). Gillies (2014) e de Ruiter (2014) arrivano a suggerire che la peer-review è un processo inerentemente conservativo, che tende a marginalizzare approcci nuovi ed originali – sia in fase di valutazione di progetti che di prodotti di ricerca. De Ruiter (2014), in particolare, considera l’anonimato un fattore centrale nel rinforzare le tendenze conservatrici della peer-review – nel senso che permette ai revisori di dismettere idee e approcci diversi da, se non in conflitto con, quelli che conoscono o apprezzano.

In questo senso, la scelta di plaNext di intraprendere un percorso verso un processo trasparente e “tracciabile” è un tentativo di affrontare esplicitamente le questioni più problematiche, una scelta che si può iniziare a valutare criticamente.

Successi e limiti di un modello ibrido di peer-review

plaNext ha pubblicato tre volumi – quattro sono in fase di produzione. Per questa riflessione ci limitiamo ai volumi pubblicati, per i quali il quadro delle revisioni è completo ed i cui numeri sono sintetizzati in Tabella 1 – non sono inclusi gli articoli considerati dalla redazione non sufficientemente sviluppati per essere inviati in revisione. Lo standard di plaNext è inviare ogni articolo a due revisori, in pochi casi però è stato necessario limitarsi a una sola revisione a causa della difficoltà di trovare valutatori in tempo utile – in questi casi, una seconda valutazione è stata fornita da un membro della redazione. La grande maggioranza dei revisori ha accettato di disvelare la propria identità, e questo suggerisce che la blindness potrebbe non essere considerata una condizione necessaria per accettare di effettuare lavori di revisione.

La apertura della peer-review ha contribuito ad incrementare la qualità e lo spirito costruttivo delle revisioni? In generale, la qualità delle revisioni ricevute è stata estremamente alta, meno nei casi in cui i revisori hanno mantenuto l’anonimato. In particolare, i revisori hanno adottato l’anonimato in quei pochi casi in cui hanno inviato revisioni estremamente riassuntive, poco dettagliate e scarsamente costruttive. Questo sembrerebbe suggerire che l’anonimato sia condizione necessaria per l’esistenza di revisioni di scarsa qualità – ovviamente non sufficiente, abbiamo ricevuto ottime revisioni anonime. Verifichiamo anche che molti dei revisori che hanno proposto la bocciatura degli articoli hanno optato per l’anonimato. In generale, solo in pochi casi la redazione ha optato per la bocciatura, in quasi tutti i casi in cui si sono ricevute revisioni molto critiche si è data opportunità agli autori di modificare strutturalmente i testi – alcuni articoli non sono stati pubblicati o perché gli autori hanno deciso di rinunciare o perché il processo di revisione è ancora in corso. Sembra di poter affermare che, anche dal punto della costruttività delle revisioni, l’apertura del processo sia una scelta efficace.

Il modello plaNext presenta anche alcuni limiti e aspetti “in corso”:

• Il processo di apertura della peer-review è ancora in definizione e potrebbe presentare rischi “non visibili”. Ad esempio, non c’è modo di sapere se sia questo modello ad allontanare potenziali revisori – come ricercatori precari preoccupati di non “inimicarsi” loro pari.
• Il modello potrebbe essere di più difficile replicabilità in riviste generaliste, perché potrebbe essere più difficile accettare di svelare la propria identità quando si valutino contributi di accademici senior e famosi.
• Sarebbe importante ampliare il bacino linguistico di plaNext ad altre lingue oltre l’inglese, nell’ottica di una vera “internazionalizzazione” (cf. Minca, 2000; Garcia-Ramon, 2003) e ricordando che se l’accesso aperto contribuisce a far uscire la ricerca dai circoli accademici, l’uso esclusivo dell’inglese invece tende a limitarne la fruibilità da parte di professionisti e società civile (Stiftell, Mogg, 2007). L’uso di più lingue comporterebbe, nel processo di peer-review, maggiori difficoltà che plaNext attualmente non è ancora in grado di affrontare.
• Nell’ottica di sfruttare appieno le potenzialità dell’apertura della peer-review, sarebbe importante adottare un modello di pubblicazione più flessibile, con articoli pubblicati online prima dell’inclusione nel volume (secondo il modello online first), e considerare la possibilità di pubblicare alcune revisioni a fianco degli articoli – si è finora solo fatto uso di una citazione di una revisione, previa autorizzazione dell’autore (Tulumello, Healey, 2016, 7).

In conclusione, ci sembra evidente che sia necessario affrontare in maniera aperta ed esplicita il modo in cui modelli e strumenti di valutazione strutturano le relazioni dentro l’accademia. Se l’argomento più comune in favore dell’anonimato nel processo di peer-review è che questo livelli le relazioni di potere, ci sembra evidente che invece questo le trasformi, e in certi casi possa persino oscurarle. In molti casi, è la stessa scelta dei valutatori a segnare il destino di un articolo (ad esempio quando si sceglie se mandarlo a valutatori di tradizioni epistemologiche e teoriche coincidenti o differenti da quelle dell’articolo): in questi casi, si finisce per centralizzare il potere nelle mani di chi seleziona, e interpreta, i valutatori, ovvero le redazioni, in assenza di trasparenza. L’esperienza di plaNext – con i suoi successi, limiti e potenzialità – mostra come sia possibile confrontarsi con il conservatorismo e l’opacità del processo tradizionale di peer-review; e che l’apertura dei processi di pubblicazione costituisce un progetto complesso che può far uso degli strumenti tecnologici in maniere ambivalenti. Più in generale, vale la pena sottolineare l’utilità di rimettere in discussione tutti quegli strumenti, come la peer-review, che, nel diventare standard indiscussi e indiscutibili, possono contraddire i loro stessi princìpi.

Nadia Caruso, Politecnico di Torino – DIST

Simone Tulumello, Universidade de Lisboa – ICS

Bibliografia

de Ruiter J.P. (2014), How Anonymous Peer Review Fails to Do its Job and Damages Science. Open Science Collaboration, 15 Maggio, http://osc.centerforopenscience.org/2014/05/15/anonymous-peer-review/.

Elden S. (2008), The Exchange Economy of Peer-review, Environment and Planning D, 26, 6: 951-953.

Garcia-Ramon M.D. (2003), Globalization and International Geography: The Questions of Languages and Scholarly Traditions, Progress in Human Geography, 27, 1: 1-5.

Gillies D. (2014) Selecting Applications for Funding: Why Random Choice is Better than Peer review, ROARS Transactions, 2, 1: 1-14.

Minca C. (2000), Venetian Geographical Praxis, Environment and Planning D, 18, 3: 285-289.

Price E. (2014), The NIPS Experiment, Moody RD, 15 Dicembre, http://blog.mrtz.org/2014/12/15/the-nips-experiment.html.

Stiftel B., Mogg R. (2007), A Planner’s Guide to the Digital Bibliographic Revolution, Journal of the American Planning Association, 73, 1: 68-85.

Tulumello S., Healey P. (2016), Questioning Planning, Connecting Places and Times: Introduction to the Special Issue, plaNext – next generation planning, 3: 7-15.

Note

(1) Sage, Taylor and Francis, Elsevier, Wiley, case editrici che raccolgono gran parte delle riviste internazionali in scienze sociali, permettono di pubblicare in accesso aperto su tutte le riviste, dietro pagamento di compensi che arrivano alle migliaia di euro. PLOS ONE, una delle prime riviste in goldOA, è oggi la maggiore al mondo per numero di pubblicazioni e ha un luogo fisso nell’olimpo delle riviste più lette e citate. Quasi tutti gli enti e strumenti di finanziamento della ricerca, dall’European Research Council a Horizon 2020, fino a istituzioni come i Research Council inglesi o la Fundação para a Ciência e Tecnologia portoghese obbligano alla pubblicazione in OA di tutti i prodotti della ricerca finanziata e rendono disponibili fondi per il pagamento del gold OA – l’Italia è una rara eccezione a questo panorama, per esempio l’ultimo PRIN obbliga a pubblicare in accesso aperto ma non finanzia il gold OA.