La qualità della ricerca: quali criteri per valutarla?

E’ possibile che un gruppo di persone critichi la debole qualità e la scarsa istituzionalizzazione della sociologia italiana, senza avere una visione condivisa di cosa sia la qualità scientifica?

Probabilmente si, finché il discorso resta solo sul piano della critica all’esistente. Se però si cercasse di passare a qualche forma di azione collettiva, la mancata condivisione di criteri di qualità espliciti diventerebbe un problema. Provo a spiegarmi: supponiamo che si cominci davvero a monitorare informalmente l’andamento dei prossimi concorsi, con l’obiettivo di innescare un meccanismo di controllo reputazionale. Bene, al prossimo concorso ci sono tre candidati:

- Tizio ha un pubblicato un articolo sulla rivista italiana alfa, due articoli sulla rivista italiana beta e una monografia per una casa editrice nazionale (es. Franco Angeli).

- Caio ha solo una monografia per una sconosciuta casa editrice di Viterbo.

- Sempronio ha una monografia per Routledge, un articolo per la rivista italiana alfa e un articolo per la rivista internazionale gamma.

Tutti e tre i candidati hanno un profilo ben corrispondente allo specifico concorso aperto. Vince Caio che, guarda caso, è il candidato interno.

Nel blog si discute sugli esiti di questo (puramente ipotetico) concorso e qualcuno afferma che Sempronio era invece il migliore candidato.

Tuttavia qualcun altro osserva che Tizio può vantare un articolo in più.

Qualcun altro ancora nota, però, che non si può misurare la qualità scientifica “a peso” e che Caio, pur avendo solo una monografia per una casa editrice sconosciuta, ha scritto un saggio di eccezionale valore.

Qualcun altro ribatte che la monografia di Sempronio è altrettanto valida e si comincia a discettare sui rispettivi meriti epistemologici di questi due saggi, sulla loro “originalità”, ecc.

Avete inteso dove voglio arrivare: se i criteri di qualità restano vaghi e non sono precisati ex ante, si finirà sempre a discutere su quali debbano essere quelli da adottare e, soprattutto, sarà sempre possibile trovare ex post qualche criterio generico che permette di giustificare la vittoria del candidato che si vuole far vincere. I favoritismi particolaristici proliferano indisturbati anche grazie alla genericità dei criteri valutativi. L’ambiguità delle regole del gioco permette di legittimare scelte di bassa qualità, rivestendole di una patina di plausibilità scientifica. Certo, in alcuni casi i verdetti delle commissioni sono così faziosi che è evidente che la competizione non era equa. Però molto più spesso le differenze di qualità tra candidati non sono così palesi e indubitabili, quindi i criteri prescelti diventano decisivi.

Il problema è che questi criteri di qualità sono tanto indispensabili quanto spinosi da definire. Se però neghiamo in linea di principio la possibilità di definirli in modo sensato e non meramente arbitrario, allora mi pare che ogni critica ai concorsi o alla qualità della disciplina in Italia si svuoti di significato: infatti non ci sarebbe nessuna base condivisibile per criticare. Si deve, però, evitare anche il pericolo opposto, cioè credere che possano esistere criteri neutrali e “tecnici”, validi in assoluto, sarebbe troppo ingenuo.

Un ragionamento sui criteri di qualità per valutare la ricerca è sensato solo se i criteri vengono rapportati a un’idea chiara di qualità scientifica. I criteri che poi verranno prescelti saranno appropriati o meno rispetto a questa specifica idea, e non in assoluto. Spiego quindi i criteri che suggerisco di adottare in quest’ottica, per dare poi qualche indicazione operativa.

La prima cosa da dire è che, soprattutto in una disciplina multi-paradigmatica come la sociologia, mi pare impossibile giungere a una nozione sostantiva di qualità scientifica che sia condivisibile. I diversi paradigmi differiscono troppo tra loro nei criteri di rilevanza, nelle logiche argomentative, nei criteri di validazione empirica. Cosicché, per fare solo un esempio, Bauman e Giddens sono per qualcuno le massime espressioni della sociologia contemporanea, mentre per qualcun altro sono le massime espressioni della sua decadenza. Potremmo discutere infinitamente sull’argomento, senza giungere mai a un accordo. Questo può piacerci o meno, ma è un dato di fatto. Ed è impensabile che un paradigma possa imporre agli altri i suoi criteri di scientificità.

E’ molto più sensato, allora, partire da una visione procedurale di qualità scientifica: è di elevata qualità un contributo che ha superato una valutazione rigorosa e una selezione di elevata qualità. Un requisito indispensabile per la qualità della selezione è la peer review. Intanto perché solo se è garantito l’anonimato del referee (e possibilmente anche quello dell’autore), sono possibili (anche se non scontati) giudizi indipendenti e imparziali. Inoltre, ed è il punto decisivo, solo specialisti che si occupano degli argomenti trattati in un dato articolo possono giudicare quanto esso sia innovativo rispetto alla letteratura esistente, se abbia ricostruito accuratamente questa letteratura, se usi metodi appropriati.

La peer review ha anche alcuni difetti, ma è il metodo di selezione migliore a disposizione della comunità scientifica ed è di gran lunga quello più usato nelle altre discipline in tutto il mondo: perché mai la sociologia italiana dovrebbe comportarsi diversamente?

Per intendersi, questo argomento spiega perché trovo insostenibile la proposta fatta da qualcuno a Bologna di affidare a un “comitato di saggi” una valutazione preliminare della qualità scientifica dei candidati a concorsi. Non dimentichiamo che la valutazione della qualità scientifica è già  parte integrante del processo di produzione scientifica e va fatta fare a chi deve farla: referee qualificati e imparziali che siano esperti del tema trattato. La valutazione a fini concorsuali dovrebbe essere basata sopratutto sui loro giudizi, non su quelli espressi da sociologi “saggi”.

Nella comunità sociologica italiana è molto difficile garantire l’anonimato del referaggio per un semplice fattore di scala: sono così pochi i sociologi che si occupano di uno specifico argomento, che quasi sempre si conoscono benissimo tra loro. E’ molto facile capire chi ci ha valutato, ed è altrettanto facile sapere chi stiamo valutando. Se salta l’anonimato, s’innescano facilmente meccanismi perversi: gli asti personali, le rivalità tra colleghi, le appartenenze corporative, gli scambi indiretti (io promuovo il tuo articolo oggi e tu promuovi il mio articolo domani). Nella mia esperienza, queste cose sono all’ordine del giorno nelle riviste italiane - al di là della buona volontà o dell’impegno di chi le dirige. Nelle riviste internazionali invece queste dinamiche sono molto depotenziate: conta meno chi ha scritto, conta più quello che si è scritto. Beninteso, i giudizi dei referee di queste riviste potranno essere accurati oppure superficiali, equilibrati oppure faziosi, ma per questi referee ha rilevanza nulla il fatto che tu appartenga a questa o quella componente o famiglia accademica italiana. Sarebbe provinciale credere che “gli stranieri sono più bravi di noi”: talvolta si, talvolta no, ma il punto è che sono un po’ più bipartisan (e completamente indifferenti alle nostre divisioni corporative). Se si vuole che la qualità scientifica sia valutata a prescindere dalle appartenenze (un altro ovvio criterio procedurale), le riviste straniere sono il posto ideale da cui partire.

Questo è già un primo argomento per privilegiare, nella valutazione della ricerca, gli articoli referati in riviste internazionali. Un secondo argomento è che la frontiera della ricerca sociologica non si gioca nelle riviste del singolo paese, bensì nel dibattito internazionale che avviene in un certo numero di riviste straniere. E’ questo, quindi, il golden standard (anche se non l’unico standard, vedi sotto) a cui puntare. A meno di non volersi autoescludere in partenza dal dibattito internazionale. Ma perché rinunciarvi in partenza? Qualcuno ha detto che gli italiani che provano a pubblicare all’estero rischiano di rendersi ridicoli: ma perché dobbiamo avere sempre i complessi di inferiorità? Io invece vedo sempre più colleghi, soprattutto giovani, che trovano spazio e riconoscimento quando cercano di pubblicare su riviste straniere.

Un terzo argomento per privilegiare le riviste straniere è che l’Unione Europea e diverse agenzie internazionali sono diventate fonti di finanziamento della ricerca molto importanti. Chiaramente questi soggetti valorizzano soprattutto le pubblicazioni internazionali. Rinunciare a queste fonti di finanziamento sarebbe suicida. Naturalmente è più facile (e veloce) pubblicare nella rivista della propria parrocchia, piuttosto che passare attraverso un rigoroso referaggio internazionale. Quindi, se non si creano forti incentivi a favore della seconda opzione, la maggioranza sarà spinta a perseguire la prima.

Per tutti questi motivi, mi trovo molto d’accordo con chi propone di dare priorità nella valutazione scientifica alle publicazioni referate nelle riviste internazionali, identificabili ad esempio mediante banche-dati come ISI o Scopus.

Questa logica procedurale avrebbe tre vantaggi:

- è istituzionalizzata: ISI e Scopus sono usate in giro per il mondo e in molte discipline: perché mai la sociologia italiana dovrebbe fare eccezione?

- è pluralistica: queste banche-dati ospitano riviste sia teoriche sia empiriche, sia quanti che quali, sia specialistiche che generaliste, inerenti i diversi settori di ricerca, ecc.

- è accessibile: dentro queste banche-dati ci sono riviste ultraselettive, ma anche riviste abbordabili per chi fa semplicemente ricerche oneste e dignitose. Non è un’asticella troppo alta: c’è spazio quindi per livelli qualitativi variabili.

Dati i criteri procedurali, questi livelli qualitativi riflettono il rigore più o meno stretto nell’applicare i criteri sostantivi di qualità, interni a ciascun paradigma. Ciascun paradigma deve avere (e ha), al suo interno, criteri di qualità sostantivi identificabili. Naturalmente alcuni criteri sono trasversali ai paradigmi, mentre altri sono necessariamente specifici (es. per uno studio quantitativo: qualità degli indicatori prescelti, appropriatezza dei modelli statistici, ecc.). Questi criteri possono essere applicati in maniera più o meno stringente e selettiva: questo determina una gerarchia tra le riviste di settore, all’interno di un dato campo di ricerca. Ad esempio, se chiedete a uno studioso delle classi sociali o delle migrazioni quali siano le riviste internazionali centrali nel suo campo di ricerca, non avrà troppe difficoltà a rispondervi.

Questa gerarchia tra riviste, collegata al rigore nella selezione dei contributi, è catturata piuttosto bene dagli indici bibliometrici. Se prendete il vostro campo di ricerca e guardate quali sono le riviste più forti secondo questi indici, è improbabile che troviate implausibili i nomi che leggerete. Ovviamente ciascun indice avrà i suoi limiti e offrirà un punto di vista parziale (sono pur sempre solo indici!), ma il fatto interessante è che indici diversi rivelano un buon grado di concordanza sui lineamenti di fondo della graduatoria di qualità tra riviste.

Voglio sottolineare il valore procedurale e pluralistico di questi indici: essi valorizzano chi eccelle all’interno degli specifici paradigmi e settori di ricerca, senza pretendere che sia possibile accordarsi su una gerarchia tra questi paradigmi e settori. Questi indici ci evitano di dover decidere se Bauman sia un genio o un parolaio, oppure se il saggio di Caio sia un’opera fondamentale o mediocre: ciascuno può avere e mantenere le sue opinioni personali, ma quando si tratta di valutare la ricerca, il problema è garantire un minimo grado di intersoggettività, un terreno di confronto comune.

Obiezioni:

- E gli articoli in riviste italiane? Non dico certo di ignorarli, soprattutto perché altrimenti si crea un incentivo negativo a studiare il nostro paese (per molte riviste americane, un articolo sull’Italia ha una rilevanza prossima a zero). Dico però che, per le riviste italiane così come per quelle straniere, non si può misurare la qualità “a peso”, cioè contando gli articoli pubblicati come se valessero tutti allo stesso modo. Il rigore della selezione che hanno superato non è lo stesso: non si può ignorare questo fatto. Non si può equiparare la “pubblicazione assistita” nella rivista della propria parrocchia alla pubblicazione in una rivista trasversale che applica un referaggio più rigoroso e imparziale. Del resto, se usiamo metodi bibliometrici, la centralità o la marginalità delle diverse riviste italiane o straniere nel dibattito scientifico emergono chiaramente. Inoltre, se si privilegiasse il criterio delle riviste ISI o Scopus, tutte le riviste italiane serie che rispettano certi standard procedurali avrebbero un incentivo concreto ad accreditarsi.

Gli indici bibliometrici comportano sempre delle semplificazioni, ma sono un criterio di gran lunga migliore che valutare la qualità scientifica “a peso”. E sono un criterio molto meno arbitrario e manipolabile che mettersi a discutere, sulla base delle opinioni di ciascuno, se un dato saggio sia mediocre oppure eccezionale. Non credo che dovremmo temere troppo le inevitabili semplificazioni fatte da questi indici: dovrebbe spaventarci molto più l’assenza di regole chiare e imparziali.

- E le monografie? Se parliamo delle monografie italiane, non dimentichiamo che la quasi totalità delle case editrici dove scrivono i sociologi pubblica saggi a pagamento. Pubblicare una monografia italiana, quindi, non è un indicatore molto affidabile di qualità scientifica; al più è un indicatore delle risorse finanziarie dell’autore e dei suoi agganci informali con le case editrici. Esiste invece un certo numero di case editrici straniere che puntano su una reale selezione scientifica e usano un effettivo sistema di referaggio: le monografie e i capitoli di volume di queste case editrici hanno reale rilevanza scientifica. Di nuovo, non è che queste case editrici siano per forza migliori di quelle italiane, è solo che sono un po’ meno venali e un po’ più bipartisan.

Carlo Barone (Università di Trento)