Valutazione, ranking delle riviste, indici bibliometrici: alcune opportune precisazioni per un serio dibattito

Pubblichiamo un intervento al dibattito in corso sul Forum Ais (consultabile nella sua interezza alla pagina http://www.ais-sociologia.it/forum/classificazione-delle-riviste-italiane-di-sociologia/), dibattito innescato dalla proposta di ranking avanzata qualche settimana fa dalle direzioni di sei riviste di sociologia con sede in Italia (vedi anche questo Blog, post del 12 dicembre). Sollecitiamo tutti i colleghi ad intervenire - dove meglio credono - e a partecipare a quello che si sta rivelando senz'altro come un importante momento di confronto critico tra le varie anime che compongono la "comunità" dei sociologi italiani.

Interveniamo nuovamente nel dibattito che si è aperto sui criteri di classificazione delle riviste italiane. In primo luogo, per esprimere un sincero apprezzamento per la discussione che è nata intorno alla proposta avanzata dalle sei riviste. Noi pensiamo che questo dibattito offra un contributo serio al lavoro che l’Ais si trova ad affrontare. Abbiamo letto delle critiche interessanti alla nostra proposta, bene argomentate, che ci hanno fatto riflettere. Alcune delle idee emerse nel dibattito le condividiamo pienamente. Altre solo parzialmente. Altre ancora non le condividiamo affatto. Su alcune di queste idee vorremmo dire qualcosa, in aggiunta a quanto già scritto (e detto). Prima però di entrare nel merito dei singoli punti, anticipiamo qui le conclusioni di questo lungo post.

A nostro avviso ciò che dovrebbe emergere da questo dibattito è che le riviste italiane di sociologia sono interessate e disponibili – da subito - ad un serio esercizio di valutazione, che porti non solo ad un accreditamento ma anche ad un ranking basato su criteri trasparenti e verificabili. Al di là delle differenze, pur legittime, chi è interessato a questo risultato dovrebbe fare uno sforzo per mettere in luce i possibili punti di convergenza e di mediazione che stanno emergendo dalla discussione. Di seguito cerchiamo di dare un contributo in questa direzione (ci scusiamo in anticipo per la lunghezza del testo).

1) Siamo d’accordo sull’idea che l’Ais dovrebbe procedere ad un accreditamento delle riviste, preliminare al loro ranking, utilizzando quelli che vengono definiti come "indicatori di qualità" (peer review, pubblicità delle procedure, abstract in inglese, regolarità delle uscite ecc.). L’utilità (indiretta) di questi esercizi di valutazione, infatti, dovrebbe essere di stimolare un miglioramento degli standard e delle procedure operative delle riviste italiane, nella convinzione che ciò produrrà un effetto positivo sulla qualità complessiva della produzione scientifica. Nelle discussioni che hanno preceduto la stesura del nostro documento abbiamo più volte parlato dei “requisiti necessari” per l’accreditamento, ma abbiamo preferito non articolare una proposta in merito, visto che su questo l’Ais ha avviato una raccolta d’informazioni. Nella mail di accompagnamento che abbiamo inviato al Presidente dell’Ais, dicevamo quanto segue: “Questa proposta [sul ranking] non intende porsi in alternativa al questionario elaborato dall'Ais bensì - ci auguriamo - come un suo utile complemento. Il questionario, infatti, può apportare un positivo contributo alla conoscenza della realtà e dei modi operativi delle riviste italiane. Consentirà di raccogliere utili informazioni che potranno, in futuro, servire per calibrare meglio le procedure di accreditamento, anche per quanto concerne i requisiti minimi e gli standard operativi attesi dalle riviste scientifiche”.

Ci rendiamo conto che il “futuro è adesso”. Si tratta perciò di decidere quali siano i requisiti da applicare e se debbano valere a partire dalla presente, oppure dalla prossima, tornata  di valutazione (noi proponiamo un ranking delle riviste ogni due anni), in modo da consentire a tutte di adeguarsi ai parametri individuati.

2) Siamo d’accordo che gli indici-bibliometrici sono uno strumento di valutazione imperfetto, che vanno perciò usati cum grano salis. E tuttavia, alcuni dei problemi finora segnalati sono di facile correzione. Una volta pubblicati in via provvisoria i risultati della valutazione, si può perciò immaginare che venga consentito ai direttori delle riviste (o a chiunque sia interessato) di segnalare eventuali anomalie ed errori nel relativo ranking.

3) La questione centrale, però, su cui ci troviamo tutti a discutere, è un’altra. Riguarda il metodo e i criteri da utilizzare per la valutazione/classificazione delle riviste. Esistono due metodi “accreditati” a livello internazionale: 1) il primo si fonda sul peer review (stated preference approach), 2) il secondo sugli indicatori citazionali (revealed preference approach).

4) Il metodo del peer review non ci convince. Non per motivi ideologici o per fanatismo “bibliometrico”, ma per semplici motivi pragmatici. Come è ampiamente noto nella letteratura che si occupa di valutazione della ricerca, questo metodo soffre di alcuni difetti: 1) è difficile costruire un panel di esperti capaci di padroneggiare l’intera gamma di riviste presenti in un settore scientifico disciplinare; 2) esiste un forte bias soggettivo nei giudizi degli esperti, dovuto ai più svariati motivi (interessi di ricerca, orientamenti culturali, esperienze personali, posizioni nella comunità accademica ecc.). La composizione (soggettiva) del panel risulta perciò cruciale per gli esiti della valutazione.

Questo metodo – che non scartiamo a priori - contiene pure alcuni elementi positivi: consente di valutare aspetti qualitativi più difficili da rilevare con l’impatto citazionale; permette di apprezzare in maniera più adeguata esperienze di qualità ma di nicchia, oppure eterodosse ecc. Il mio timore, però, è che applicato all’interno di una comunità scientifica fortemente divisa, come la nostra, questo metodo produrrebbe risultati altamente deludenti. Poniamola così: sull’esito finale della classificazione – temiamo – graverebbe un sospetto di “parzialità” ben maggiore che non utilizzando gli indicatori bibliometrici, che perlomeno hanno il vantaggio della “ispezionabilità” dei dati e quindi della verificabilità del ranking. Non diamo per scontato che l’utilizzo del peer review produrrebbe esiti particolaristici e poco trasparenti, ma finché non si sarà affermata nel nostro paese una solida cultura della valutazione ………preferiamo affidarci al metodo bibliometrico.

Facciamo anche presente un terzo elemento del peer review, spesso ricordato nella letteratura specialistica. Queste valutazioni comportano un giudizio sulla qualità e sulla reputazione complessiva della rivista, hanno cioè a che fare con la sua immagine d'insieme, costruita attraverso tutta la sua storia (passata e presente). Come è stato rilevato – ed è comunemente accettato - questo tipo di giudizio ha un orizzonte temporale esteso: “le percezioni della qualità delle riviste tendono ad avere una memoria lunga” (Tahai e Meyer 1999, 283). A noi questo non crea problemi, come diremo tra poco, ma ci pare contraddittorio che gli amici di ERQ, che sostengono la bontà della peer review, quando parlano invece di indici bibliometrici diventino – senza se e senza ma - dei fautori degli orizzonti temporali brevi.

Qualche “buona ragione”, tuttavia, ce l’hanno. Così come ce l’hanno gli altri che sono intervenuti sullo stesso punto (Ambrosini, De Nardis).

5) Veniamo perciò alla vexata quaestio dell’arco temporale di riferimento degli indici bibliometrici. Come abbiamo già scritto, ogni intervallo temporale è di tipo convenzionale. Contiene perciò degli elementi di arbitrio. In questo dibattito è stato chiesto di fare riferimento ai 5 (oppure ai 4) anni più recenti, per tutelare le riviste più giovani. Ma allora perché non 3 o 2 anni, come alcuni indici commerciali (ISI; Scopus) fanno? Potremmo così tutelare ancora meglio le riviste nate proprio, ma proprio, da poco. Altri hanno fatto notare che, casomai, l’intervallo temporale del VQR 2004-10, sarebbe più sensato (visto che quello è il periodo di riferimento della valutazione).

Su questo punto ci permettiamo nuovamente di far notare che gli intervalli temporali troppo ristretti utilizzati dagli indici commerciali, sono stati spesso criticati proprio nel campo delle scienze sociali. L’evoluzione delle citazioni in questi settori è diversa – è più lenta e prolungata -  rispetto a quella presente nelle scienze naturali. Per questo J. Jacobs (ex editor dell’AJS) propone un intervallo di 10 anni per le riviste di sociologia. Altri, in diversi settori, propongono di far riferimento a tutta la storia delle riviste (usando l’H-index), poiché “l’utilizzo solo delle pubblicazioni recenti può non riflettere accuratamente il loro intero contributo all’insieme delle conoscenze” disciplinari (Sarenko 2010, 450).

La durata di una rivista, infatti, testimonia anche (seppure non sempre) la solidità del suo progetto editoriale, la capacità di riprodursi (in senso buono), la sua legittimazione nella comunità accademica ecc. Le riviste giovani, invece, devono testare il loro valore anche attraverso la “prova del tempo”. Non sono pochi i casi di riviste-flash, nate e scomparse in un arco temporale ristretto. Dunque, vi sono “buone ragioni” per considerare tutta la storia di una rivista[1].  Così come ci sono “buone ragioni” per prendere sul serio le osservazioni sollevate dalle riviste più giovani. Dobbiamo infatti dare loro un riconoscimento adeguato, evitando ogni sospetto che si intenda tutelare le “rendite di posizione” o salvaguardare l’inerzia di riviste storiche che hanno perso slancio.

6) La proposta che avanziamo (già anticipata in un post precedente e raccolta da De Nardis) vuole perciò essere una possibile mediazione tra la storia lunga e la storia breve delle riviste. Si tratta di fare una media tra i valori normalizzati dell' H-index totale e quelli dell’H-index degli ultimi 5 anni (o 7 anni). Per intenderci, le riviste storiche che hanno dei buoni risultati sul primo indicatore (lungo periodo), se non li confermano anche sul secondo indicatore (breve periodo), arretrano nella graduatoria. Viceversa, riviste giovani e particolarmente dinamiche possono scalare più agevolmente la classifica. Questa proposta – a nostro avviso - tiene insieme entrambi i lati della questione e avrebbe anche l’ulteriore vantaggio di non appiattire troppo la distribuzione dei punteggi (rendendo così meno aleatorio il ranking e meno drammatici eventuali, piccoli, errori di rilevazione).

A scanso di equivoci, ci permettiamo di fare notare che le riviste che dirigiamo, alla luce dei valori H pubblicati, uscirebbero bene qualsiasi arco temporale venisse prescelto (breve o lungo che fosse)[2]. La proposta che avanziamo oggi, però, è quella che ci convince di più, dopo aver considerato le osservazioni emerse nel dibattito.

7) Abbiamo letto in alcuni post che la proposta delle sei riviste è inaccettabile. Noi pensiamo che l’unica cosa inaccettabile sia l’assenza di valutazione. Ci preoccupa, ad esempio, la mail di accompagnamento al questionario Ais, in cui si afferma che “l’AIS sta affrontando - su richiesta dell’ANVUR - il delicato compito di predisporre una griglia di indicatori che possano, in futuro, consentire non solo l’accreditamento delle riviste, ma anche una loro, al momento solo eventuale, “valutazione” in termini di peso e prestigio nella comunità scientifica.”

Noi speriamo che l’Ais faccia suo l’obiettivo del ranking delle riviste, sostenendolo da subito e in maniera attiva presso l’ANVUR. L’accreditamento “piatto” delle riviste italiane (ipotesi sondata nella scheda Ais), dove tutte valgono indistintamente 0,5, sarebbe infatti un disastro. Porterebbe ad un loro peggioramento complessivo. Dobbiamo, perciò, contrastare l’effetto-deriva-verso-il-basso che l’applicazione dei coefficienti di ponderazione ANVUR (proposti per l’abilitazione nazionale) tende a creare per le nostre riviste. Al contrario, dobbiamo spingere queste ultime verso un processo virtuoso d’internazionalizzazione e di miglioramento delle loro modalità operative, rendendole anche più trasparenti. Questa è la “questione” che stiamo affrontando in questo dibattito. Questa è la sfida che la sociologia italiana deve sapere accogliere, poiché la qualità di una comunità scientifica, che intende confrontarsi con il dibattito internazionale – e non farlo significa optare per la marginalizzazione - è determinata anche dalla qualità delle sue strutture organizzative, delle sue modalità operative e dei suoi criteri di valutazione ……..a livello nazionale.

Maurizio Pisati, Francesco Ramella e Marco Santoro

---

[1] Gli scienziati politici italiani, nel loro ranking delle riviste italiane e internazionali, hanno affiancato agli indici commerciali anche l’H-index totale.

[2] Per inciso, facciamo notare che i fattori di ponderazione presenti nella nostra proposta per l’inserimento nei database commerciali non sono tesi a favorire chi è già dentro ma ad incentivare l’entrata delle altre riviste italiane di qualità (una politica attualmente seguita anche in Francia e auspicata dall’ANVUR). Il basso impact factor di Stato e mercato in Scopus è dovuto a due motivi: 1) la recente entrata nel data-base (è presente dall’anno in corso); 2) la lingua di pubblicazione (italiana…ma dal prossimo anno introdurremo la possibilità di pubblicare in inglese). Chi conosce le modalità di costruzione degli indici di impatto, sa che questi database assumono come riferimento le citazioni operate dalle riviste inserite al loro interno. E’ perciò normale che le new entry italiane – specie se non pubblicano in inglese – partano da valori bassi visto che le pubblicazioni italiane (le fonti prevalenti di citazione) non vi sono presenti. Ciò che è imbarazzante perciò non è questo, bensì l’assenza di riviste italiane di scienze sociali in questi repertori commerciali, che sono molto noti e utilizzati all’estero.