Ancora sul ranking: la lettera al Presidente Ais della redazione di Stato e Mercato

Riceviamo e volentieri pubblichiamo.


Al Presidente dell'Ais:

Abbiamo visto il ranking delle riviste di sociologia che è stato pubblicato sul sito dell’Ais e anche la spiegazione dei criteri che sono stati utilizzati. Nel messaggio di accompagnamento, lei scrive che tale ranking costituisce “la base di partenza per un ulteriore approfondimento al fine di giungere a una stesura finale dell’indice di rilevanza tale da costituire uno strumento stabile, valido e affidabile con cui aggiornare la classificazione delle riviste”. E’ in questo spirito che ci accingiamo a esporre alcune riflessioni.

Partendo dal riconoscimento dello sforzo fatto, anche sulla base del dibattito che nelle scorse settimane si è sviluppato, sentiamo di dover evidenziare alcuni elementi di criticità.

Il questionario Ais, infatti, ha consentito sicuramente di raccogliere informazioni utili sulle riviste italiane di sociologia. Oltre a ciò, chi ha individuato i criteri per il ranking e ha elaborato la classifica, si è speso molto in un lavoro non facile e, probabilmente, di poca soddisfazione personale. Vista la pluralità delle posizioni espresse nel dibattito che si è sviluppato sul Forum Ais, era difficile “quadrare il cerchio”. E soprattutto era impossibile tirare fuori soluzioni che non sollevassero critiche. Inoltre, un secondo elemento ci pare positivo: i criteri sono stati resi espliciti e i risultati sono ispezionabili da parte di ognuno.

Tuttavia, persistono due aspetti fortemente problematici.

Il primo è dato dal fatto che riteniamo difficile mettere a punto una procedura rigorosa di ranking sulla base di un questionario autosomministrato. Con le informazioni così raccolte è tutt’al più possibile stabilire dei requisiti minimi per l’accreditamento, ma per il ranking sarebbero necessari ulteriori  passaggi (peer review o indici bibliometrici). Abbiamo già argomentato altrove la nostra preferenza per gli strumenti bibliometrici. Perciò non torneremo su questo punto. Per il futuro auspichiamo vivamente che l’Ais adotti una procedura diversa per il ranking. O che, anche qualora decida di utilizzare un ampio set di indicatori, scelga perlomeno di farli pesare in modo diverso. È a nostro avviso davvero difficilmente sostenibile che – solo per fare un esempio - la “disponibilità di contenuti online”, che è una caratteristica facilmente accessibile a qualsiasi rivista indipendentemente dalla sua qualità scientifica, debba pesare tanto quanto “il valore assunto dagli indici bibliometrici”.

Il secondo elemento di perplessità è dato dal fatto che alcuni dei criteri utilizzati per il ranking Ais appaiono discutibili nella loro applicazione: in particolare quelli sulla “distribuzione commerciale”, sul “focus identitario” e sul “grado di istituzionalizzazione”.

Per quanto riguarda la “distribuzione commerciale”, non si può ritenere che i canali di distribuzione commerciale siano gli unici ritenuti validi per garantire l’accessibilità di una rivista scientifica. Ci pare, inoltre, che questo criterio poco abbia a che fare con la valutazione della qualità scientifica delle riviste.

Altrettanto problematico è il “focus identitario” visto che alcune riviste, che pure si collocano ai poli opposti della scala (gruppo ristretto vs disciplina nel suo insieme), ottengono cionondimeno lo stesso punteggio: si vedano, ad esempio, i casi di Comunicazionepuntodoc e della Rassegna Italiana di Sociologia. E a questo proposito aggiungiamo che un ulteriore elemento di debolezza di questo ranking è dato dal fatto che tra i vari criteri non ve ne sia alcuno che premi l’“internazionalizzazione” delle riviste.

Infine, per quanto riguarda il “grado di istituzionalizzazione nell’ambito della sociologia italiana”, non ci è chiaro cosa debba contare. Stato e Mercato, ad esempio, fondata nel 1981, su questo indicatore ha ottenuto un puntaggio di 0.37 pur essendo da tempo – con altre riviste di questo ranking – una delle riviste di riferimento della sociologia economica, del lavoro e dell’organizzazione italiana e avendo nel Comitato di redazione 6 sociologi su sette membri e nel Comitato editoriale 14 sociologi su 21 membri (0,67%).

Proprio nel nome della condivisione e della trasparenza, riteniamo quindi importante che si esplicitino meglio le modalità di calcolo dei punteggi delle varie voci, anche per dar modo alle riviste di poter contribuire alla correzione di eventuali errori.

È per questo insieme di motivi che non condividiamo i risultati di questo lavoro. Sia chiaro, non perché non sia stata adottata la proposta da noi avanzata (insieme ad altre riviste). Ma perché i criteri utilizzati non ci sembrano pienamente adeguati e i punteggi che sono stati attribuiti alle riviste sono in alcuni casi discutibili.

Può sembrare strano che a dirlo sia la rivista al vertice della classifica Ais. In realtà è proprio per questo che ci sentiamo in dovere di esplicitare le nostre perplesssità, nella speranza che le nostre critiche non appaiano viziate da interessi particolaristici. E soprattutto servano a migliorare, già da ora, i risultati della procedura, come anche lei invita a fare.

Per concludere, confidiamo che l’Ais voglia accogliere con spirito positivo queste osservazioni e tenere aperta la discussione collettiva sulle procedure di valutazione, che si è avviata a partire dal primo seminario di Roma, lo scorso ottobre.

Il direttore e la redazione di Stato e Mercato

Francesco Ramella

Luigi Burroni

Franca Maino

Emmanuele Pavolini

Roberto Pedersini

Angela Perulli

Rocco Sciarrone