Ranking Ais: osservazioni da "La Critica sociologica"

Riceviamo e volentieri pubblichiamo, nello spirito di servizio alla comunità sociologica che anima questo blog. 

Cari amici e colleghi, 

vorremmo in primo luogo esprimere un ringraziamento a quanti hanno partecipato al difficile e sgradito lavoro, oltre tutto sacrificando il proprio tempo, di valutazione delle riviste scientifiche di tipo sociologico. Accogliamo ora la richiesta diffusa attraverso il portale dell’AIS di esprimerci in merito al lavoro in corso in questi giorni. Questo non può esimerci dal sottolineare alcune evidenti incongruenze, dovute in buona parte, crediamo, al tipo di questionario e alle dimensioni adottate, oltre che ai differenti atteggiamenti dei direttori delle riviste e delle redazioni e, infine, alle successive valutazioni. Vorremmo quindi segnalarvi, punto per punto, alcune questioni quanto meno discutibili, riservandoci altresì di far poi pervenire ulteriori notazioni sui punti non ancora toccati.

Altro concorso "scandalo" - Nuova mobilitazione tra gli economisti

Qualcuno si ricorderà che nel dicembre scorso la comunità degli economisti si è mobilitata intorno agli esiti -ritenuti scandalosi - di un concorso per Ricercatore che si era tenuto il 30 novembre presso l’Università del Piemonte Orientale, Sede di Alessandria, Facoltà di giurisprudenza (settore scientifico disciplinare SECS-P/01). A suo tempo avevamo dato ampia notizia del caso nel Blog, nonostante fosse riferito ad altra disciplina, per tre ragioni sostanziali: 

1) innanzitutto, per l'appello all’uso di indici bibliometrici – cui la Commissione "incriminata" aveva deciso di non ricorrere visto che assegnavano il valore più basso proprio alla vincitrice-candidata locale. Quindi, se fossero stati applicati gli indici bibliometrici, si faceva notare, il giudizio finale patentemente contrario alle regole di una sana comunità scientifica sarebbe stato molto più difficile da sostenere. 

2) L’esito del Concorso aveva visto la pronta reazione e mobilitazione di alcuni economisti che oltre a dare notizia del caso in vari media hanno inviato una lettera al Rettore dell’Università del Piemonte orientale perché questi intervenisse e non convalidasse gli esiti concorsuali, lettera sottoscritta da 1400 economisti di tutto il mondo.

3) Il rettore ha deciso, dopo aver controllato i materiali concorsuali, di non apporre la sua firma al verbale, delegittimando quindi la commissione concorsuale. 

Nonostante questo precedente, a distanza di poco più di un mese, una storia molto simile, anzi sostanzialmente identica, si è verificata ancora nel campo disciplinare dell'economia, questa volta presso l'Università dell'Insubria. 

La questione del "ranking Ais": di cosa stiamo discutendo, e perché

La replica di Agodi – data “a nome dell’intero direttivo AIS” – al mio post del 14 febbraio 2012 (Ranking AIS: una nota di metodo) è poco soddisfacente: da un lato elude buona parte delle questioni salienti che avevo sollevato nel mio intervento, dall’altro fraintende completamente alcune delle mie osservazioni. Mi sembra opportuno, quindi, fare alcune puntualizzazioni, non tanto per offrire una contro-replica capillare al post di Agodi, quanto per mettere un po’ di ordine nella discussione e porre l’accento sui termini della questione “ranking AIS” che a me sembrano essenziali e problematici. Nelle righe che seguono, in primo luogo riassumerò la procedura seguita dall’AIS per costruire il proprio “indice di qualità e rilevanza delle riviste italiane di sociologia”; in seguito mostrerò gli elementi di debolezza di ciascuna fase della procedura; infine terminerò con qualche osservazione sulla rilevanza del tema oggetto di discussione.

Quando è applicabile la misura dell’attendibilità alpha? Commento alla nota di Pisati

Rispondo alla “nota di metodo” di Pisati, evitando di raccoglierne le provocazioni che turberebbero la serenità che invece richiede una risposta data a nome dell’intero direttivo AIS, un organo istituzionale della comunità sociologica italiana - che è ben consapevole delle proprie responsabilità e le sta assumendo in piena condivisione e trasparenza. Pisati chiede che gli indicatori utilizzati siano  giustificati  sulla base di criteri “scientometrici”. Peccato che la scientometria non si sia mai occupata di misurare la qualità di una rivista: semmai di misurarne la diffusione, il peso all’interno di un dato ambito disciplinare, la numerosità delle citazioni ricevute, il loro dare luogo a reti citazionali più o meno dense, più o meno aperte. Ma procedere “a spanne”  (Pisati conia il neologismo di ranking “spannometrico”) non è l’unica alternativa alla scientometria.

Ranking delle riviste di sociologia: ipotesi a confronto

Pensiamo possa interessare, a chi ha seguito finora il dibattito sull’accreditamento e il ranking delle riviste italiane di sociologia, mettere a confronto le classi individuate dall’Ais con quelle che sarebbero emerse utilizzando gli indicatori bibliometrici. Crediamo che una simile comparazione consenta di valutare meglio – in termini sostanziali e non solo di metodo – pregi e difetti della “soluzione Ais”, sulle cui anomalie ci siamo soffermati in altri post, cui rimandiamo. 

A partire dalla collocazione nella graduatoria Ais (così come questo risulta dal documento pubblicato sul sito Ais), la tabella 1 indica per ogni rivista accreditata la classe che avrebbe ottenuto sulla base della media degli indici H (totale e a 5 anni). La tabella 2, invece, riporta le classi relative all’indice H totale e all’indice H 2007-11, considerati separatamente. Le classi corrispondono ai quartili dei punteggi ottenuti dalle riviste sui vari indici.

Ranking Ais: una nota di metodo

Un'analisi attenta del ranking AIS mette in luce talune criticità che è utile, opportuno e anzi necessario sottolineare prima di qualunque futura e auspicata revisione. Dico subito, tanto per non usare eufemismi, che la sensazione di essere di fronte alle due classiche possibilità (esserci o farci) è forte. Qualunque sia la verità, ecco alcune osservazioni rapide derivanti dalla mia analisi.
Punto primo: il ranking mira a essere uno strumento decisionale, cioè su di esso (o su qualche sua versione) si baseranno le valutazioni di dipartimenti, candidati a concorsi, carriere e quant'altro. Quindi, non è il solito esercizio sociologico senza conseguenze per cui "anything goes", ma dovrebbe essere realizzato con cura, attenzione e professionalità. Per come risulta dalle descrizioni sinora rese note, questo indice AIS appare, viceversa, privo di una solida giustificazione razionale, il che lo rende tanto valido quanto qualsiasi altro esercizio di ranking spannometrico. In particolare, non viene detto da nessuna parte:

a. Quali sono i criteri scientometrici sui quali si è basata la scelta delle sei dimensioni prescelte? Detto altrimenti: quali sono le giustificazioni razionali (teoriche e/o empiriche) di tali dimensioni rispetto all'obiettivo di misurare -- sia pure approssimativamente e indirettamente -- la qualità scientifica di una rivista?

Ancora sul ranking: la lettera al Presidente Ais della redazione di Stato e Mercato

Riceviamo e volentieri pubblichiamo.


Al Presidente dell'Ais:

Abbiamo visto il ranking delle riviste di sociologia che è stato pubblicato sul sito dell’Ais e anche la spiegazione dei criteri che sono stati utilizzati. Nel messaggio di accompagnamento, lei scrive che tale ranking costituisce “la base di partenza per un ulteriore approfondimento al fine di giungere a una stesura finale dell’indice di rilevanza tale da costituire uno strumento stabile, valido e affidabile con cui aggiornare la classificazione delle riviste”. E’ in questo spirito che ci accingiamo a esporre alcune riflessioni.

Partendo dal riconoscimento dello sforzo fatto, anche sulla base del dibattito che nelle scorse settimane si è sviluppato, sentiamo di dover evidenziare alcuni elementi di criticità.

Il questionario Ais, infatti, ha consentito sicuramente di raccogliere informazioni utili sulle riviste italiane di sociologia. Oltre a ciò, chi ha individuato i criteri per il ranking e ha elaborato la classifica, si è speso molto in un lavoro non facile e, probabilmente, di poca soddisfazione personale. Vista la pluralità delle posizioni espresse nel dibattito che si è sviluppato sul Forum Ais, era difficile “quadrare il cerchio”. E soprattutto era impossibile tirare fuori soluzioni che non sollevassero critiche. Inoltre, un secondo elemento ci pare positivo: i criteri sono stati resi espliciti e i risultati sono ispezionabili da parte di ognuno.

Tuttavia, persistono due aspetti fortemente problematici.

Il ranking dell'Ais: qualche anomalia di troppo [con aggiornamenti]

E così alla fine è uscito anche il ranking dell'Ais. Il ranking delle riviste di sociologia che si pubblicano in Italia. Che non sono proprio poche, come sappiamo, e che sono persino più di quelle che ci si poteva aspettare. In tutto, sono 52 le riviste elencate e classificate, più una che ha deciso di restare in panchina, considerato che la sua data di nascita cade dopo il periodo preso in esame dall'Anvur ( e presumibilmente non avrebbe guadagnato molto dal comparire in questa classifica). E delle 52 che invece ci sono, in classifica? Facciamo qualche rapido conto. Delle quattro fasce (AA, A, B, C), la più popolata è la seconda, la fascia A, con ben 15 riviste. In B sono in 13, 10 sono in C, e - udite udite - 14 sono in AA. In totale,  23 riviste sono nella fascia diciamo inferiore: troviamo qui peraltro riviste che con la sociologia c'entrano poco o punto (come Visioni Latino-Americane, Nuova Atlantide, o Il Pensiero politico), e riviste di spiccato valore locale o specialistico (come le varie riviste dedicate al servizio sociale). Ma 29 riviste sono piazzate saldamente in fascia superiore (AA + A).  Una bella e corposa élite, non c'è che dire. Di cui dubitiamo l'ANVUR sarà contenta. E' l'ennesima prova dell'elitismo democratico dell'Ais, ovvero del suo consociativismo al ribasso, il "todos caballeros" di cui dice l'amico Pisati anche nel messaggio qui sotto pubblicato?  E' presto per dirlo con certezza. Intanto, alcune presenze erano d'obbligo: potevano non essere in fascia superiore Stato e Mercato o la RIS? potevano mancare Sociologia e ricerca sociale e Quaderni di sociologia? Ovviamente no, e infatti ci sono, e svettano nella classifica, insieme ad una rivista storica anche se oggi un po' annebbiata come Quality and Quantity, e alla più giovane ma valorosa (parlo pro domo mea, è chiaro) "Sociologica". Potevano mancare Studi di Sociologia e Sociologia e politiche sociali? No, ovviamente. E la lista intanto si gonfia. E' però vero che in questa peraltro ampia elite mancano riviste storiche come "Sociologia" (la rivista dell'Istituto Sturzo, peraltro presente in un data base autorevole come Scopus) e la ferrarottiana "La critica sociologica" - entrambe finite in B, come la gloriosa "Inchiesta". 

“Per la sociologia pubblica”: meritocrazia ed etica sociale

Oggi si discute sempre più spesso di meritocrazia e  di etica sociale. Mi sembra che l’opinione pubblica percepisca questi valori come segnali di cambiamento del modello economico e sociale. Questi valori sembrano accompagnare tutti i programmi di riforme, del mercato del lavoro, delle istituzioni professionali ecc. Ho l’impressione, perciò, che non possiamo esimerci dal rendere “pubblici” i dibattiti sui paradigmi meritocratici e etici, che, peraltro, ci contraddistinguono come gruppo di sociologi del movimento “Per la sociologia”, ed anzi ne hanno segnato la nascita. Penso che  dovremmo farlo per sollecitare la nostra associazione professionale a mettersi in relazione più diretta con i suoi pubblici, non fermandosi all’interno dell’accademia ma aprendosi al sociale. 


La premessa a questo mio intervento risiede nella convinzione che l’AIS sia del tutto autoreferenziale. Finisce per rappresentarsi come una corporazione che, attraverso le sue elite, si concentra solo sul controllo delle inclusioni e delle carriere. La Sarfatti Larson direbbe che si concentra sul controllo della “produzione dei produttori”, sul reclutamento e sulla selezione attraverso dei meccanismi  che permettono alle elite di riprodursi. Infatti, non mi risulta che l’AIS sia mai entrata nel dibattito sociale e politico, che abbia mai pubblicizzato il suo parere sulle riforme sociali. Da notare che questo ruolo pubblico è un obiettivo dello Statuto, anche se non mi sembra esista una forma di mandato diretto non solo al presidente dell’AIS, ma anche a qualche componente degli organismi direttivi.