La questione del "ranking Ais": di cosa stiamo discutendo, e perché

La replica di Agodi – data “a nome dell’intero direttivo AIS” – al mio post del 14 febbraio 2012 (Ranking AIS: una nota di metodo) è poco soddisfacente: da un lato elude buona parte delle questioni salienti che avevo sollevato nel mio intervento, dall’altro fraintende completamente alcune delle mie osservazioni. Mi sembra opportuno, quindi, fare alcune puntualizzazioni, non tanto per offrire una contro-replica capillare al post di Agodi, quanto per mettere un po’ di ordine nella discussione e porre l’accento sui termini della questione “ranking AIS” che a me sembrano essenziali e problematici. Nelle righe che seguono, in primo luogo riassumerò la procedura seguita dall’AIS per costruire il proprio “indice di qualità e rilevanza delle riviste italiane di sociologia”; in seguito mostrerò gli elementi di debolezza di ciascuna fase della procedura; infine terminerò con qualche osservazione sulla rilevanza del tema oggetto di discussione.

La procedura AIS

Agodi sostiene che l’indice di qualità e rilevanza delle riviste italiane di sociologia costruito dall’AIS è multidimensionale per disegno. Precisamente, l’AIS ha costruito il proprio indice utilizzando la seguente procedura:

      1)    Ai direttori di oltre cinquanta riviste italiane di sociologia è stato chiesto di indicare quali fossero gli aspetti più importanti della qualità di una rivista. L’analisi fattoriale delle “variabili rappresentative di questi aspetti” ha rivelato che, secondo i direttori delle riviste italiane di sociologia, gli aspetti più importanti della qualità di una rivista possono essere ordinati lungo tre dimensioni: Rigore nella peer review, Presenza on line, Distribuzione commerciale.

     2)    Alle tre “dimensioni di qualità” individuate dall’analisi fattoriale, sono state aggiunte – in base a criteri non dichiarati – altre due dimensioni: Grado di istituzionalizzazione della rivista nell’ambito della sociologia italiana, Nucleo identitario della rivista.

     3)    Alle cinque dimensioni descritte sopra è stata aggiunta una sesta dimensione funzione dell’indice bibliometrico H: l’indice H medio annuo calcolato per il periodo di vita della rivista.

     4)    Ognuna delle prime cinque dimensioni è stata misurata (a) normalizzando ciascuno dei suoi indicatori nell’intervallo [0,1], e (b) calcolando una media aritmetica semplice dei valori di tali indicatori. La sesta dimensione, invece, è stata misurata normalizzando l’indice H medio annuo nell’intervallo [0,1].

     5)    I sei indici così ottenuti sono stati combinati in un unico indice sintetico pari alla loro media aritmetica semplice.

I limiti della procedura AIS

Il direttivo AIS sostiene che la procedura illustrata sopra è valida, mentre io affermo che presenta diversi limiti concettuali e/o operativi. Specificamente:

     1)    La definizione delle tre “dimensioni di qualità” individuate dall’analisi fattoriale è contestabile sotto due aspetti. Innanzitutto si basa su auto-dichiarazioni non controllabili dei direttori delle riviste; questo fatto solleva seri dubbi sulla validità degli indici corrispondenti, specialmente rispetto alla dimensione “Rigore nella peer review”. A questo proposito, è interessante notare come il punteggio massimo su questa dimensione sia stato ottenuto dall’ignota rivista In-Formazione che, se ho capito bene, è una rivista del Dipartimento di Comunicazione e Ricerca Sociale dell’Università La Sapienza di Roma realizzata in collaborazione con l’Università della Valle d’Aosta e diretta da Mario Morcellini, Teresa Sergi Grange e Giacomo Sado. Specificamente, secondo la misurazione AIS la rivista In-Formazione raggiunge livelli di “Rigore nella peer review” che altre riviste più blasonate come la Rassegna Italiana di Sociologia e Quality & Quantity si sognano: a fronte di una media generale pari a 0,52, infatti, In-Formazione svetta con un impressionante 0,7, mentre la Rassegna Italiana di Sociologia e Quality & Quantity non raggiungono neppure la media e devono accontentarsi, rispettivamente, di 0,47 e 0,34. Ora, se prendessimo sul serio questi punteggi, tutti i direttori di rivista dovrebbero chiedere a In-Formazione di svelare i segreti del suo invidiabile rigore, mentre la Rassegna Italiana di Sociologia e Quality & Quantity dovrebbero chiudere i battenti per ignominia. Nella sua replica, Agodi ha glissato sull’incredibile caso di In-Formazione (e, più in generale, sulla validità dell’indice “Rigore della peer review”), ma credo che tutti saremmo interessati a saperne di più. Passando al secondo aspetto problematico della prima fase della procedura AIS, non è chiaro come la “Presenza on line” e la “Distribuzione commerciale” possano avere a che fare con la qualità scientifica di una rivista. Usando nuovamente qualche contro-esempio, consideriamo il caso della rivista Rassegna Italiana di Sociologia, ritenuta una delle migliori riviste di sociologia del nostro paese: tale rivista, sulle dimensioni “Presenza on line” e “Distribuzione commerciale”, non va oltre 0,5, cioè esibisce un livello di qualità mediocre. Un’altra rivista riconosciuta per la sua qualità scientifica, Sociologica, assume addirittura valore 0 sulla dimensione “Distribuzione commerciale” (cioè è di pessima qualità rispetto a tale dimensione). Insomma, le tre “dimensioni di qualità” identificate dall’analisi fattoriale sulla base delle auto-dichiarazioni dei direttori di rivista presentano più ombre che luci.

     2)    Le due dimensioni aggiuntive “Grado di istituzionalizzazione della rivista nell’ambito della sociologia italiana” e “Nucleo identitario della rivista” sono ingiustificate: da nessuna parte il direttivo AIS offre una giustificazione razionale della loro scelta, né della loro operativizzazione. Sono due dimensioni oscure e fumose, specialmente la seconda, di cui mi sfugge totalmente la relazione con la “qualità e rilevanza” delle riviste.

      3)    La sesta dimensione equivale all’indice H medio annuo “calcolato per il periodo di vita della rivista”. Su questa dimensione non ho nulla da eccepire: è l’unica che poggia su una buona letteratura scientifica di riferimento e della quale si conoscono abbastanza bene pregi e difetti. Ringrazio Agodi per avere chiarito il modo in cui l’indice è stato calcolato.

     4)    La normalizzazione dell’indice H è stata realizzata senza tenere conto del fatto che la distribuzione dei valori di tale indice contiene due casi estremi (outliers): le riviste Quality & Quantity e Stato e mercato. La presenza di questi due casi estremi, entrambi situati nella coda destra della distribuzione, fa sì che la normalizzazione “appiattisca” i valori della sesta dimensione, rendendoli artatamente bassi. Per comprendere meglio gli effetti di tale normalizzazione, ipotizziamo di ricalcolare l’indice H medio annuo normalizzato escludendo dal computo i due casi estremi. In seguito a questa “correzione”, il valore medio dell’indice H normalizzato sale da 0,2 a 0,43; il valore di Sociologica, ad esempio, sale da 0,41 a 0,98: un notevole avanzamento! Nella sua replica Agodi elude completamente questo problema, trascurando che, in situazioni del genere, trattare i casi estremi in modo adeguato è d’obbligo.

     5)    A questo punto dovrebbe essere chiaro che, anche presi uno per uno, i sei indici di “qualità e rilevanza” calcolati dall’AIS presentano diversi limiti che ne inficiano la validità. Ma facciamo finta di nulla e usiamoli per creare l’indice sintetico finale. Ora, secondo il direttivo AIS creare un indice sintetico di “qualità e rilevanza” delle riviste mediante una combinazione lineare dei sei indici (parzialmente) ortogonali prescelti – ciò che io ho definito “sommare mele e pere” – è un’operazione legittima e priva di problemi. Per me, invece, un “indice sintetico multidimensionale” è un ossimoro: se le dimensioni soggiacenti sono veramente ortogonali, allora misurano proprietà diverse delle riviste e sommarle non ha molto senso (il contro-esempio del voto medio usato da Agodi nella sua replica non è molto appropriato: la ricerca empirica mostra che i voti nelle diverse discipline tendono a essere correlati fra loro, cioè a misurare la stessa dimensione – il rendimento scolastico, appunto). Il problema non è matematico, ovviamente, ma sostanziale. In presenza di costrutti multidimensionali, la strategia di misurazione più appropriata consiste nella creazione di tipologie o tassonomie, non di indici quantitativi sintetici. Ma facciamo ancora finta di nulla e assumiamo che la creazione di un indice sintetico additivo abbia un senso. In questo caso, però, il direttivo AIS dovrebbe spiegare perché, nel calcolo dell’indice sintetico, a ogni dimensione è stato attribuito lo stesso peso esplicito (1/6). Qual è la giustificazione razionale di questa scelta? Da nessuna parte sono offerti chiarimenti al proposito.

     6)    Nella fretta di rispondere alle mie osservazioni critiche, il direttivo AIS afferma che il mio calcolo del contributo medio di ogni dimensione all’indice sintetico è “del tutto fuorviante” perché effettuato “in base all’alpha di Cronbach”. Non so da dove i miei interlocutori abbiano tratto questa conclusione – e nemmeno, francamente, cosa significhi – ma purtroppo è completamente fuori luogo. In realtà, il mio calcolo del “peso implicito” di ogni dimensione è un semplice calcolo del contributo offerto dalle sei dimensioni alla loro combinazione lineare nell’indice sintetico: algebra elementare, nulla di più. Esempio chiarificatore per chi non ricordasse l’algebra delle combinazioni lineari: (a) la somma dei valori medi delle sei dimensioni è pari a 2,28; (b) il valore medio della dimensione “Indice H medio annuo” è pari a 0,2 (valore artatamente basso a causa della normalizzazione distorta richiamata sopra); (c) quindi, il contributo medio (peso implicito) della dimensione “Indice H medio annuo” all’indice sintetico è pari a 0,2/2,28 = 0,09 (9%). Calcoli analoghi possono essere fatti per le altre cinque dimensioni. Naturalmente, la somma dei pesi è pari a 1 (100%).

Conclusione

Insomma, come si può vedere, le spiegazioni offerte dal direttivo AIS sono tutt’altro che rassicuranti: non solo le dimensioni prescelte per costruire il ranking AIS sono di dubbia validità, sia concettuale sia operativa, ma anche la loro combinazione lineare in un indice sintetico è ampiamente discutibile. Lascio ai lettori decidere se le questioni sollevate da me e altri colleghi siano “polemiche sterili” e “mal indirizzate che gettano indiscriminatamente ombre e discredito sugli organi istituzionali dell’Associazione e su chi lavora per essa”. A me pare, piuttosto, che la questione sia un’altra: il ranking dell’AIS, se preso sul serio dall’ANVUR, avrebbe effetti indesiderabili non solo sui sociologi iscritti all’Associazione, ma anche su tutti quelli che – come me – non fanno parte dell’AIS e, quindi, non riconoscono all’Associazione alcun potere di rappresentanza, né politica, né scientifica. Di fronte a questa eventualità, far sentire la propria voce è più un dovere che un diritto.

Maurizio Pisati