martedì 14 febbraio 2012

Ranking Ais: una nota di metodo

Un'analisi attenta del ranking AIS mette in luce talune criticità che è utile, opportuno e anzi necessario sottolineare prima di qualunque futura e auspicata revisione. Dico subito, tanto per non usare eufemismi, che la sensazione di essere di fronte alle due classiche possibilità (esserci o farci) è forte. Qualunque sia la verità, ecco alcune osservazioni rapide derivanti dalla mia analisi.
Punto primo: il ranking mira a essere uno strumento decisionale, cioè su di esso (o su qualche sua versione) si baseranno le valutazioni di dipartimenti, candidati a concorsi, carriere e quant'altro. Quindi, non è il solito esercizio sociologico senza conseguenze per cui "anything goes", ma dovrebbe essere realizzato con cura, attenzione e professionalità. Per come risulta dalle descrizioni sinora rese note, questo indice AIS appare, viceversa, privo di una solida giustificazione razionale, il che lo rende tanto valido quanto qualsiasi altro esercizio di ranking spannometrico. In particolare, non viene detto da nessuna parte:

a. Quali sono i criteri scientometrici sui quali si è basata la scelta delle sei dimensioni prescelte? Detto altrimenti: quali sono le giustificazioni razionali (teoriche e/o empiriche) di tali dimensioni rispetto all'obiettivo di misurare -- sia pure approssimativamente e indirettamente -- la qualità scientifica di una rivista?
b. Quali sono i criteri sulla base dei quali sono stati individuati e operativizzati gli indicatori di ciascuna dimensione?
c. Quali sono le stime di attendibilità e -- soprattutto -- validità di ciascuno dei sei indici che compongono l'indice sintetico, nonché dell'indice sintetico stesso?
d. Quali sono i criteri sulla base dei quali, nella formazione dell'indice sintetico, sì è deciso di attribuire pari peso a tutti e sei gli indici componenti?


Punto secondo: un'analisi di correlazione delle sei dimensioni prescelte mostra, più o meno, che ognuna va per conto suo. Tanto per capirci, il valore medio (assoluto) degli elementi della matrice di correlazione fra le sei dimensioni (indice r di Pearson) è pari a 0.15. Per essere un po' più precisi, un'analisi delle componenti principali delle sei dimensioni mostra che ci vogliono almeno 3 componenti per rappresentare una quota decente (70%) della varianza complessiva. Dunque, a rigore l'indice sintetico creato non ha molto senso: somma mele e pere. Detto altrimenti, le sei dimensioni tendono a essere (in buona parte) ortogonali e, quindi, misurano cose (in buona parte) diverse. Per gli appassionati, l'indice alpha di Cronbach assume, per l'indice complessivo, valore 0.47 (tradotto: la scala è attendibile come Berlusconi quando, qualche mese fa, diceva che l'economia italiana stava bene).

Se poi si calcola -- punto terzo -- il contributo medio di ogni dimensione al punteggio complessivo (e, quindi, il suo peso implicito), si scoprono cose interessanti sulle strategie seguite dall'AIS:

Rigore peer review =  25%
Grado di istituzionalizzazione = 14%
Distribuzione commerciale = 15%
Presenza on line = 21%
Focus identitario = 16%
H index medio annuo = 9%

Quindi: l'indice H -- misura comunemente usata nei paesi normali per costruire ranking in campo scientifico -- conta solo il 9%, mentre tutte le dimensioni esoteriche (per contenuto o per operativizzazione) pesano sensibilmente di più, dal 14% al 25%. Vale la pena notare che la dimensione "Rigore peer review" è non solo la più influente, ma anche quella che si fonda su semplici, e difficilmente controllabili, dichiarazioni delle riviste; e infatti, guarda caso, è la dimensione che presenta la varianza più contenuta (tradotto: è una dimensione "todos caballeros"). Inoltre, un'analisi della distribuzione dei valori della sesta dimensione (indice H medio annuo) suggerisce che il basso peso implicito di tale dimensione deriva dalla presenza (completamente trascurata) di un paio di outliers (Quality & Quantity e Stato & Mercato) che distorcono non poco la normalizzazione della variabile. Peraltro, ogni controllo di H calcolato dall'AIS è impossibile, perché la sua definizione operativa è assente e, quindi, risulta difficile riprodurne i valori.

Maurizio Pisati

Nessun commento:

Posta un commento

Il tuo commento verrà visualizzato dopo qualche ora dall'invio. Affinché il tuo post sia pubblicato è necessario inserire in calce il tuo nome e cognome per esteso e la tua afferenza accademica: es: Mario Rossi (Università di Roma). Se dopo 24 ore non vedi il tuo post, o se hai dubbi, scrivi direttamente una mail a perlasociologia@gmail.com