Nel caso in questione, com’è noto, si trattava di costruire un ranking delle riviste sociologiche
italiane sulla base di indicatori di qualità e rilevanza. Ebbene, la strategia
che si è scelta è stata quella di individuare gli indicatori da utilizzare sulla base di un’indagine
svolta entro la comunità disciplinare, tra direttori e
comitati di redazione delle riviste. La scheda di rilevazione per di tale
indagine è stata sottoposta alle osservazioni e ai suggerimenti di modifica di
tutti i soci AIS. Perché questa scelta? Si è trattato evidentemente di una
scelta di valore: fondata sull’obiettivo di costruire uno strumento tarato sul
contesto d’indagine specifico e validato in relazione ad esso, piuttosto che a
un’immaginaria e ideale comunità scientifica (i c.d.“paesi normali” di cui parla Pisati, nei quali si
userebbe l’H index, ma in cui non rientrano, ad esempio, Gran Bretagna o Stati Uniti - paesi reali nei
quali sempre più, in ambito istituzionale, si privilegia la peer review [1] ).
La scheda di
rilevazione, così condivisa, è stata considerata la base sia per l’identificazione
dei criteri di valutazione ritenuti più significativi, sia per le informazioni
utili – salvo verifica e successivo controllo – a che tale valutazione potesse
realizzarsi. Su indicazione delle stesse riviste oggetto dell’indagine, si è
scelto di utilizzare anche un indice bibliometrico. Quello che, dal dibattito accesosi sul sito AIS, appariva il
più adeguato ad accogliere le diverse istanze, sia delle riviste più giovani
sia di quelle con maggiore storia alle spalle, era l’H index medio annuo che si ottiene: (1) calcolando
l’H-index con riferimento a ciascun anno di pubblicazione di una data rivista;
(2) sommando gli n H-Index disponibili (tanti quanti sono gli anni di
pubblicazione della rivista); (3) dividendo infine il valore risultante per il
totale degli anni di pubblicazione della rivista medesima, così da ottenere una
media del valore dell’ H-Index per ogni anno di pubblicazione.
Gli indici sono stati individuati soprattutto sulla base dei
risultati di un’analisi fattoriale sugli aspetti che, secondo direttori e
comitati editoriali, risultavano essere i più importanti per valutare la
qualità di una rivista L’analisi fattoriale sulle variabili rappresentative di
tali aspetti [2]
ha estratto tre fattori principali, ricombinando tali variabili secondo quelle
che sono state identificate come le seguenti dimensioni: RIGORE NELLA PEER
REVIEW (universalismo nella scelta dei referee; universalismo nella valutazione
paritaria; rigore; trasparenza); PRESENZA ON LINE (presenza degli abstract on
line; abstract in inglese; presenza
dei contributi on line); DISTRIBUZIONE COMMERCIALE (distribuzione nella rete
commerciale nazionale; distribuzione nella rete commerciale internazionale) [3].
A queste dimensioni si aggiunge, come già detto, un ulteriore fattore: VALORE
SUGLI INDICI BIBLIOMETRICI.
Agli indicatori afferenti a ciascuna di tali dimensioni sono,
a questo punto, stati sostituiti altri
indicatori, presenti nel questionario, e riconducibili al medesimo significato, non più sotto forma di
criteri di valutazione della qualità delle riviste, bensì come informazioni sulle pratiche in uso
presso le stesse riviste (ad esempio all’indicatore “criterio di universalismo nella scelta dei referee” si
sostituisce l’indicatore “ricorso ad esperti esterni alla redazione e al
Comitato scientifico per il referaggio dei contributi” e così via, come
indicato nella nota sulla costruzione dell’indice di rilevanza, già pubblicata
sul sito AIS).
La stima della validità
degli indicatori scelti è basata sulla loro riconducibilità – teorica e/o
pragmatica - alle dimensioni individuate attraverso l’analisi fattoriale. Piuttosto che stime di attendibilità
degli indicatori sono state effettuate delle stime di fedeltà
dei dati raccolti: ci interessava ,
cioè, capire ogni volta quanto la singola risposta di una rivista riflettesse
effettivamente lo stato della rivista sulla singola proprietà indagata.
Perché poi non abbiamo usato stime di attendibilità per
l’intero indice finale, come ad esempio, quella che si ottiene applicando
l’alpha di Crombach? Perché l’alpha
di Cronbach è una stima di attendibilità la cui applicabilità è subordinata a
una serie di condizioni. La prima di tali condizioni è che la si applichi a
indici (intere batterie di indicatori) di cui si possa ipotizzare l’unidimensionalità
(per gli “appassionati”, come direbbe Pisati, il parallelismo o la
tau-equivalenza). Ma nel caso in
questione, in cui gli indici che concorrono a loro volta alla composizione del
nostro indice di rilevanza sono stati costruiti come afferenti a dimensioni tra
loro eterogenee, quali quelle individuate sulla base di una analisi fattoriale,
l’alpha di Cronbach non è assolutamente applicabile.
E cosa trova infatti Pisati applicando l’alpha di Cronbach all’insieme
dei nostri sei indici? Trova proprio quello che sapevamo: cioè che afferiscono
a dimensioni diverse: “sono (in buona parte) ortogonali”, esattamente, cioè,
come devono essere i fattori estratti da un’analisi fattoriale. Ne deriva che i sei indici non avrebbero potuto essere
sommati al fine di costruire un indice medio? E’ questo che sostiene Pisati,
ricordando il detto secondo cui non si possono sommare mele e pere. Ma la sua
risposta è ancora una volta fuorviante e l’esempio calzante è, piuttosto,
quello dei voti relativi alle diverse discipline scolastiche. E’ evidente che,
in pagella, un sette in matematica
e un cinque in italiano si riferiscono a competenze diverse, tra loro non
sommabili (nel senso che la performance
in matematica non compensa le lacune in italiano), ma è altrettanto evidente
che la media, comprensiva dei voti
su tutte le altre materie, ha comunque
un proprio significato,
riferibile al rendimento scolastico complessivo [4].
Nonostante abbia avuto conferma della non unidimensionalità
– da noi dichiarata ex ante - degli indici che concorrono al ranking, Pisati va
avanti con l’uso di alpha – che, ribadisco, non sarebbe ammissibile. Calcola
“il contributo medio di ogni dimensione al punteggio complessivo” e ricava “il
suo peso implicito”, scoprendo quelle che definisce “cose interessanti sulle
strategie seguite dall’AIS”.
Se non che la
stima costruita da Pisati, sul peso attribuibile alle sei dimensioni che
compongono l’indice di rilevanza, in quanto costruita in base all’alpha di Crombach, è in questo caso del
tutto fuorviante. Altrettanto fuor di luogo è, di conseguenza, voler
attribuire da parte sua all’AIS una strategia sottesa a quella attribuzione di
pesi, che ridurrebbe ad appena il 9% (ma è un calcolo che non ha senso
in assenza delle condizioni di parallelismo o tau-equivalenza!) l’incidenza
dell’H index.
La sua conclusione, infine, arriva al paradosso, pur di
disconoscere la legittimità scientifica del suo interlocutore (perché appere
evidente che questo è l’obiettivo). Qual è il paradosso? Che pur di negare che tutti gli indici sono stati non solo
definiti operativamente in modo esplicito [5],
ma anche resi disponibili nei loro valori disaggregati consentendogli di fare
il suo esercizio metodologico, tira fuori la storia secondo cui l’H index utilizzato non sarebbe
definito operativamente. Ma come? Abbiamo esplicitato – nella nota metodologica
pubblicata sul sito AIS - che si
tratta dell’ H index medio annuo (poi normalizzato ponendo uguale a 1 il massimo
empirico sull’insieme delle riviste in questione). Poiché Pisati sa benissimo
come si calcola l’H index, saprà anche calcolarne la media annua sull’intero arco
di vita di ciascuna rivista!
E allora? La comunità sociologica italiana ha solo da perdere in polemiche sterili e, per giunta, mal
indirizzate che gettano indiscriminatamente ombre e discredito sugli organi istituzionali dell’Associazione
e su chi lavora per essa.
Maria Carmela Agodi
NOTE
[1] In particolare, in Gran Bretagnail Research Excellence Framework – nuovo sistema integrato di valutazione della carriere accademiche – rinuncia programmaticamente, per quanto riguarda la Sociologia ed alcuni altri settori scientifici (fra cui l'architettura, la giurisprudenza, la politica e l'antropologia) all'uso di dati citazionali e ad ogni forma di analisi bibliometrica, a favore di un sistema di expert review.
[2] Le variabili sottoposte ad analisi fattoriale sono quelle raggruppate, solo in via preliminare, nei seguenti blocchi/dimensioni PRESTIGIO: (prestigio della casa editrice; prestigio del Direttore, prestigio del Comitato scientifico;prestigio degli autori dei contributi); DIFFUSIONE (presenza nelle biblioteche; presenza nelle librerie nazionali; presenza nella rete di distribuzione internazionale; presenza degli abstract on line; presenza dei contenuti on line); IMPATTO (impatto sul dibattito sociologico; presenza nei repertori bibliografici; valore sugli indici bibliometrici; disponibilità di autori stranieri a pubblicarvi anche in italiano; impatto sul dibattito pubblico; presenza abstract in inglese; presenza testi in inglese); RIGORE NELLA PEER REVIEW ( rigore nelle procedure di referaggio; trasparenza delle procedure di referaggio; universalismo nella scelta dei referee; universalismo nella valutazione dei contributi); ATTRATTIVITA’ (numerosità delle riposte ai call for papers; contributi ricevuti ogni anno; disponibilità degli autori ad attendere per la pubblicazione; disponibilità dei colleghi a fare da referee); CURA NELL’EDITING E PUNTUALITA’ (cura nell’editing; puntualità nell’uscita dei fascicoli).
[3] Alle dimensioni individuate dai fattori se ne sono aggiunte altre due: ISTITUZIONALIZZAZIONE intesa come grado di afferenza alla disciplina e come presenza temporale in essa e IDENTITA’, intesa come l’essere, da parte della rivista, espressione di una parte(comunque definita) della comunità disciplinare o della comunità sociologica nel suo insieme. Entrambe contribuiscono a determinare – su questo si basa la loro riconducibilità all’indice di rilevanza – quanto le riviste in questione si qualifichino come riviste di sociologia. Si tratta di dimensioni a nostro avviso pre-supposte e, in qualche modo, quindi, essenziali per la collocazione delle riviste stesse nel ranking.
[4] Per salvare la saggezza dei detti tradizionali, il detto su mele e pere, interpretato correttamente, significa che se sommo X pere e Y mele il risultato numerico che ottengo, Z, non ha un significato in termini di pere o mele, ma lo ha solo nei termini di una categoria concettuale più generale: frutti.
[5] Tali definizioni sono state immediatamente pubblicate sul sito AIS contestualmente al ranking, proprio per dare ad esso da subito un significato comprensibile a tutti e discutibile da tutti – ferma restando la disponibilità di chi vi ha lavorato a ulteriori esplicitazioni, approfondimenti, chiarimenti, correzioni e modifiche.
Nessun commento:
Posta un commento
Il tuo commento verrà visualizzato dopo qualche ora dall'invio. Affinché il tuo post sia pubblicato è necessario inserire in calce il tuo nome e cognome per esteso e la tua afferenza accademica: es: Mario Rossi (Università di Roma). Se dopo 24 ore non vedi il tuo post, o se hai dubbi, scrivi direttamente una mail a perlasociologia@gmail.com