sabato 18 febbraio 2012

Quando è applicabile la misura dell’attendibilità alpha? Commento alla nota di Pisati

Rispondo alla “nota di metodo” di Pisati, evitando di raccoglierne le provocazioni che turberebbero la serenità che invece richiede una risposta data a nome dell’intero direttivo AIS, un organo istituzionale della comunità sociologica italiana - che è ben consapevole delle proprie responsabilità e le sta assumendo in piena condivisione e trasparenza. Pisati chiede che gli indicatori utilizzati siano  giustificati  sulla base di criteri “scientometrici”. Peccato che la scientometria non si sia mai occupata di misurare la qualità di una rivista: semmai di misurarne la diffusione, il peso all’interno di un dato ambito disciplinare, la numerosità delle citazioni ricevute, il loro dare luogo a reti citazionali più o meno dense, più o meno aperte. Ma procedere “a spanne”  (Pisati conia il neologismo di ranking “spannometrico”) non è l’unica alternativa alla scientometria.
Nel caso in questione, com’è noto, si trattava di costruire  un ranking delle riviste sociologiche italiane sulla base di indicatori di qualità e rilevanza. Ebbene, la strategia che si è scelta è stata quella di  individuare gli indicatori da utilizzare sulla base di un’indagine svolta entro la comunità disciplinare, tra   direttori e comitati di redazione delle riviste. La scheda di rilevazione per di tale indagine è stata sottoposta alle osservazioni e ai suggerimenti di modifica di tutti i soci AIS.Perché questa scelta? Si è trattato evidentemente di una scelta di valore: fondata sull’obiettivo di costruire uno strumento tarato sul contesto d’indagine specifico e validato in relazione ad esso, piuttosto che a un’immaginaria e ideale comunità scientifica (i  c.d.“paesi normali” di cui parla Pisati, nei quali si userebbe l’H index, ma in cui non rientrano,  ad esempio, Gran Bretagna o Stati Uniti - paesi reali nei quali sempre più, in ambito istituzionale, si privilegia la peer review [1] ).

 La scheda di rilevazione, così condivisa, è stata considerata la base sia per l’identificazione dei criteri di valutazione ritenuti più significativi, sia per le informazioni utili – salvo verifica e successivo controllo – a che tale valutazione potesse realizzarsi. Su indicazione delle stesse riviste oggetto dell’indagine, si è scelto di utilizzare anche un indice bibliometrico. Quello che, dal dibattito accesosi sul sito AIS, appariva il più adeguato ad accogliere le diverse istanze, sia delle riviste più giovani sia di quelle con maggiore storia alle spalle, era  l’H index medio annuo che si ottiene: (1) calcolando l’H-index con riferimento a ciascun anno di pubblicazione di una data rivista; (2) sommando gli n H-Index disponibili (tanti quanti sono gli anni di pubblicazione della rivista); (3) dividendo infine il valore risultante per il totale degli anni di pubblicazione della rivista medesima, così da ottenere una media del valore dell’ H-Index per ogni anno di pubblicazione. 

Gli indici sono stati individuati soprattutto sulla base dei risultati di un’analisi fattoriale sugli aspetti che, secondo direttori e comitati editoriali, risultavano essere i più importanti per valutare la qualità di una rivista L’analisi fattoriale sulle variabili rappresentative di tali aspetti [2] ha estratto tre fattori principali, ricombinando tali variabili secondo quelle che sono state identificate come le seguenti dimensioni: RIGORE NELLA PEER REVIEW (universalismo nella scelta dei referee; universalismo nella valutazione paritaria; rigore; trasparenza); PRESENZA ON LINE (presenza degli abstract on line; abstract in inglese;  presenza dei contributi on line); DISTRIBUZIONE COMMERCIALE (distribuzione nella rete commerciale nazionale; distribuzione nella rete commerciale internazionale) [3]. A queste dimensioni si aggiunge, come già detto, un ulteriore fattore: VALORE SUGLI INDICI BIBLIOMETRICI.   

Agli indicatori afferenti a ciascuna di tali dimensioni sono, a questo punto,  stati sostituiti altri indicatori, presenti nel questionario, e  riconducibili al medesimo significato, non più sotto forma di criteri di valutazione della qualità delle riviste, bensì  come informazioni sulle pratiche in uso presso le stesse riviste (ad esempio all’indicatore  “criterio di universalismo nella scelta dei referee” si sostituisce l’indicatore “ricorso ad esperti esterni alla redazione e al Comitato scientifico per il referaggio dei contributi” e così via, come indicato nella nota sulla costruzione dell’indice di rilevanza, già pubblicata sul sito AIS). 

La stima della validità degli indicatori scelti è basata sulla loro riconducibilità – teorica e/o pragmatica - alle dimensioni individuate attraverso  l’analisi fattoriale. Piuttosto che stime di attendibilità degli indicatori sono state  effettuate delle stime di fedeltà dei dati raccolti:  ci interessava , cioè, capire ogni volta quanto la singola risposta di una rivista riflettesse effettivamente lo stato della rivista sulla singola proprietà indagata.

Perché poi non abbiamo usato stime di attendibilità per l’intero indice finale, come ad esempio, quella che si ottiene applicando l’alpha di Crombach? Perché  l’alpha di Cronbach è una stima di attendibilità la cui applicabilità è subordinata a una serie di condizioni. La prima di tali condizioni è che la si applichi a indici (intere batterie di indicatori) di cui si possa ipotizzare l’unidimensionalità (per gli “appassionati”, come direbbe Pisati, il parallelismo o la tau-equivalenza).  Ma nel caso in questione, in cui gli indici che concorrono a loro volta alla composizione del nostro indice di rilevanza sono stati costruiti come afferenti a dimensioni tra loro eterogenee, quali quelle individuate sulla base di una analisi fattoriale, l’alpha di Cronbach non è assolutamente applicabile.

E cosa trova infatti Pisati applicando l’alpha di Cronbach all’insieme dei nostri sei indici? Trova proprio quello che sapevamo: cioè che afferiscono a dimensioni diverse: “sono (in buona parte) ortogonali”, esattamente, cioè, come devono essere i fattori estratti da un’analisi fattoriale. Ne deriva che i sei indici non avrebbero potuto essere sommati al fine di costruire un indice medio? E’ questo che sostiene Pisati, ricordando il detto secondo cui non si possono sommare mele e pere. Ma la sua risposta è ancora una volta fuorviante e l’esempio calzante è, piuttosto, quello dei voti relativi alle diverse discipline scolastiche. E’ evidente che, in pagella,  un sette in matematica e un cinque in italiano si riferiscono a competenze diverse, tra loro non sommabili (nel senso che la performance  in matematica non compensa le lacune in italiano), ma è altrettanto evidente che la media, comprensiva  dei voti su tutte le altre materie, ha comunque  un proprio significato,  riferibile al rendimento scolastico complessivo [4].  

Nonostante abbia avuto conferma della non unidimensionalità – da noi dichiarata ex ante - degli indici che concorrono al ranking, Pisati va avanti con l’uso di alpha – che, ribadisco, non sarebbe ammissibile. Calcola “il contributo medio di ogni dimensione al punteggio complessivo” e ricava “il suo peso implicito”, scoprendo quelle che definisce “cose interessanti sulle strategie seguite dall’AIS”. 

Se non che  la stima costruita da Pisati, sul peso attribuibile alle sei dimensioni che compongono l’indice di rilevanza, in quanto  costruita in base all’alpha di Crombach, è in questo caso del tutto fuorviante. Altrettanto fuor di luogo è, di conseguenza, voler attribuire da parte sua all’AIS una strategia sottesa a quella attribuzione di pesi, che ridurrebbe ad appena il 9% (ma è un calcolo che non ha senso in assenza delle condizioni di parallelismo o tau-equivalenza!) l’incidenza dell’H index.  
La sua conclusione, infine, arriva al paradosso, pur di disconoscere la legittimità scientifica del suo interlocutore (perché appere evidente che questo è l’obiettivo). Qual è il paradosso? Che pur di negare  che tutti gli indici sono stati non solo definiti operativamente in modo esplicito [5], ma anche resi disponibili nei loro valori disaggregati consentendogli di fare il suo esercizio metodologico, tira fuori  la storia secondo cui l’H index utilizzato non sarebbe definito operativamente. Ma come? Abbiamo esplicitato – nella nota metodologica pubblicata sul sito AIS -  che si tratta dell’ H index medio annuo (poi normalizzato ponendo uguale a 1 il massimo empirico sull’insieme delle riviste in questione). Poiché Pisati sa benissimo come si calcola l’H index, saprà anche calcolarne la media annua sull’intero arco di vita di ciascuna rivista!

E allora? La comunità sociologica italiana  ha solo da perdere in polemiche sterili e, per giunta, mal indirizzate che gettano indiscriminatamente ombre e discredito sugli  organi istituzionali dell’Associazione e su chi lavora per essa.

Maria Carmela Agodi




NOTE
[1] In particolare, in Gran Bretagnail Research Excellence Framework – nuovo sistema integrato di valutazione della carriere accademiche  – rinuncia programmaticamente, per quanto riguarda la Sociologia ed alcuni altri settori scientifici (fra cui l'architettura, la giurisprudenza, la politica e l'antropologia) all'uso di dati citazionali e ad ogni forma di analisi bibliometrica, a favore di un sistema di expert review.
[2] Le variabili sottoposte ad analisi fattoriale sono quelle raggruppate, solo in via preliminare, nei seguenti blocchi/dimensioni  PRESTIGIO: (prestigio della casa editrice; prestigio del Direttore, prestigio del Comitato scientifico;prestigio degli autori dei contributi);  DIFFUSIONE (presenza nelle biblioteche; presenza nelle librerie nazionali; presenza nella rete di distribuzione internazionale; presenza degli abstract on line; presenza dei contenuti on line); IMPATTO (impatto sul dibattito sociologico; presenza nei repertori bibliografici; valore sugli indici bibliometrici; disponibilità di autori stranieri a pubblicarvi anche in italiano; impatto sul dibattito pubblico; presenza abstract in inglese; presenza testi in inglese); RIGORE NELLA PEER REVIEW ( rigore nelle procedure di referaggio; trasparenza delle procedure di referaggio; universalismo nella scelta dei referee; universalismo nella valutazione dei contributi); ATTRATTIVITA’ (numerosità delle riposte ai call for papers; contributi ricevuti ogni anno; disponibilità degli autori ad attendere per la pubblicazione; disponibilità dei colleghi a fare da referee); CURA NELL’EDITING E PUNTUALITA’ (cura nell’editing; puntualità nell’uscita dei fascicoli).
[3] Alle dimensioni individuate dai fattori se ne sono aggiunte altre due: ISTITUZIONALIZZAZIONE intesa come grado di afferenza alla disciplina e come presenza temporale in  essa e IDENTITA’, intesa come l’essere, da parte della rivista, espressione di una parte(comunque definita) della comunità disciplinare o della comunità sociologica nel suo insieme. Entrambe contribuiscono a determinare – su questo si basa la loro riconducibilità all’indice di rilevanza – quanto le riviste in questione si qualifichino come  riviste di sociologia. Si tratta di dimensioni a nostro avviso pre-supposte e, in qualche modo, quindi, essenziali per la collocazione delle riviste stesse nel ranking.
[4] Per salvare la saggezza dei detti tradizionali, il detto su mele e pere, interpretato correttamente, significa che se sommo X pere e Y mele il risultato numerico che ottengo, Z, non ha un significato in termini di pere o mele, ma lo ha solo nei termini di una categoria concettuale più generale: frutti.
[5] Tali definizioni sono state immediatamente pubblicate sul sito AIS contestualmente al ranking, proprio per dare ad esso da subito un significato comprensibile a tutti e discutibile da tutti – ferma restando la disponibilità di chi vi ha lavorato a ulteriori esplicitazioni, approfondimenti, chiarimenti, correzioni  e modifiche.

Nessun commento:

Posta un commento

Il tuo commento verrà visualizzato dopo qualche ora dall'invio. Affinché il tuo post sia pubblicato è necessario inserire in calce il tuo nome e cognome per esteso e la tua afferenza accademica: es: Mario Rossi (Università di Roma). Se dopo 24 ore non vedi il tuo post, o se hai dubbi, scrivi direttamente una mail a perlasociologia@gmail.com