domenica 6 novembre 2011

L'incontro del 28: le relazioni/2. Sui criteri di valutazione della qualità scientifica dei prodotti della ricerca sociologica: alcune proposte


1. Oggetto e scopo
Scopo di questa nota è stimolare una discussione sui criteri usati per valutare i prodotti della ricerca sociologica. Questo mi sembra un compito prioritario da affrontare, visti gli impegni e le scadenze di un futuro ormai prossimo. La discussione è opportuna, se non necessaria, per far emergere criteri di valutazione accettati dalla maggior parte della nostra comunità scientifica. Quest’ultima mi sembra al presente, oltre ad essere tradizionalmente divisa in coalizioni distributive, anche incerta di fronte ai problemi nuovi posti dalla crescente importanza della valutazione nell’università italiana.


2. La formazione degli standard di valutazione della qualità scientifica della ricerca sociologica

Con maggior accuratezza, di fronte a queste innovazioni, la sociologia italiana mi sembra sulla difensiva. Le argomentazioni più frequenti mi sembrano esprimere preoccupazioni, più che proposte. In grande sintesi, esse hanno per oggetto:
a) la resistenza a pratiche ─ come la bibliometria ─ provenienti dalle scienze ‘dure’. Queste tecniche sono, a ragione, ritenute inadeguate rispetto alla nostra disciplina, per varie ragioni. Non vengono però avanzate, salvo che in un caso (Diani 2009), proposte intese a integrarle con la valutazione paritaria.
b) Il tentativo di consolidare i tradizionali strumenti di valutazione usati nei concorsi universitari d’antan: tot monografie, tot articoli, indici di produttività (pardon, operosità) scientifica, ecc. Questi strumenti sono inadeguati per alcune buone ragioni: la crescente importanza degli articoli, specie di quelli pubblicati sulle riviste migliori, rispetto alle monografie; il maggior rilevo da attribuire alla qualità scientifica rispetto alla pura e semplice quantità. A cento centoni sulla complessità sociale o sulla globalizzazione, pubblicati da qualche editore di dozzina, va preferito un saggio di ricerca innovativo su problemi rilevanti e/o poco esplorati. Una cosa sono le divulgazioni (o le sintesi più o meno raffazzonate), altra le spiegazioni accurate e corroborate da dati di fatto di fenomeni o eventi socialmente o sociologicamente rilevanti.
c) La proposta di usare “standard di valutazione internazionali”, per stabilire la qualità scientifica dei prodotti della ricerca sociologica nostrana. A meno di precisare in modo dettagliato in che consistano questi standard, la proposta mi sembra generica e anche fuorviante.
Gli standard di valutazione si formano ─ lo ha insegnato Miháil Polanyi ─ grazie a una successione di controlli incrociati e allo scambio di critiche che avvengono all’interno di una comunità scientifica. Le comunità scientifiche della sociologia sono ancora in gran parte ancorate a tradizioni intellettuali nazionali, formatesi nel corso di decenni. Tra esse le differenze sono ancora presenti e vive, anche se si vanno via via attenuando. Per rendersene conto è sufficiente sfogliare alcune riviste della disciplina: dall’American Sociological Review, a Sociology e al British Journal, alla Kölner Zeitschrift alla Revue Française, agli Archives Européennes e all’European Journal. Tradizioni intellettuali e standard si sovrappongono, almeno in parte. Gli standard di valutazione si formano infatti grazie a un dibattito di lunga lena e non possono quindi essere importati meccanicamente da un’altra comunità scientifica. E poi quale tra questi scegliere? Come giustificare questa decisione? La circostanza che altrove questo dibattito si svolga ormai da tempo e abbia già prodotto esiti rilevanti, può però essere un’opportunità da utilizzare. Insomma: sembra più saggio ed efficace rafforzare e/o costruire le istituzioni che possono facilitare nel nostro paese il dibattito e lo scambio di critiche. Alcune riviste sociologiche italiane hanno appreso la lezione; altre la stanno praticando più lentamente. Occorre ammettere che l’AIS potrebbe fare di più per orientare e stimolare questo processo. Il contributo al dibattito da parte delle “componenti” della sociologia italiana mi sembra ancora allo stato iniziale.

2. La Valutazione della Qualità della Ricerca 2004-2010

Per individuare questi criteri non c’è di molto aiuto il testo del neonato VQR 2004-10, che terrà occupati migliaia di universitari italiani nel 2012-13. Già il linguaggio usato mostra qualche incertezza:
“Il giudizio di qualità descrittivo si riferisce ai seguenti criteri:
a) rilevanza, da intendersi come valore aggiunto per l'avanzamento della conoscenza nel settore e per la scienza in generale, anche in termini di congruità, efficacia, tempestività e durata delle ricadute;
b) originalità/innovazione, da intendersi come contributo all'avanzamento di conoscenze o a nuove acquisizioni nel settore di riferimento;
c) internazionalizzazione, da intendersi come posizionamento nello scenario internazionale, in termini di rilevanza, competitività, diffusione editoriale e apprezzamento della comunità scientifica, inclusa la collaborazione esplicita con ricercatori e gruppi di ricerca di altre nazioni.
d) relativamente ai brevetti, i giudizi devono contenere anche riferimenti al trasferimento, allo sviluppo tecnologico e alle ricadute socio-economiche (anche potenziali) ”.

Rispetto al VQR 2000-2003 il numero dei criteri è stato ridotto, con l’eliminazione di quello della qualità, per l’evidente sovrapposizione tra proprietà considerata (la qualità scientifica) e l’indicatore che avrebbe dovuto contribuire a definirla in modo operativo (la medesima qualità).
Va inoltre notato che i criteri della “rilevanza” e dell’ ”originalità/innovazione” sono definiti in pratica con gli stessi termini: quali differenze si possono infatti individuare tra “valore aggiunto” e “contributo”? Una diversa formulazione linguistica del criterio della rilevanza sarebbe utile. Il criterio dell’”internazionalizzazione” esprime infine il grado di riconoscimento di un prodotto scientifico (o di un insieme degli stessi) da parte della comunità scientifica, nonché il grado di visibilità internazionale degli stessi. Riguarda cioè l’apprezzamento/visibilità della produzione di un autore da parte del mercato internazionale di una certa disciplina. Molti comitati di valutazione del VQR 2000-2003 hanno interpretato tale criterio come l’equivalente di “pubblicazione in lingua inglese” o in altra lingua straniera. Ci sono però molti casi in cui il riconoscimento è attribuito da parte di stranieri a prodotti scientifici pubblicati nella nostra lingua. E va ricordato che l’uso della lingua franca contemporanea non garantisce di per sé un sovrappiù di qualità scientifica accettabile ai prodotti di una ricerca. 


3. Valutare i prodotti della ricerca sociologica: una proposta
Anche se non fossero discutibili, i criteri proposti dal VQR 2004-2010 non ci sono quindi di aiuto per valutare i prodotti della ricerca sociologica. Né lo sono i lunghi elenchi presenti nei verbali dei concorsi universitari. Sappiamo come essi possano essere aggirati e manipolati. Attribuire un’eccellenza scientifica fittizia ai lavori di parenti e compari, anche se asini o incompetenti, è stata una pratica non infrequente in alcuni settori scientifico- disciplinari dell’università italiana.
Di seguito mi permetto quindi di riprendere da un lavoro precedente alcune proposte utili a formulare un giudizio sulla qualità dei prodotti della ricerca sottoposti a una valutazione paritaria.
Esse possono essere usate a scopi di valutazione sia della qualità di singoli prodotti di ricerca  sia ad insiemi di ricerche, come quelle di un certo dipartimento sociologico. Ovviamente esse vanno calibrate secondo l’età dei candidati e dei requisiti (ad esempio: un’integrazione con criteri bibliometrici va esclusa per i livelli junior e richiesta invece per quelli senior.)
Considero qui solo le pubblicazioni scientifiche. Oggetto di una valutazione più ampia possono essere anche le attività didattiche; quelle di divulgazione e di disseminazione; quelle di consulenza per clienti pubblici e privati; le iniziative volte all’organizzazione di attività accademiche e professionali.
A regime, il prodotto scientifico primario da prendere in considerazione dovrebbe essere l’articolo, la nota critica (e anche la recensione) pubblicati su una rivista sociologica che si avvalga in modo sistematico e controllabile delle valutazioni di almeno due referees anonimi per ogni lavoro pubblicato[1].  E’ quindi possibile stabilire un ranking delle riviste sociologiche, sia in conformità a questo criterio sia alla reputazione che esse godono tra i membri della nostra comunità scientifica. Minor peso dovrebbero avere —in linea di principio e in una prospettiva di medio-lungo termine — monografie e volumi, soprattutto se non avessero formato oggetto di una o più recensioni pubblicate in riviste accreditate[2]. Questa preferenza non dovrebbe tuttavia essere applicata in modo rigido, ma con juicio.
Un’altra distinzione va fatta anche a proposito della casa editrice, che può avere una distribuzione nazionale o solo locale. La validità di questo indicatore può però essere, in alcuni casi, limitata: volumi di qualità scadente sono pubblicati da case editrici rinomate; contributi interessanti da editori locali. Esclusi dalla valutazione dovrebbero essere sia i lavori a destinazione didattica o di divulgazione, sia gli articoli apparsi su quotidiani e riviste di attualità politica, culturale, ecc.
A scopi di valutazione sembra opportuno distinguere, in ordine d’importanza crescente, fra tre fasi di una valutazione della produzione scientifica:
a) La prima fase riguarda il grado di ampiezza, continuità e coerenza della produzione scientifica di uno scienziato sociale, tenendo conto dei criteri sopra indicati: pubblicazione su riviste accreditate (prevalentemente, anche se non esclusivamente disciplinari), monografie non destinate alla didattica o alla divulgazione, ecc.
a) la seconda fase riguarda l’accertamento del grado di riconoscimento che questa produzione ha ricevuto dalla comunità scientifica[3].  L’operazione può essere compiuta definendo un insieme d’indicatori riguardanti la frequenza di citazioni e riferimenti contenuti in database come Social Science Citation Index, Sociological Abstracts, Google Scholar e altri, anche riguardanti altre discipline (per via dell’osmosi esistente tra le scienze sociali). Indicazioni assai utili su valore e limiti degli indici bibliometrici si trovano nel recente Rapport dell’Académie des Sciences francese (2011).
In linea di massima, ritengo che i risultati di un conteggio bibliometrico, comunque declinato, non consentano di valutare la qualità scientifica di un prodotto della ricerca, se non in misura indiretta e approssimata. In particolare: qual è la proprietà effettivamente indicata dagli indicatori bibliometrici? Sappiamo che essi sono associati alla qualità scientifica dei prodotti della ricerca, ma non abbiamo ancora compreso a quali dimensioni di questo concetto essi si riferiscano. Il mio educated guess è che essi riguardino anzitutto il grado di riconoscimento e di visibilità (nazionale e internazionale) della produzione scientifica di uno studioso.
c) La valutazione della qualità scientifica ─ questa è la terza fase ─ dovrebbe infine riguardare anzitutto l’apprezzamento del contributo di un singolo prodotto della ricerca (o di un loro insieme) rispetto all’edificio sociologico che abbiamo ereditato dalle generazioni precedenti e che la nostra comunità scientifica continua ogni giorno a costruire.
Tale contributo può riguardare diversi aspetti:
a) i preasserti della sociologia (Marradi): l’introduzione di nuovi concetti e termini; di strutture concettuali come classificazioni e tipologie, nonché la loro ridefinizione e consolidamento;
b) il metodo e le tecniche: la messa a punto di nuove teorie dell’interpretazione; l’introduzione di tecniche di ricerca nuove o già consolidate; il loro uso appropriato[4];
c) le ipotesi e le teorie (gli asserti, secondo Marradi): l’introduzione di nuove teorie e ipotesi, eventualmente su problemi poco o mal studiati; il controllo empirico d’ipotesi significative, anche l’esposizione di nuove sintesi o rielaborazioni della conoscenza disponibile;
d) i risultati della ricerca sociologica: l’aumento di trasparenza fornita a fenomeni sociali mal definiti o opachi; l’individuazione o la soluzione di problemi sociali o culturali presenti in una specifica comunità; la messa a punto di spiegazioni eleganti, convincenti ed empiricamente fondate di fenomeni sociali e, infine,
e) la definizione esplicita e precisa dei termini usati e la consistenza dell’argomentazione.
A queste dimensioni del concetto di qualità dei prodotti di una ricerca sociologica possono essere avanzate diverse obiezioni. La prima è che esse richiederebbero definizioni operative e indicatori adeguati. Proposte in questo senso sono state abbozzate e meritano di essere esaminate. La seconda, più rilevante, è che le proprietà che si presumono indicare l’eccellenza o la qualità scientifica potrebbero talvolta indicare “modelli di associazione e di scambio sociale, e solo secondariamente la produttività scientifica” (Burris; più recentemente Wagner). Un’osservazione che sembra riflettere almeno in parte l’attuale situazione italiana.
Tra i prodotti della ricerca sociologica è possibile stabilire un ordine gerarchico. R. Boudon e J. H. Goldthorpe hanno fornito utili indicazioni in merito, che personalmente condivido e che raccomando. In merito esistono però concezioni differenti, espresse nell’ambito dei cosiddetti cultural studies, da coloro che possiamo etichettare come “fisici sociali” (i seguaci contemporanei della scuola di Comte e Le Play), dagli esponenti della “sociologia critica” e “espressiva”, dai cultori della cosiddetta “poesia sociale”, nonché dai più recenti fautori della “sociologia pubblica”.[5]. A queste distinzioni se ne possono aggiungere altre. In Italia è ad esempio discretamente diffusa la convinzione che compito primario della sociologia sia trasmettere o rafforzare valori ritenuti veri, a scopi educativi o di elevazione morale e civile.
Non pretendo certo che le proposte qui presentate, tra l’altro in forma ancora preliminare, possano essere accettate in toto e in parte. Dati i vincoli posti dai processi di valutazione in atto, ritengo però opportuno che proposte alternative siano formulate con chiarezza e rese pubbliche. Questi contributi renderebbero un grande servizio ai colleghi impegnati nelle valutazioni paritarie, sia del VQR 2004-2010 sia dei lavori presentati alle riviste, sia infine delle pubblicazioni presentate alle prossime abilitazioni e concorsi.

(Alberto Baldissera, Università di Torino)







Riferimenti bibliografici

Molti dei riferimenti bibliografici qui ricordati si trovano nel mio contributo a un volume che ho curato su La valutazione della ricerca nelle scienze sociali, Bonanno, Acireale-Roma, 2009.
Il titolo del Rapport remis le 17 janvier 2011 à Madame la Ministre de l'Enseignement Supérieur et de la Recherche (2011) è  Du bon usage de la bibliometrie pour l’évaluation individuelle des chercheurs. Si tratta di un testo eccellente, che fornisce indicazioni di uso e di ricerca sugli indici bibliometrici. Lo scopo è integrare la valutazione paritaria con la bibliometria, mantenendo alla prima priorità e preminenza.
Sulla permanenza nel tempo di norme impopolari e dannose, come quella della prevalenza dell’asino (parente o compare) nei pubblici concorsi, si veda un mio lavoro di prossima pubblicazione: Il paradosso dell’anzianità. Un criterio efficace, ma impopolare, di distribuzione dei redditi da lavoro, “Quaderni di Sociologia”, 56, pp. 7-36.





[1] Per ‘valutazione’ svolta da un referee intendo un testo scritto di alcune pagine, trasmesso all’autore ─ in genere, in modo anonimo ─ insieme a un giudizio conclusivo del comitato di redazione della rivista.
[2] Benché molto favorevole a una diffusione della peer review, specie tra le riviste sociologiche del nostro paese, non ne sottovaluto i limiti. Essa si concentra molto spesso solo sulla correzione di errori o omissioni, più che sulla rilevanza e l’accuratezza dei problemi considerati.
Ancora: per definizione, gli scienziati originali, i grandi innovatori raramente hanno dei pari. Ci sono esempi di articoli importanti che furono pubblicati senza una revisione paritaria (è il caso del lavoro sulla struttura del DNA di Watson e Crick apparso su “Nature” nel 1951), di paper pubblicati dopo una valutazione e rivelatisi poi  scopiazzature o privi di senso (ad esempio, la nota impostura a firma di Alan Sokal); infine di contributi respinti diverse volte ma che valsero in seguito il Nobel ai loro autori .
Con ironia, Amitai Etzioni ha osservato che se si presentasse oggi in modo anonimo un saggio di Max Weber, Émile Durkheim, Ferdinand Tönnies o di C. Wright Mills per la pubblicazione su “American Sociological Review”, “esso sarebbe respinto senza indugio”.
Più in generale, su vantaggi e limiti della peer reviewing si vedano i lavori del Cope (Committee on Publication Ethics) e il dibattito svoltosi alcuni anni fa alla Sissa di Trieste. Utili indicazioni per far fronte alle frequenti discriminazioni operate dai valutatori nelle revisioni paritarie si trovano in Lamont e Mallard. Questo lavoro rileva anche le forti variazioni transnazionali esistenti tra le pratiche di peer reviewing nelle comunità di scienziati sociali degli Stati Uniti, Regno Unito e Francia.
[3] Sui significati dei termini ‘riconoscimento’ e ‘eccellenza’ sono ancora attuali le osservazioni di R.K. Merton.
[4] Per’metodo' intendo una teoria dell'interpretazione ─ sulla falsariga della lezione weberiana (Soziologische Grundbegriffe). Questo testo, scritto nel 1920, e pubblicato nel 1921, è stato posto sin dalla prima edizione, con una decisione discutibile, in testa a Economia e società.
[5] Si veda il recente dibattito stimolato da Burawoy nella sociologia anglosassone. Burawoy ha toccato alcuni problemi rilevanti dello sviluppo della disciplina, specie nei paesi anglosassoni. Non credo tuttavia che questa sia la strada maestra per una rianimazione, rifondazione o rinnovamento (secondo i gusti) della sociologia. Soprattutto non ritengo che essa lo sia in Italia, paese in cui la debolezza dei controlli incrociati sui prodotti della ricerca sociologica ha favorito negli ultimi decenni il declino della sua autonomia e autorevolezza. Quella indicata da Burawoy mi sembra un’altra forma di sociologia intenta a denunciare pratiche e istituzioni valutate negativamente, o a legittimare rivendicazioni di gruppi sociali svantaggiati. Non mi pare che quest’autore consideri come prioritari della sociologia i compiti di descrivere aspetti poco conosciuti delle nostre società, di aumentarne la trasparenza o di spiegare qualcosa di rilevante per la vita associata. Le pratiche di attivismo politico-sociologico di base che quest’autore sostiene potrebbero essere attività socialmente utili, ma non mi sembrano in quanto tali propriamente sociologiche.

Nessun commento:

Posta un commento

Il tuo commento verrà visualizzato dopo qualche ora dall'invio. Affinché il tuo post sia pubblicato è necessario inserire in calce il tuo nome e cognome per esteso e la tua afferenza accademica: es: Mario Rossi (Università di Roma). Se dopo 24 ore non vedi il tuo post, o se hai dubbi, scrivi direttamente una mail a perlasociologia@gmail.com