1. Oggetto e scopo
Scopo di questa nota
è stimolare una discussione sui criteri usati per valutare i prodotti della ricerca
sociologica. Questo mi sembra un compito prioritario da affrontare, visti gli
impegni e le scadenze di un futuro ormai prossimo. La discussione è opportuna,
se non necessaria, per far emergere criteri di valutazione accettati dalla
maggior parte della nostra comunità scientifica. Quest’ultima mi sembra al
presente, oltre ad essere tradizionalmente divisa in coalizioni distributive,
anche incerta di fronte ai problemi nuovi posti dalla crescente importanza
della valutazione nell’università italiana.
2. La formazione degli standard di valutazione della qualità
scientifica della ricerca sociologica
Con maggior
accuratezza, di fronte a queste innovazioni, la sociologia italiana mi sembra
sulla difensiva. Le argomentazioni più frequenti mi sembrano esprimere
preoccupazioni, più che proposte. In grande sintesi, esse hanno per oggetto:
a) la resistenza
a pratiche ─ come la bibliometria ─ provenienti dalle scienze ‘dure’. Queste
tecniche sono, a ragione, ritenute inadeguate rispetto alla nostra disciplina,
per varie ragioni. Non vengono però avanzate, salvo che in un caso (Diani
2009), proposte intese a integrarle con la valutazione paritaria.
b) Il tentativo
di consolidare i tradizionali strumenti di valutazione usati nei concorsi
universitari d’antan: tot monografie,
tot articoli, indici di produttività (pardon,
operosità) scientifica, ecc. Questi strumenti sono inadeguati per alcune buone
ragioni: la crescente importanza degli articoli, specie di quelli pubblicati
sulle riviste migliori, rispetto alle monografie; il maggior rilevo da
attribuire alla qualità scientifica rispetto alla pura e semplice quantità. A
cento centoni sulla complessità sociale o sulla globalizzazione, pubblicati da
qualche editore di dozzina, va preferito un saggio di ricerca innovativo su
problemi rilevanti e/o poco esplorati. Una cosa sono le divulgazioni (o le
sintesi più o meno raffazzonate), altra le spiegazioni accurate e corroborate
da dati di fatto di fenomeni o eventi socialmente o sociologicamente rilevanti.
c) La proposta di
usare “standard di valutazione internazionali”, per stabilire la qualità
scientifica dei prodotti della ricerca sociologica nostrana. A meno di
precisare in modo dettagliato in che consistano questi standard, la proposta mi
sembra generica e anche fuorviante.
Gli standard di
valutazione si formano ─ lo ha insegnato Miháil Polanyi ─ grazie a una
successione di controlli incrociati e allo scambio di critiche che avvengono
all’interno di una comunità scientifica. Le comunità scientifiche della
sociologia sono ancora in gran parte ancorate a tradizioni intellettuali nazionali,
formatesi nel corso di decenni. Tra esse le differenze sono ancora presenti e
vive, anche se si vanno via via attenuando. Per rendersene conto è sufficiente
sfogliare alcune riviste della disciplina: dall’American Sociological Review, a
Sociology e al British Journal, alla Kölner Zeitschrift alla Revue Française,
agli Archives Européennes e all’European Journal. Tradizioni intellettuali e
standard si sovrappongono, almeno in parte. Gli standard di valutazione si
formano infatti grazie a un dibattito di lunga lena e non possono quindi essere
importati meccanicamente da un’altra comunità scientifica. E poi quale tra
questi scegliere? Come giustificare questa decisione? La circostanza che altrove
questo dibattito si svolga ormai da tempo e abbia già prodotto esiti rilevanti,
può però essere un’opportunità da utilizzare. Insomma: sembra più saggio ed
efficace rafforzare e/o costruire le istituzioni che possono facilitare nel
nostro paese il dibattito e lo scambio di critiche. Alcune riviste sociologiche
italiane hanno appreso la lezione; altre la stanno praticando più lentamente. Occorre
ammettere che l’AIS potrebbe fare di più per orientare e stimolare questo
processo. Il contributo al dibattito da parte delle “componenti” della sociologia
italiana mi sembra ancora allo stato iniziale.
2. La Valutazione
della Qualità della Ricerca 2004-2010
Per individuare questi criteri non c’è di
molto aiuto il testo del neonato VQR 2004-10, che terrà occupati migliaia di
universitari italiani nel 2012-13. Già il linguaggio usato mostra qualche
incertezza:
“Il giudizio di
qualità descrittivo si riferisce ai seguenti criteri:
a) rilevanza,
da intendersi come valore aggiunto per l'avanzamento della conoscenza nel
settore e per la scienza in generale, anche in termini di congruità, efficacia,
tempestività e durata delle ricadute;
b) originalità/innovazione,
da intendersi come contributo all'avanzamento di conoscenze o a nuove
acquisizioni nel settore di riferimento;
c) internazionalizzazione,
da intendersi come posizionamento nello scenario internazionale, in termini di
rilevanza, competitività, diffusione editoriale e apprezzamento della comunità
scientifica, inclusa la collaborazione esplicita con ricercatori e gruppi di
ricerca di altre nazioni.
d)
relativamente ai brevetti, i giudizi devono contenere anche riferimenti al trasferimento,
allo sviluppo tecnologico e alle ricadute socio-economiche (anche potenziali)
”.
Rispetto al VQR 2000-2003
il numero dei criteri è stato ridotto, con l’eliminazione di quello della
qualità, per l’evidente sovrapposizione tra proprietà considerata (la qualità
scientifica) e l’indicatore che avrebbe dovuto contribuire a definirla in modo
operativo (la medesima qualità).
Va inoltre notato che i
criteri della “rilevanza” e dell’ ”originalità/innovazione” sono definiti in
pratica con gli stessi termini: quali differenze si possono infatti individuare
tra “valore aggiunto” e “contributo”? Una diversa formulazione linguistica del
criterio della rilevanza sarebbe utile. Il criterio dell’”internazionalizzazione”
esprime infine il grado di riconoscimento di un prodotto scientifico (o di un
insieme degli stessi) da parte della comunità scientifica, nonché il grado di
visibilità internazionale degli stessi. Riguarda cioè l’apprezzamento/visibilità
della produzione di un autore da parte del mercato internazionale di una certa
disciplina. Molti comitati di valutazione del VQR 2000-2003 hanno interpretato
tale criterio come l’equivalente di “pubblicazione in lingua inglese” o in altra
lingua straniera. Ci sono però molti casi in cui il riconoscimento è attribuito
da parte di stranieri a prodotti scientifici pubblicati nella nostra lingua. E
va ricordato che l’uso della lingua
franca contemporanea non garantisce di per sé un sovrappiù di qualità
scientifica accettabile ai prodotti di una ricerca.
3. Valutare i prodotti della ricerca
sociologica: una proposta
Anche se non fossero discutibili,
i criteri proposti dal VQR 2004-2010 non ci sono quindi di aiuto per valutare i
prodotti della ricerca sociologica. Né lo sono i lunghi elenchi presenti nei
verbali dei concorsi universitari. Sappiamo come essi possano essere aggirati e
manipolati. Attribuire un’eccellenza scientifica fittizia ai lavori di
parenti e compari, anche se asini o incompetenti, è stata una pratica non
infrequente in alcuni settori scientifico- disciplinari dell’università
italiana.
Di seguito mi
permetto quindi di riprendere da un lavoro precedente alcune proposte utili a
formulare un giudizio sulla qualità dei prodotti della ricerca sottoposti a una
valutazione paritaria.
Esse possono essere
usate a scopi di valutazione sia della qualità di singoli prodotti di ricerca sia ad insiemi di ricerche, come quelle di un
certo dipartimento sociologico. Ovviamente esse vanno calibrate secondo l’età
dei candidati e dei requisiti (ad esempio: un’integrazione con criteri
bibliometrici va esclusa per i livelli junior e richiesta invece per quelli
senior.)
Considero qui
solo le pubblicazioni scientifiche. Oggetto di una valutazione più ampia
possono essere anche le attività didattiche; quelle di divulgazione e di
disseminazione; quelle di consulenza per clienti pubblici e privati; le
iniziative volte all’organizzazione di attività accademiche e professionali.
A regime, il
prodotto scientifico primario da prendere in considerazione dovrebbe essere
l’articolo, la nota critica (e anche la recensione) pubblicati su una rivista sociologica
che si avvalga in modo sistematico e controllabile delle valutazioni di almeno
due referees anonimi per ogni lavoro
pubblicato[1]. E’ quindi possibile stabilire un ranking delle riviste sociologiche, sia in
conformità a questo criterio sia alla reputazione che esse godono tra i membri
della nostra comunità scientifica. Minor peso dovrebbero avere —in linea di
principio e in una prospettiva di medio-lungo termine — monografie e volumi,
soprattutto se non avessero formato oggetto di una o più recensioni pubblicate
in riviste accreditate[2]. Questa
preferenza non dovrebbe tuttavia essere applicata in modo rigido, ma con juicio.
Un’altra
distinzione va fatta anche a proposito della casa editrice, che può avere una
distribuzione nazionale o solo locale. La validità di questo indicatore può
però essere, in alcuni casi, limitata: volumi di qualità scadente sono pubblicati
da case editrici rinomate; contributi interessanti da editori locali. Esclusi
dalla valutazione dovrebbero essere sia i lavori a destinazione didattica o di
divulgazione, sia gli articoli apparsi su quotidiani e riviste di attualità
politica, culturale, ecc.
A scopi di
valutazione sembra opportuno distinguere, in ordine d’importanza crescente, fra
tre fasi di una valutazione della produzione scientifica:
a) La prima fase riguarda il grado di
ampiezza, continuità e coerenza della produzione scientifica di uno scienziato
sociale, tenendo conto dei criteri sopra indicati: pubblicazione su riviste
accreditate (prevalentemente, anche se non esclusivamente disciplinari),
monografie non destinate alla didattica o alla divulgazione, ecc.
a) la seconda fase riguarda l’accertamento
del grado di riconoscimento che questa produzione ha ricevuto dalla comunità
scientifica[3]. L’operazione può essere compiuta definendo un
insieme d’indicatori riguardanti la frequenza di citazioni e riferimenti
contenuti in database come Social
Science Citation Index, Sociological Abstracts, Google Scholar e altri, anche
riguardanti altre discipline (per via dell’osmosi esistente tra le scienze
sociali). Indicazioni assai utili su valore e limiti degli indici bibliometrici
si trovano nel recente Rapport
dell’Académie des Sciences francese (2011).
In linea di
massima, ritengo che i risultati di un conteggio bibliometrico, comunque
declinato, non consentano di valutare la qualità scientifica di un prodotto
della ricerca, se non in misura indiretta e approssimata. In particolare: qual
è la proprietà effettivamente indicata dagli indicatori bibliometrici? Sappiamo
che essi sono associati alla qualità scientifica dei prodotti della ricerca, ma
non abbiamo ancora compreso a quali dimensioni di questo concetto essi si
riferiscano. Il mio educated guess è
che essi riguardino anzitutto il grado di riconoscimento e di visibilità
(nazionale e internazionale) della produzione scientifica di uno studioso.
c) La
valutazione della qualità scientifica ─ questa è la terza fase ─ dovrebbe infine riguardare anzitutto l’apprezzamento
del contributo di un singolo prodotto della ricerca (o di un loro insieme)
rispetto all’edificio sociologico che abbiamo ereditato dalle generazioni
precedenti e che la nostra comunità scientifica continua ogni giorno a
costruire.
Tale contributo
può riguardare diversi aspetti:
a) i preasserti della sociologia (Marradi):
l’introduzione di nuovi concetti e termini; di strutture concettuali come
classificazioni e tipologie, nonché la loro ridefinizione e consolidamento;
b) il metodo e le tecniche: la messa a
punto di nuove teorie dell’interpretazione; l’introduzione di tecniche di
ricerca nuove o già consolidate; il loro uso appropriato[4];
c) le ipotesi e le teorie (gli asserti, secondo
Marradi): l’introduzione di nuove teorie e ipotesi, eventualmente su problemi
poco o mal studiati; il controllo empirico d’ipotesi significative, anche
l’esposizione di nuove sintesi o rielaborazioni della conoscenza disponibile;
d) i risultati della ricerca sociologica:
l’aumento di trasparenza fornita a fenomeni sociali mal definiti o opachi;
l’individuazione o la soluzione di problemi sociali o culturali presenti in una
specifica comunità; la messa a punto di spiegazioni eleganti, convincenti ed
empiricamente fondate di fenomeni sociali e, infine,
e) la definizione esplicita e precisa dei
termini usati e la consistenza
dell’argomentazione.
A queste
dimensioni del concetto di qualità dei prodotti di una ricerca sociologica
possono essere avanzate diverse obiezioni. La prima è che esse richiederebbero
definizioni operative e indicatori adeguati. Proposte in questo senso sono
state abbozzate e meritano di essere esaminate. La seconda, più rilevante, è
che le proprietà che si presumono indicare l’eccellenza o la qualità scientifica
potrebbero talvolta indicare “modelli di associazione e di scambio sociale, e
solo secondariamente la produttività scientifica” (Burris; più recentemente
Wagner). Un’osservazione che sembra riflettere almeno in parte l’attuale
situazione italiana.
Tra i prodotti
della ricerca sociologica è possibile stabilire un ordine gerarchico. R. Boudon
e J. H. Goldthorpe hanno fornito utili indicazioni in merito, che personalmente
condivido e che raccomando. In merito esistono però concezioni differenti,
espresse nell’ambito dei cosiddetti cultural
studies, da coloro che possiamo etichettare come “fisici sociali” (i
seguaci contemporanei della scuola di Comte e Le Play), dagli esponenti della
“sociologia critica” e “espressiva”, dai cultori della cosiddetta “poesia
sociale”, nonché dai più recenti fautori della “sociologia pubblica”.[5]. A
queste distinzioni se ne possono aggiungere altre. In Italia è ad esempio discretamente
diffusa la convinzione che compito primario della sociologia sia trasmettere o
rafforzare valori ritenuti veri, a scopi educativi o di elevazione morale e
civile.
Non pretendo certo che le proposte qui presentate,
tra l’altro in forma ancora preliminare, possano essere accettate in toto e in parte. Dati i vincoli posti
dai processi di valutazione in atto, ritengo però opportuno che proposte
alternative siano formulate con chiarezza e rese pubbliche. Questi contributi
renderebbero un grande servizio ai colleghi impegnati nelle valutazioni
paritarie, sia del VQR 2004-2010 sia dei lavori presentati alle riviste, sia
infine delle pubblicazioni presentate alle prossime abilitazioni e concorsi.
(Alberto Baldissera, Università di Torino)
Riferimenti
bibliografici
Molti dei
riferimenti bibliografici qui ricordati si trovano nel mio contributo a un
volume che ho curato su La valutazione
della ricerca nelle scienze sociali, Bonanno, Acireale-Roma, 2009.
Il titolo del Rapport remis le 17 janvier 2011 à Madame la
Ministre de l'Enseignement Supérieur et de la Recherche (2011) è Du bon
usage de la bibliometrie pour l’évaluation individuelle des chercheurs. Si tratta di un testo eccellente, che
fornisce indicazioni di uso e di ricerca sugli indici bibliometrici. Lo scopo è
integrare la valutazione paritaria con la bibliometria, mantenendo alla prima
priorità e preminenza.
Sulla permanenza nel tempo di norme impopolari e
dannose, come quella della prevalenza dell’asino (parente o compare) nei
pubblici concorsi, si veda un mio lavoro di prossima pubblicazione: Il paradosso dell’anzianità. Un criterio
efficace, ma impopolare, di distribuzione dei redditi da lavoro, “Quaderni
di Sociologia”, 56, pp. 7-36.
[1] Per ‘valutazione’ svolta da un referee intendo un testo scritto di alcune pagine, trasmesso
all’autore ─ in genere, in modo anonimo ─ insieme a un giudizio conclusivo del
comitato di redazione della rivista.
[2] Benché molto favorevole a una diffusione della peer review, specie tra le riviste
sociologiche del nostro paese, non ne sottovaluto i limiti. Essa si concentra
molto spesso solo sulla correzione di errori o omissioni, più che sulla
rilevanza e l’accuratezza dei problemi considerati.
Ancora: per definizione, gli scienziati originali, i grandi innovatori
raramente hanno dei pari. Ci sono esempi di articoli importanti che furono
pubblicati senza una revisione paritaria (è il caso del lavoro sulla struttura
del DNA di Watson e Crick
apparso su “Nature” nel 1951), di paper pubblicati dopo una valutazione e
rivelatisi poi scopiazzature o privi di
senso (ad esempio, la nota impostura a firma di Alan Sokal); infine di
contributi respinti diverse volte ma che valsero in seguito il Nobel ai loro
autori .
Con ironia, Amitai Etzioni ha osservato che se si presentasse oggi in
modo anonimo un saggio di Max Weber, Émile Durkheim, Ferdinand Tönnies o di C.
Wright Mills per la pubblicazione su “American Sociological Review”, “esso
sarebbe respinto senza indugio”.
Più in generale, su vantaggi e limiti della peer reviewing si vedano i lavori del Cope (Committee on
Publication Ethics) e il dibattito svoltosi alcuni anni fa alla Sissa di Trieste.
Utili indicazioni per far fronte alle frequenti discriminazioni operate dai
valutatori nelle revisioni paritarie si trovano in Lamont e Mallard. Questo
lavoro rileva anche le forti variazioni transnazionali esistenti tra le
pratiche di peer reviewing nelle
comunità di scienziati sociali degli Stati Uniti, Regno Unito e Francia.
[3] Sui significati dei termini ‘riconoscimento’ e ‘eccellenza’
sono ancora attuali le osservazioni di R.K. Merton.
[4] Per’metodo' intendo una teoria dell'interpretazione ─
sulla falsariga della lezione weberiana (Soziologische
Grundbegriffe). Questo testo, scritto nel 1920, e pubblicato nel 1921, è
stato posto sin dalla prima edizione, con una decisione discutibile, in testa a
Economia e società.
[5] Si veda il recente dibattito stimolato da Burawoy nella sociologia anglosassone. Burawoy ha toccato alcuni problemi rilevanti dello sviluppo della disciplina, specie nei paesi anglosassoni. Non credo tuttavia che questa sia la strada maestra per una rianimazione, rifondazione o rinnovamento (secondo i gusti) della sociologia. Soprattutto non ritengo che essa lo sia in Italia, paese in cui la debolezza dei controlli incrociati sui prodotti della ricerca sociologica ha favorito negli ultimi decenni il declino della sua autonomia e autorevolezza. Quella indicata da Burawoy mi sembra un’altra forma di sociologia intenta a denunciare pratiche e istituzioni valutate negativamente, o a legittimare rivendicazioni di gruppi sociali svantaggiati. Non mi pare che quest’autore consideri come prioritari della sociologia i compiti di descrivere aspetti poco conosciuti delle nostre società, di aumentarne la trasparenza o di spiegare qualcosa di rilevante per la vita associata. Le pratiche di attivismo politico-sociologico di base che quest’autore sostiene potrebbero essere attività socialmente utili, ma non mi sembrano in quanto tali propriamente sociologiche.
Nessun commento:
Posta un commento
Il tuo commento verrà visualizzato dopo qualche ora dall'invio. Affinché il tuo post sia pubblicato è necessario inserire in calce il tuo nome e cognome per esteso e la tua afferenza accademica: es: Mario Rossi (Università di Roma). Se dopo 24 ore non vedi il tuo post, o se hai dubbi, scrivi direttamente una mail a perlasociologia@gmail.com