Pubblicare serve per vincere i concorsi? Un’analisi sui concorsi a cattedra degli economisti agrari

Concorsi e carriere nell’Università

Nel mese di aprile del 2006 è stato emanato un decreto legislativo che riordina il reclutamento dei professori universitari, cambiando il sistema vigente dal 1999. Si torna a concorsi nazionali, con un numero di idonei superiore a quello dei posti a concorso; vengono elette per raggruppamento disciplinare liste di 15 commissari, fra i quali vengono estratte a sorte le commissioni di 5 membri. Servirà allo scopo di migliorare il reclutamento e i meccanismi di carriera, che sono sotto accusa, con molteplici denunce sui giornali di casi discutibili, ed anche numerosi concorsi sotto inchiesta della magistratura?
Innanzitutto, a cosa servono i concorsi universitari? C’è uno scopo ovvio, quello di reclutare le persone che devono insegnare e fare ricerca. Ma ce n’è un secondo, meno evidente a prima vista: fornire incentivi ai professori e ai ricercatori. Nell’Università non c’è una struttura gerarchica di gestione del personale docente, né potrebbe esserci, perché farebbe venir meno quel principio della libertà di ricerca che costituisce un meccanismo prezioso per favorire le nuove scoperte e l’esplorazione di campi nuovi (la didattica è un discorso diverso: fatta salva la libertà sui contenuti dell’insegnamento, non ci sarebbero controindicazioni a sottoporre i docenti ad una “disciplina” che li spinga a fornire un buon servizio agli studenti). Né ci sono incentivi monetari alla ricerca (almeno in Italia): gli stipendi sono basati sull’anzianità nel ruolo, non sulla qualità del lavoro svolto.
Ne segue che l’avanzamento nella carriera, da ricercatore a professore associato e poi a professore ordinario, è l’unico meccanismo incentivante presente nell’Università italiana, non solo in termini di stipendio, ma anche di prestigio. Diventa quindi decisiva la gestione dei concorsi, cioè la definizione dei requisiti necessari per superarli. Poiché le commissioni di concorso sono elette dai docenti delle discipline, è all’interno di queste che si formano, nei fatti, i criteri di valutazione.

Il valore delle pubblicazioni

La legge, sia quella precedente che quella attuale, fissa i criteri di valutazione in termini generali: fra questi, l’originalità della produzione scientifica e la rilevanza scientifica della collocazione editoriale delle pubblicazioni e la loro diffusione all’interno della comunità scientifica. La norma relativa alla collocazione editoriale delle pubblicazioni corrisponde ad un criterio largamente accettato nel mondo scientifico a livello internazionale: una pubblicazione “vale” tanto di più quanto più è prestigiosa la rivista dove è pubblicata.
La ragione è da ricercare in un meccanismo di domanda e offerta che si autoalimenta: le riviste scientifiche domandano articoli; i ricercatori offrono articoli nei quali presentano la propria produzione scientifica. Tutte le riviste devono “riempire” i numeri con un certo numero di articoli. Le più prestigiose ricevono proposte per un maggior numero di articoli fra i quali possono attingere, pubblicando i migliori, scelti attraverso una selezione accuratissima fra quelli proposti. Questo determina un maggiore prestigio, che alimenta a sua volta una maggiore offerta da parte dei ricercatori alle riviste più prestigiose.
Questo meccanismo spiega anche perché le riviste internazionali siano in generale ritenute di maggior prestigio di quelle nazionali: c’è una maggior offerta di articoli in inglese che in italiano, e quindi una maggior possibilità di selezione degli articoli ricevuti da parte di quelle internazionali. La valutazione degli articoli da parte delle riviste scientifiche avviene generalmente con il sistema della revisione anonima (blind review): l’articolo ricevuto da una rivista viene inviato a due-tre revisori anonimi, che lo valutano e ne consigliano al direttore l’accettazione o meno, suggeriscono modifiche o richiedono chiarimenti. I revisori sono scelti dal direttore fra esperti dell’argomento. Il fatto che i revisori non conoscano l’autore dell’articolo e che questo non conosca i revisori tende a evitare conflitti di interessi (un revisore che boccia un articolo di un rivale accademico, un autore che si “vendica” di una revisione negativa). Anche la scelta dei revisori contribuisce alla qualità delle riviste e, di nuovo, l’ampiezza delle possibilità di scelta è maggiore per le riviste internazionali.
Con il tempo, in molti campi scientifici si sono adottate delle procedure per “quantificare” l’importanza delle riviste scientifiche e quindi, indirettamente, il valore degli articoli pubblicati. Il più diffuso è quello dell’impact factor (IF), sviluppato dall’ISI (Institute for Scientific Information [link]), che rapporta il numero di citazioni ricevute dagli articoli pubblicati su una rivista con il numero di articoli pubblicati sulla stessa. In questo caso, il principio è che una rivista o un articolo molto citati su altre riviste o nei libri, sono da considerare importanti per la disciplina e per il suo sviluppo (1). Al di là dello strumento specifico di misurazione, è comunque il principio che conta, cioè la capacità di articoli e libri di incidere sulla discussione scientifica e sull’avanzamento della disciplina.

I dati sulle pubblicazioni degli economisti agrari italiani

Come si diceva, ogni disciplina interpreta questi principi e quindi, implicitamente, definisce gli incentivi al suo interno, stabilendo quali siano le caratteristiche desiderabili, cioè quelle che fanno “far carriera”. Ci proponiamo qui allora di esaminare quali sono i requisiti che emergono per il gruppo degli economisti agrari italiani, attraverso l’esame dei concorsi di prima fascia (professori ordinari), cioè il gradino massimo della carriera universitaria.
Dal 1999 (istituzione delle norme sui concorsi con commissioni locali) ad oggi si sono conclusi 31 concorsi per professori di prima fascia del gruppo AGR/01 (Economia e estimo rurale) al quale appartengono gli economisti agrari.
Ogni concorso, che si svolgeva su base locale con un commissario designato dalla sede e quattro eletti a livello nazionale, si concludeva con la proclamazione di idonei (tre nei primi concorsi, due successivamente e, più recentemente, uno); i vincitori complessivamente sono stati 76 (si veda il sito relativo del Ministero: [link]), un numero sufficiente perché i risultati di un’analisi abbiano validità statistica. Per 8 concorsi, il verbale non è più o non è mai stato disponibile su Internet, e quindi sono noti solo i nomi dei vincitori, ma non degli altri concorrenti.
L’analisi che segue è basata sulla produzione scientifica rilevabile pubblicamente, o dalle principali riviste scientifiche italiane del settore, o da banche dati bibliografiche. Poiché non si disponeva, salvo in alcuni casi, dei dati sulle caratteristiche personali dei candidati, quali anzianità in ruolo, dottorati, ecc., non si è potuto condurre un’analisi più approfondita, come quella condotta da Checchi (1999) e Perotti (2002); l’analisi non è stata neppure condotta a partire dalle pubblicazioni che hanno un impact factor, perché il numero di economisti agrari con pubblicazioni di questo tipo è molto basso. Attualmente, infatti, solo il 13,5% dei professori ordinari italiani ha almeno una pubblicazione con IF (un dato di per sé comunque non particolarmente confortante), e le comparazioni avrebbero quindi scarso significato.
Sono state presi in considerazione 3 dati:

1. Econlit. Il primo dato riguarda il numero di pubblicazioni registrate su Econlit [link], che è la più importante base dati bibliografica internazionale riguardante l'economia. Non è specializzata in economia agraria ed ha una prevalenza di letteratura anglosassone, anche se volumi e riviste italiane sono presenti (recentemente, anche la Rivista di Economia Agraria). Sono registrati sia articoli su riviste, sia volumi o articoli contenuti in volumi; non tutte le pubblicazioni elencate sono sottoposte a revisione anonima. La copertura temporale è a partire dal 1969. Per ogni economista agrario vincitore o partecipante ai concorsi da professore ordinario sono state conteggiate tutte le pubblicazioni fino all’anno di concorso incluso (il che può portare ad una sovrastima del numero di pubblicazioni al momento del concorso, dato che spesso gli articoli vengono pubblicati con ritardo rispetto all’anno indicato).
2. Rea_Rpa_Qa. Poiché è stato spesso obiettato che le banche dati ISI o Econlit soffrono di una “distorsione anglosassone” e non rispecchiano l’attività di ricerca su base nazionale e locale, il secondo indicatore è costituito dal numero di pubblicazioni su riviste scientifiche italiane del settore. Sono state considerate le tre principali riviste scientifiche italiane, che utilizzano tutte il sistema dei revisori anonimi: Rivista di Economia Agraria, Rivista di Politica Agraria (ora Politica Agricola Internazionale), QA-Questione Agraria. In questo caso la copertura è a partire dal 1981 compreso, fino all’anno di concorso incluso; non sono state tuttavia incluse le recensioni e i rapporti su conferenze e in gruppi di studio, le prime peraltro escluse anche dalla banca dati Econlit.
3. CABI. Il terzo dato consiste nel numero di pubblicazioni registrate su CABI, che è una delle più importanti banche dati bibliografiche riguardanti l'agricoltura, e ha una sezione "Agricultural economics and rural sociology" nella quale, in particolare, è stata condotta la ricerca. CABI ha una copertura molto più vasta del settore economico-agrario rispetto ad Econlit, anche dal punto di vista geografico, e include in campo italiano, oltre alle riviste scientifiche prima menzionate, anche pubblicazioni su riviste divulgative, quali Terra e Vita, Informatore Agrario, e simili, riviste che non prevedono, di norma, revisori anonimi. In questo senso, la presenza su CABI è un criterio meno selettivo di quello della presenza fra gli altri due tipi di pubblicazioni. La copertura è a partire dal 1973; anche in questo caso sono state conteggiate tutte le pubblicazioni fino all’anno di concorso incluso.

Serve aver pubblicato per “fare carriera”?

Una prima analisi riguarda tutti i 31 concorsi svolti, sulla base della produzione scientifica dei 76 vincitori rilevabile pubblicamente, cioè sulla scorta dei tre dati sopra menzionati. Questa analisi cerca di rispondere alle domande: quali sono le caratteristiche della produzione scientifica dei vincitori? Quali sono i “requisiti minimi” per poter vincere un concorso da ordinario in economia agraria?
Il numero medio di pubblicazioni dei vincitori è il seguente: Econlit: 1,1; Rea_Rpa_Qa: 2,7; CABI: 6,7.
Oltre al dato medio, risulta però rilevante anche la distribuzione di frequenza dei vincitori per numero di pubblicazioni, riportato nella tabella 1. Da essa risultano alcuni elementi:

• la forte disomogeneità di produzione scientifica (così come misurata) tra i vincitori: per Econlit si va da nessuna a 11 pubblicazioni; per CABI da nessuna a 27; per Rea_Rpa_Qa da nessuna a 18;
• la presenza di una forte percentuale di vincitori con nessuna pubblicazione rilevata nelle banche dati considerate: il 56,6% dei vincitori non ha pubblicazioni in Econlit, il 17,1% non ne ha in Rea_Rpa_Qa, ed il 2,6% non ne ha in CABI;
• la forte concentrazione della distribuzione nelle classi più basse. Ad esempio, 40 dei 76 vincitori avevano 5 pubblicazioni CABI o meno; 16 vincitori non avevano nessuna pubblicazione sulle principali riviste scientifiche italiane, ed altri 21 ne avevano solo una. Sei vincitori non avevano nessuna pubblicazione né in Econlit né sulle riviste scientifiche italiane e solo una in CABI;
• i picchi (ovvero la moda) delle distribuzioni sono pari a 1 per CABI e Rea_Rpa_Qa, a 0 per Econlit.

Tabella 1 - Numero di pubblicazioni dei vincitori di concorsi di 1° fascia 1999-2006

Si possono trarre a questo punto alcune conclusioni:

• il numero medio di pubblicazioni dei vincitori è piuttosto basso;
• le caratteristiche dei vincitori in termini di pubblicazioni sono fortemente eterogenee, cioè si può vincere sia con molte pubblicazioni sia con poche;
• non sembra esistere una “soglia minima” di pubblicazioni per avere successo nei concorsi o, per meglio dire, questa soglia è su livelli molto bassi (soprattutto tenendo conto che si tratta di concorsi da professore ordinario).
• se ne deduce quindi che l’andamento dei concorsi non può costituire un incentivo a pubblicare molto e su riviste qualificate, soprattutto perché non esiste un “livello minimo” indispensabile per superare il concorso.

Meglio i vincitori o i perdenti?

Ci si può chiedere a questo punto se “pubblicare tanto e bene”, pur non essendo una condizione necessaria per vincere un concorso, sia almeno una condizione sufficiente: cioè se chi pubblica di più e su riviste più qualificate riesca comunque a vincere. Per rispondere a questo tipo di domanda occorre condurre una analisi di tipo comparativo, fra i vincitori e gli altri concorrenti. Questa si può effettuare solo sui concorsi di cui sono disponibili i verbali (23 concorsi, per 56 vincitori), dato che per gli altri non sono noti tutti i concorrenti.
Da questa analisi risulta che:

• il 74,1% dei vincitori è risultato tale in concorsi in cui almeno un concorrente perdente (cioè, non risultato idoneo) aveva più pubblicazioni Econlit;
• l’85,2% dei vincitori è risultato tale in concorsi in cui almeno un concorrente perdente aveva più pubblicazioni CABI;
• il 90,7% dei vincitori è risultato tale in concorsi in cui almeno un concorrente perdente aveva più pubblicazioni scientifiche italiane;
• l’85,2% dei vincitori è risultato tale in concorsi in cui almeno un concorrente perdente aveva un numero almeno doppio di pubblicazioni scientifiche italiane.

Ovviamente, non necessariamente queste condizioni si verificavano congiuntamente, per cui ci sono vincitori che, pur avendo meno pubblicazioni in una categoria, ne avevano di più in un’altra. Tuttavia per 42 vincitori (75%) esistevano altri concorrenti perdenti con un maggior numero di pubblicazioni di tutti i tre tipi. In 12 concorsi (52,2%), per un totale di 29 vincitori (51,8%), nessuno dei vincitori aveva più pubblicazioni di tutti i tre tipi, rispetto ad altri concorrenti perdenti. In media, ogni vincitore aveva:

• 3,0   concorrenti perdenti con un maggior numero di pubblicazioni Econlit;
• 4,3   concorrenti perdenti con un maggior numero di pubblicazioni CABI;
• 4,8   concorrenti perdenti con un maggior numero di pubblicazioni Rea_Rpa_Qa;
• 4,2 concorrenti perdenti con un numero almeno doppio di pubblicazioni Rea_Rpa_Qa.

Si tenga conto che, in media, per ogni concorso vi erano 8,7 concorrenti.
Un’analisi statistica più elaborata, attraverso un modello probit (2), mostra che né le pubblicazioni Econlit né quelle CABI hanno un effetto statisticamente significativo sulla probabilità di successo ai concorsi; viceversa, le pubblicazioni scientifiche italiane hanno sì un effetto statisticamente significativo, ma paradossalmente negativo: per ogni pubblicazione in più di questo tipo, un concorrente medio avrebbe il 5,5% di probabilità in meno di risultare idoneo.
Anche questa analisi porta quindi ad una conclusione non confortante, vale a dire che “pubblicare tanto e bene” non basta, anzi addirittura sembrerebbe nuocere, per vincere i concorsi da professore ordinario.

Come incentivare la ricerca scientifica

Più che analizzare le circostanze che hanno portato a questo risultato, occorre discutere quali sono i possibili rimedi (sempre che si condivida l’obiettivo generale che i ricercatori italiani in economia agraria pubblichino il più possibile su riviste scientifiche di prestigio, e che la loro produzione scientifica si diffonda nel mondo scientifico nazionale e internazionale).
Il primo riguarda l’università italiana in generale, ed è l’introduzione di meccanismi di incentivazione della produzione scientifica. Fino a non molto tempo fa, la produzione scientifica non era soggetta di fatto a nessun controllo, ed era affidata alla buona volontà dei singoli. Solo da pochi anni sono stati messi in atto meccanismi di valutazione delle Università, e una parte (in verità piccola) dei fondi che queste ricevono dal Ministero dell'Università e della Ricerca dipende anche dalla loro produzione scientifica. Se questo meccanismo si propagherà verso “il basso” fino a far dipendere anche una parte dei finanziamenti alle Facoltà e ai Dipartimenti dalla valutazione della produzione scientifica, si creerà un forte incentivo a reclutare e a far avanzare di carriera persone con una buona produzione scientifica; l’interesse delle singole sedi si sposterà dalla “protezione” dei propri candidati alla formazione di candidati in grado di “portare finanziamento” alla sede.
Il secondo rimedio è l’autodisciplina di gruppo: la capacità cioè della comunità accademica di accettare e mettere in atto regole di reclutamento generali e condivise che premino i comportamenti virtuosi, per evitare che la ricerca di vantaggi individuali dei singoli danneggi la reputazione del gruppo. Sotto questo aspetto, è positivo che la Società Italiana di Economia Agraria (SIDEA) abbia recentemente istituito un gruppo di lavoro sulla valutazione e il reclutamento, col compito di elaborare regole comuni in questo campo. Occorre però notare che già nel 1998 la SIDEA aveva proposto “requisiti minimi” dei candidati per accedere ai diversi livelli di carriera (3); ma le commissioni non sono obbligate a seguirle, e in effetti, nei concorsi analizzati, solo in rari casi venivano rispettati (4).
Occorre quindi che le regole scelte collettivamente siano rafforzate attraverso meccanismi di trasparenza: ad esempio, chi si candida a commissario può dichiarare il suo impegno a seguire queste regole; i verbali dei concorsi possono essere pubblicati su un sito web; i candidati ai concorsi possono pubblicare l’elenco dei loro titoli su un sito web; si può cioè cercare di rendere operante un controllo sociale collettivo sul funzionamento dei concorsi, basato sulla sanzione morale nei confronti di chi non rispetti alcune generali regole di riferimento.
Per concludere ritornando al quesito iniziale (se le nuove normative porteranno un miglioramento) la risposta non può che essere all’insegna di un certo scetticismo. Anche se i concorsi nazionali consentono una maggiore visibilità dei risultati e quindi un maggiore controllo collettivo, va comunque ricordato che erano in vigore prima dell’ultimo sistema, con risultati a loro volta discutibili: il problema vero non è l’ingegneria dei concorsi, ma l’istituzione di meccanismi incentivanti ai comportamenti virtuosi. Diceva un economista (Robertson, 1956) che l’economista risparmia su una risorsa scarsa, l’amore: si potrebbe aggiungere che è necessario anche risparmiare sull’etica, cioè che è sempre meglio affidarsi a meccanismi che spingano le persone a comportarsi bene perché è nel loro interesse, piuttosto che fare affidamento solo sulla loro (pur fondamentale) onestà personale.

Note

(1) L’uso dell’IF per la valutazione della ricerca è sempre più diffuso nel mondo scientifico. Non è tuttavia esente da critiche: la sua validità come strumento di valutazione della produttività scientifica è infatti tanto maggiore quanto più si riferisce ad insiemi di persone piuttosto che a singoli, o a insiemi di articoli piuttosto cha a singoli articoli. Ad esempio, Oswald (2007) mostra che analizzando le citazioni ricevute da articoli pubblicati 25 anni fa da riviste economiche con differenti IF, le citazioni medie delle riviste rispettavano la loro classificazione, ma singoli articoli pubblicati su riviste meno prestigiose avevano ricevuto più citazioni di alcuni articoli pubblicati sulle migliori riviste. Per una analisi delle differenze fra scienze sociali e scienze esatte nella valutazione tramite IF si può anche vedere Hicks (2006). Resta il fatto che a tutt’oggi, la considerazione della collocazione editoriale e delle citazioni ricevute rappresentano il criterio meno arbitrario di valutazione.
(2) Si tratta di un modello statistico che stima la probabilità di successo (nel nostro caso, la probabilità di vincere il concorso) in funzione di variabili esplicative (nel nostro caso, il numero di pubblicazioni dei tre tipi).
(3) Per i posti di professore ordinario, almeno venti pubblicazioni, di cui non meno della metà avrebbero dovuto avere caratteristiche di originalità teorico-metodologica nell’ambito di problematiche specifiche delle materie economico-estimative. Delle restanti pubblicazioni, almeno una avrebbe dovuto avere carattere monografico e costituire una specifica ricerca del candidato con caratteristiche non meramente compilative.
(4) Solo il 5,3% dei vincitori aveva almeno 20 pubblicazioni CABI, e solo una uguale percentuale aveva almeno 10 pubblicazioni Rea_Rpa_QA.

Riferimenti bibliografici

• Checchi D., “Tenure. An appraisal of a national selection process for associate professorship, Giornale degli Economisti e Annali di Economia 2/1999 (versione italiana "Un posto a vita. Analisi di un concorso nazionale a professore universitario di seconda fascia”, disponibile a: [pdf])
• Gagliarducci S., Ichino A., Peri G., Perotti R., Lo splendido isolamento dell’Università italiana, lavoro preparato per la Conferenza “Oltre il declino” organizzato dalla Fondazione Rodolfo De Benedetti, Roma, 22/2/2005, disponibile a: [link]
• Hicks D., The Dangers of Partial Bibliometric Evaluation in the Social Sciences, Economia Politica, n. 2, 2006
• Oswald A.J., An Examination of the Reliability of Prestigious Scholarly Journals: Evidence and Implications for Decision-Makers, Economica, 2007, 74, 21–31
• Perotti R. The Italian University System: Rules vs. Incentives, Paper presented at the first conference on Monitoring Italy, ISAE, Roma, January 2002, disponibile a: [link]
• Robertson D. H., "What Does the Economist Economize?" in Economic Commentaries, London: Staples Press Limited, 1956