La chiave e la luce: perché valutare la riforma del primo pilastro della PAC è difficile

Introduzione

La ricerca scientifica ben si presta ad essere descritta dalla classica storiella dell’ubriaco che cerca le chiavi di casa vicino al lampione perché, pur avendole perse altrove, lì c’è più luce (Parisi, 2006). Spesso chi fa ricerca si applica non ai problemi che possono risultare più interessanti bensì a quelli per i quali sa di poter ottenere un qualche risultato. A volte si vede costretto a rinunciare ad occuparsi di tematiche che riterrebbe altrimenti di maggiore rilievo perché non ha gli strumenti per farlo; e ripiega su applicazioni “secondarie”.
Questa metafora sembra abbastanza calzante con riferimento alla ricerca sulla valutazione delle politiche agricole e rurali. Da un lato, è innegabile che in questo ambito grandi passi in avanti siano stati compiuti su diversi fronti. La pratica della valutazione delle politiche è cresciuta molto anche grazie all’accresciuta disponibilità di dati nonché di appropriate metodologie. Questa ricca strumentazione, tuttavia, è stata prevalentemente impiegata nella valutazione delle politiche le cui caratteristiche più si prestano alla loro applicazione. La PAC è per certi versi emblematica. Dei due pilastri, è proprio sul primo che, in teoria, dovrebbe ricadere una maggiore attenzione nella valutazione degli impatti. E’ pur sempre destinatario di circa l’80% del finanziamento complessivo della PAC ed è la politica che interessa la più vasta platea di beneficiari. D’altro canto, già nel 2003, e ancora oggi a proposito del post-2013, il dibattito si è polarizzato su quanto e come il primo pilastro debba essere più o meno radicalmente riformato.
Se si tratta di valutare gli impatti della PAC, e in particolare di una sua riforma, è sul primo pilastro che si dovrebbe soprattutto concentrare l’attenzione perché è questa politica che più indirizza (ed, eventualmente, distorce) i comportamenti dei soggetti agricoli. Eppure, nella recente ampia letteratura in tema di valutazione quantitativa l’enfasi e l’attenzione ricadono sugli impatti delle misure di sviluppo rurale (Pufahl e Weiss, 2009). La stessa Commissione Europea propone linee guida per la valutazione delle misure del secondo pilastro (Commissione Europea, 2006; EENRD, 2010) mentre per il primo si limita a delineare analisi aggregate di impatto ex-ante.
Il fatto è che la “cassetta degli attrezzi” che ricercatori e analisti hanno a disposizione (dai dati ai metodi) si adatta molto meglio a certe politiche rispetto ad altre. Il secondo pilastro della PAC è fatto di singole misure con obiettivi e modalità di azione di solito ben delineati, con una platea di beneficiari ben individuabili ex-ante e, soprattutto, ex-post. E’ una politica selettiva di cui qualcuno, volontariamente, viene beneficiato e da cui altri, volontariamente o involontariamente, vengono esclusi. Non così il primo pilastro della PAC, una politica che non ha un target chiaramente individuabile (Sotte, 2005), che eroga un finanziamento indifferenziato pressoché all’intera platea dei potenziali beneficiari, cioè la maggior parte degli agricoltori (in Italia oltre il 75% delle aziende censite). Chi ne beneficia, in realtà, non lo fa per scelta o adesione volontaria ad un programma ma per una sostanziale inerzia di un contributo ritenuto dovuto.
Eppure, una rigorosa valutazione quantitativa degli impatti del primo pilastro fondata su dati micro (cioè aziendali) è oggi una necessità. Lo stesso dibattito sul futuro del primo pilastro dopo il 2013, giunto al suo momento decisivo, in realtà si fonda su una conoscenza limitata e incompleta degli impatti microeconomici della riforma approvata nel 2003 e implementata a partire dal 2005-2006 (la cosiddetta Riforma Fischler) (Sorrentino et al., 2011). Una rigorosa valutazione degli impatti a livello aziendale di quella riforma consentirebbe oggi di poter rispondere con maggiore fondatezza a domande che rimangono cruciali anche per il primo pilastro del post-2013: come rispondono gli agricoltori al disaccoppiamento degli aiuti? Che implicazione ha l’eco-condizionalità obbligatoria su questi comportamenti e, in generale, il condizionamento del sostegno disaccoppiato?
La riforma del 2003 rappresenta una palestra ideale per esercitarsi, ex-post, su questo tipo di valutazione di impatto. Ma, nonostante la “cassetta degli attrezzi” oggi disponibile, finora è sembrato troppo difficile farlo. Il mondo della ricerca si è forse rassegnato troppo presto ad applicare certe metodologie di rigorosa valutazione solo al secondo pilastro e non al primo. Per tutto ciò, sembra utile chiedersi che cosa necessita per una rigorosa valutazione degli impatti microeconomici della riforma del primo pilastro e, quindi, che cosa attualmente manca per poterla realizzare.

La valutazione non-sperimentale: il problema delle osservazioni controfattuali nel primo pilastro della PAC

Senza voler entrare nel vasto dibattito di che cosa si debba e si possa intendere per valutazione di una politica (Rossi e Freeman, 1993; Martini e Sisti, 2009), qui l’attenzione si rivolge alla valutazione quantitativa ex-post degli effetti di una politica basata su dati microeconomici (aziendali). In particolare, alla valutazione degli effetti della riforma del primo pilastro della PAC sui comportamenti delle imprese agricole attraverso l’osservazione di dati aziendali prima e dopo la riforma. Questo approccio alla valutazione vanta, ormai, una ben consolidata letteratura nell’ambito del più ampio problema della stima degli effetti di trattamento (treatment effects) (Imbens e Wooldridge, 2009). Questa letteratura ha contributo a definire concetti, procedure e metodologie appropriate per identificare e misurare l’impatto di un trattamento (per esempio una misura politica) su una platea di soggetti trattati.
In quest’ambito, tutto ciò che serve (ed è molto, tuttavia) per valutare gli effetti di una politica sono tre requisiti fondamentali. In primo luogo, ci deve essere un trattamento identificabile e osservabile. In secondo luogo, ci deve essere un obiettivo del trattamento individuato ex-ante, cioè una variabile-risultato rispetto alla quale valutare l’effetto della politica. In terzo luogo, ci devono essere osservazioni controfattuali, cioè osservazioni che ci permettono di dire cosa sarebbe successo alle unità trattate se non avessero subito il trattamento. Nel caso del primo pilastro della PAC, tutti questi tre requisiti pongono problemi rilevanti, a loro volta legati a come questa politica è disegnata e implementata.
Apparentemente, proprio dopo la riforma del 2003, il trattamento associato al primo pilastro è ben identificabile e osservabile. La trasformazione di tanti pagamenti accoppiati (connessi alle singole OCM) in un pagamento unico disaccoppiato ha certamente facilitato la misurabilità del trattamento (Esposti, 2011a). Rimane il fatto, però, che a differenza di altre politiche (classico esempio sono i programmi per il re-inserimento lavorativo), nel caso del primo pilastro della PAC il trattamento non è di natura binaria, bensì di natura continua: poche sono le unità non trattate, ma molte di quelle trattate lo sono con intensità (pagamenti) diversa. Inoltre, sebbene il trattamento sia ben identificabile, non è possibile escludere che esso interagisca con altri trattamenti concomitanti. Insieme al primo pilastro della PAC, una parte significativa delle imprese beneficiarie è destinataria anche di altre politiche. Si pensi solo alle misure del secondo pilastro. Non è decisivo il fatto che le due politiche vengano implementate secondo procedure e requisiti sostanzialmente indipendenti, né che queste possano avere obiettivi parzialmente o del tutto differenti. Rimane il fatto che non è possibile escludere che l’effetto di una politica sia condizionato dalla presenza dell’altro trattamento giacché interviene, in ultima analisi, nell'orientare scelte e comportamenti del medesimo soggetto.
La seconda questione che si pone concerne la difficoltà nell’individuare una variabile-risultato. In effetti, cioè, il primo pilastro della PAC è una politica di cui non è chiaro l’obiettivo. Quindi, non è chiaro quale grandezza si debba considerare per valutarne gli effetti. Questo è evidente anche nel caso della riforma del 2003. Gli obiettivi di tale riforma erano diversi, alcuni peraltro riferiti alla dimensione politico-istituzionale o macroeconomica che esula dall’analisi qui condotta (Esposti, 2011b). Gli obiettivi perseguiti dalla riforma in termini di scelte aziendali possono essere ricondotti all’esigenza di riorientare, tramite il disaccoppiamento, le imprese agricole europee al mercato (Commissione europea, 2011). Ma questo non implica individuare univocamente una grandezza, un variabile che funga da obiettivo e, quindi, da risultato da valutare. Potremmo arguire che l’obiettivo del riorientamento al mercato possa essere misurato dalle scelte che esprimono un cambiamento di orientamento produttivo. Però, anche avendo a disposizione ricchi dati aziendali, costruire una variabile di questa natura è tutt’altro che banale per imprese che, come quelle agricole, sono per loro natura multi-prodotto.
Assai più difficoltoso, tuttavia, è il terzo tipo di problemi. Una misura rigorosa degli effetti di trattamento richiede l’individuazione, accanto alle osservazioni trattate, di osservazioni non trattate comparabili (controfattuali). Idealmente, l’effetto di trattamento è identificato dalla risposta alla classica domanda what-if: cosa sarebbe accaduto alla variabile-risultato di una impresa trattata se non fosse stata trattata? Questa risposta è ciò che in questa letteratura è chiamato "effetto di trattamento sui trattati". In linea di principio, questa domanda dovrebbe essere posta in forma sperimentale mediante la randomizzazione del trattamento in un campione rappresentativo di imprese.
Seguendo una appropriata procedura casuale, alcune imprese vengono assegnate al trattamento mentre altre rimangono non trattate. La differenza nella variabile-risultato osservata tra i due gruppi è quindi espressione dell’effetto di trattamento (Rubin, 1974).
Nella valutazione delle politiche, tuttavia, questo metodo sperimentale non è di norma praticabile, sebbene esistano interessanti esperienze in tal senso (Duflo et al., 2006), e la ricerca di osservazioni controfattuali va condotta secondo altre logiche. Proprio la natura del primo pilastro e della sua riforma, però, rende queste altre logiche di non facile applicazione.

Tre diverse possibilità, tre diversi risultati

Esistono metodologie non-sperimentali (dette anche quasi-sperimentali) che cercano di ricreare campioni di confronto o controfattuali in analogia con la situazione sperimentale di randomizzazione al fine di rispondere alla domanda what-if.
Per far ciò, in primo luogo, abbiamo bisogno di un campione costante di imprese sufficientemente ampio e regolarmente osservato nel corso del tempo in modo da includere sia il pre che il post-trattamento (politica). Di questo panel di imprese abbiamo la necessità di osservare tutte le grandezze utili per individuare e misurare, da un lato, una univoca variabile-risultato (Y) e, dall’altro, quell’insieme di altre variabili strutturali e produttive (X) che condizionano Y e la sua dinamica, al di là del trattamento. Infine, è necessario disporre dell’informazione relativa a presenza ed entità del trattamento (T). Se queste condizioni minime sono soddisfatte, e la banca dati RICA-FADN costituisce un valido punto di riferimento in tal senso (Cagliero et al., 2010), l’analisi dell’effetto della riforma del primo pilastro della PAC può essere perseguita secondo tre strategie empiriche, ognuna con i suoi pregi e i suoi difetti.

Abbinamento statistico (Matching)

In questo caso, l’idea è confrontare il valore della Y delle unità trattate (T=1) con quello delle unità non trattate (T=0). Dovendo valutare l’impatto della riforma del primo pilastro del 2003 in termini di riorientamento al mercato, Y è una variabile che esprime la variazione delle scelte produttive tra il pre e il post-riforma (Esposti, 2011a). Le unità trattate sono le imprese che hanno diritto al PUA, quindi che ricevevano il sostegno accoppiato prima del 2005, in seguito convertito in titoli del PUA. Le unità non trattate (il campione controfattuale o di controllo) non possono che essere quelle che non ricevevano alcun sostegno accoppiato nel periodo 2001-2003 e che, quindi, non hanno maturato alcun titolo del PUA per il post-2005. Per le ragioni suddette, è evidente che le imprese non trattate sono poco numerose e in qualche modo anomale, dal momento che la copertura del primo pilastro è molto ampia avendo riguardato, mediante le molteplici OCM, la gran parte delle produzioni agricole.
Il principio del matching risiede nel confronto della variabile-risultato tra coppie (o gruppi) di imprese che differiscono solo per il trattamento subito, mentre sono del tutto simili per quanto riguarda un set di variabili X che, a loro volta, condizionano il risultato e, allo stesso tempo, anche l’assegnazione al trattamento. In sostanza si tratta di individuare quella o quelle osservazioni non trattate che siano le più possibili simili alle unità trattate per quanto riguarda le variabili X. Poi, l’effetto di trattamento è calcolato come la differenza tra il valore medio della variabile-risultato nelle unità trattate meno quello delle unità non trattate a parità di tutte le altre variabili X. Dato che i due gruppi sono praticamente uguali tranne per il trattamento, la differenza di risultato tra i due casi è solo da attribuire al trattamento stesso.
Questa logica delle procedure di matching statistico si basa su un’assunzione di fondo che è quella della cosiddetta indipendenza condizionale (Conditional Independence Assumption, o CIA) o unconfoundness. In pratica, si assume che, a parità di X, la variabile-risultato che verrebbe osservata nell’unità trattata, se non fosse trattata, coincide con quella osservata nell’unità non trattata. Perciò, si esclude che esistano altre variabili al di fuori di X che condizionano allo stesso tempo l’assegnazione al trattamento e la variabile-risultato.
Esposti (2011a) riporta una applicazione del matching (con una particolare metodologia chiamata Propensity Score Matching, PSM) all’analisi dell’impatto della riforma del primo pilastro ove la Y è espressa come la variazione osservata nelle scelte produttive tra biennio 2003-2004 (pre-trattamento) e 2006-2007 (post-trattamento). Viene impiegato il campione costante RICA-FADN per il periodo 2003-2007. Realizzando il matching tra unità trattate e non trattate sulla scorta di 11 variabili condizionanti X per le quali gruppi del primo e del secondo tipo non risultano statisticamente differenti, ne emerge un impatto significativo della riforma sul riorientamento delle scelte produttive; impatto che aumenta, peraltro, se le imprese trattate sono anche beneficiarie di un contemporaneo pagamento relativo a misure del secondo pilastro.
Ciò non di meno, una tale applicazione del matching alla valutazione dell’impatto della riforma del primo pilastro va considerata con cautela giacché pone una questione estremamente delicata. Data la natura di questa politica e la sua sostanziale generalità, è legittimo ipotizzare che, come detto, le unità non trattate siano fortemente caratterizzate rispetto a quelle trattate. Se così è, possiamo pensare che il matching non sia praticabile; non sia possibile, cioè, trovare gruppi di unità trattate e non trattate per le quali le variabili X rilevanti risultino statisticamente non differenti. Rimane, cioè, la perplessità di fondo circa la validità della CIA, ovvero circa il fatto che il confronto venga in realtà condotto trascurando una o più variabili caratterizzanti che, quindi, condizionano l’assegnazione al trattamento e, allo stesso tempo, la variabile-risultato1.

Differenze nelle differenze (Differences in differences)

Nonostante la grande potenzialità oggi espressa dai metodi di matching e il diffuso uso che se ne fa per la valutazione delle misure del secondo pilastro della PAC, il matching sembra a molti una pratica “innaturale” nel caso del primo pilastro, dal momento che viene inteso (e, in effetti, così è in larga misura) come una politica generalizzata, non selettiva, che quindi non ammette un campione controfattuale realmente affidabile. In questo caso, è più naturale ritenere che l’unica circostanza controfattuale siano le stesse unità trattate prima del trattamento e cioè, nel caso dell’impatto della riforma del primo pilastro, le stesse imprese osservate con il vecchio regime pre-2005. In realtà, però, anche l’applicazione di un’idea così apparentemente semplice e intuitiva non è banale.
L’effetto di trattamento viene identificato e stimato mediante un doppio confronto (cioè una doppia differenza). Prima si calcola la differenza tra la variabile-risultato Y (che esprime la variazione delle scelte produttive) a regime costante (prima della riforma) e con cambiamento di regime (confronto tra pre e post-riforma); poi si confronta questa prima differenza tra le unità trattate e quelle non trattate.
In altre parole, l’effetto di trattamento è identificato come la diversa variazione della variabile-risultato Y nelle unità trattate rispetto a quelle non trattate, attribuendo tutta questa diversa variazione esclusivamente al trattamento stesso. Si noti che in questo caso l’unità controfattuale di una data unità trattata è costituita dall’unità stessa. Non è quindi necessario condizionare il confronto a una serie di variabili X. E’ pur vero che l’unità viene confrontata con se stessa in momenti diversi nel tempo e, rispetto ad una situazione puramente sperimentale, il tempo stesso (quindi una serie di variabili che in esso si esprimono; per esempio, le mutate condizioni di mercato) può condizionare la variabile-risultato. Proprio al fine di depurare il confronto dall’effetto del tempo, perciò, si sottrae alla prima differenza della Y (quella tra regime costante e cambiamento di regime) l’analoga differenza nelle unità non trattate giacché in questo caso la differenza è attribuibile soltanto al tempo dato che non c’è cambiamento di regime (cioè il trattamento). Quindi, la validità di questa metodologia (basata su un doppio confronto e, quindi, chiamata differences in differences, DID) si basa sull’assunzione cosiddetta parallel-trend, cioè si assume che la variabile-risultato nelle unità trattate e non trattate si muova allo stesso modo nel tempo (in parallelo) (Martini e Sisti, 2009).
Come in precedenza, la validità di questa ipotesi non può essere agevolmente sottoposta a verifica. Sta perciò alla sensibilità dell’analista dedurre, da una lettura attenta dei dati e dalla conoscenza specifica del contesto, se essa possa essere considerata accettabile. Nel caso della valutazione dell’impatto della riforma del primo pilastro della PAC, la solidità di questa assunzione viene messa a dura prova per ragioni del tutto pratiche. La prima ragione è che, in realtà, la variabile-risultato su cui impatta la riforma del primo pilastro della PAC è essa stessa una differenza. Si tratta, infatti, di una misura della variazione dell’orientamento produttivo nell’arco di tempo, e l’effetto atteso del trattamento è proprio quello di aver indotto una maggiore variazione a causa del riorientamento al mercato. Perciò, in questi casi, si parla anche di differences-in-differences-in-differences (DDD) (Gruber, 1994). Ciò implica che, per poter fare il confronto pre o post-trattamento, è necessario disporre di almeno tre osservazioni nel tempo, ovvero t-1 e t nel pre-trattamento e t+1 nel post-trattamento. Non solo, quindi, è necessario disporre di un panel sufficientemente profondo per poter avere queste osservazioni nel tempo, ma anche che l’assunzione di trend parallelo sia valida per tutto l’intervallo (t-1)-(t+1). In agricoltura, peraltro, la variazione della composizione della produzione di anno in anno è la norma e, per certi versi, fa parte dello stesso ordinamento produttivo. Y, perciò, tende ad essere naturalmente variabile nel tempo e tra le unità produttive indipendentemente dal trattamento. Perciò, basarsi su pochi anni di confronto per poi assegnare tutta la differenza al trattamento rischia di rendere la stima poco robusta, cioè molto suscettibile alla scelta degli anni su cui impostare il confronto.
In Italia, per esempio, il campione costante delle imprese RICA-FADN può coprire il periodo 2003-2009. Tuttavia, i dati degli anni 2008 e 2009, dovendo valere l’assunzione del trend parallelo, sono poco utili per la realizzazione del confronto perché sono due anni del tutto anomali per l’effetto combinato della grave crisi economico-finanziaria (che ha inevitabilmente interessato anche il mondo agricolo) (De Filippis e Romano, 2010) e della “bolla” dei prezzi delle commodities (Esposti e Listorti, 2010). Per questo motivo, una applicazione del metodo DID (o DDD) al panel RICA-FADN per la stima dell’effetto della riforma del primo pilastro del 2003 è opportuno che venga limitata al periodo 2003-2007. Gli anni 2003 e 2004 costituiscono anni indiscutibilmente pre-riforma in cui è possibile misurare la prima differenza (la variazione delle scelte produttive da anno a anno, cioè la variabile Y, a regime costante) mentre i confronti 2004-2005, 2004-2006 e 2004-2007 (ma anche 2003-2005, 2003-2006 e 2003-2007) sono tutti impiegabili per verificare come variano le scelte produttive da anno a anno (Y) in presenza del cambiamento del regime, cioè tra un anno con il vecchio regime ed un anno con il nuovo.
Si noti che anche nel caso della metodologia DID è necessario disporre di un campione non trattato per poter calcolare la seconda (o la terza, visto che si tratta di DDD) parte della differenza. E’ pur vero che, in realtà, questo termine non costituisce il vero termine di confronto/controllo con cui identificare l’effetto di trattamento, bensì solo il termine necessario per depurare tale effetto da quella componente di trend assunta uguale tra i due gruppi. Tuttavia, la stessa presunta forte anomalia di questo gruppo di aziende non trattate, che rende discutibile il ricorso al matching, non può che mettere in discussione anche l’assunzione di trend parallelo. Se questo gruppo è, cioè, così particolare e anomalo rispetto alle imprese trattate, è lecito immaginare che lo sia anche il proprio trend. In sostanza, quindi, non sembra che il ricorso al metodo DID sia risolutivo rispetto al problema delle unità non trattate nel caso della valutazione della riforma del primo pilastro della PAC. Sarebbe piuttosto preferibile cercare di identificare e stimare tale effetto di trattamento senza ricorrere alle unità non trattate.

Trattamento continuo (GPSM)

In effetti, è possibile identificare l’effetto del trattamento senza ricorrere alle unità non trattate e basandosi solo su quelle trattate traendo vantaggio dal fatto che il trattamento è continuo. Se, cioè, si assume che l’intensità del trattamento ne condizioni l’effetto (maggiore è il primo più grande è il secondo), è possibile identificare e stimare quest’ultimo proprio sulla scorta di come varia la variabile-risultato secondo l’intensità del trattamento, a parità di altre condizioni. Si tratta, in effetti, di una tecnica di matching perché l’obiettivo è costruire un indicatore (il generalized propensity score, GPS) che esprima la probabilità che un’impresa venga assegnata ad un determinato livello di trattamento T date le sue caratteristiche X. Perciò, si parla anche di Generalized Propensity Score Matching (GPSM). Affinché tale indicatore sia affidabile deve essere sempre possibile trovare unità con valori statisticamente non diversi di X che, in un certo intervallo di GPS, mostrino valori di trattamento sia superiori che inferiori al livello T. Questa condizione giustifica la logica di fondo del metodo, secondo la quale la differenza osservata nella variabile-risultato tra unità con analogo GPS ma diverso livello di trattamento può essere attribuita solo al diverso livello del trattamento.
Seguendo questa logica, è possibile stimare la relazione tra la variabile-risultato Y, il GPS, che cattura tutta la dipendenza della variabile-risultato da X, e l’entità di trattamento T. Tale relazione è detta anche funzione dose-risposta (dose-response function) dal momento che permette di calcolare il valore atteso della variazione della variabile-risultato in risposta ad una variazione del trattamento.
Si tratta di un metodo proposto da alcuni anni (Hirano e Imbens, 2004) e di recente applicato alla valutazione di politiche con trattamento continuo (Bia e Mattei, 2007, 2008; Kluve et al., 2007). Mai applicato, tuttavia, alla valutazione dell’impatto del primo pilastro della PAC, sebbene possa sembrare un contesto del tutto appropriato visto che si tratta di un trattamento continuo e, soprattutto, che il metodo non richiede la presenza di unità non trattate.
Questa mancata applicazione, finora, è spiegabile non solo con la complessità del metodo ma anche con il fatto che esso si basa su alcune assunzioni di fatto arbitrarie, che è difficile sottoporre ad una verifica statistica se non attraverso appropriati controlli di robustezza dei risultati. Due sono i passaggi critici.
In primo luogo, nel caso dei pagamenti del primo pilastro della PAC è arduo assumere aprioristicamente una relazione univoca tra il livello di trattamento T e un qualche insieme di variabili X. In secondo luogo, ed è questo il punto più problematico, l’approccio richiede una arbitraria specificazione della funzione dose-risposta. La soluzione più ovvia è assumere che l’intensità del trattamento, a parità di GPS, condizioni la variabile-risultato Y secondo una forma lineare. In realtà, nel caso specifico della riforma del primo pilastro della PAC, sembra piuttosto ragionevole che il disaccoppiamento dell’aiuto possa indurre un cambiamento delle scelte produttive indipendentemente dal livello del trattamento, cioè dall’entità del sostegno (PUA). Infatti, l’entità del trattamento varia in larga parte con il variare delle dimensione fisica ed economica, quindi può essere di scarsa o nulla rilevanza riguardo a quanto vengono modificate le scelte di offerta. E’ vero che di questo condizionamento se ne può tener conto scegliendo le appropriate variabili in X, ma rimane aperta la questione più generale, cioè se l’impatto di un cambiamento di regime dipenda o meno, e in che modo e misura, dall’entità del sostegno.

Alcune considerazioni conclusive

Non mancano nella letteratura economico-agraria significativi e apprezzabili sforzi di valutazione dell’impatto microeconomico della riforma del primo pilastro della PAC del 2003 (Sorrentino et al., 2011). Ciò nonostante, rimane un certo scetticismo rispetto al ricorso alle metodologie di identificazione e stima degli effetti di trattamento nel caso del primo pilastro. Come si è cercato di spiegare in questo breve articolo, tale scetticismo appare del tutto giustificato in virtù della specificità di questa politica e delle caratteristiche della strumentazione analitica in questione. Eppure, allorché vengano adottati secondo una adeguata strategia di indagine empirica, questi approcci sono più robusti di quanto possa sembrare a prima vista. Proprio seguendo una logica sperimentale, l’errore da evitare è affidarsi a un’unica soluzione metodologica pensando che questa sia sempre e comunque preferibile alle altre e confidando sul fatto che i risultati da essa generati siano affidabili in ogni circostanza. Proprio un sano scetticismo rispetto a questi metodi, al contrario, suggerisce di condurre la valutazione dell’impatto seguendo un programma più articolato (e più ambizioso).
In primo luogo, è necessario condurre un’analisi di sensitività internamente ad ognuno dei metodi sopra descritti. Qualunque sia quello scelto e adottato, la realizzazione pratica di questi metodi passa attraverso una serie di arbitrarie scelte di carattere tecnico solo apparentemente marginali. Poiché queste scelte non sono mai neutre rispetto ai risultati, è opportuno che il ricercatore produca risultati facendo variare queste scelte, mostrandone cioè la robustezza rispetto a specificazioni alternative. In secondo luogo, gli stessi risultati (stima degli effetti di trattamento) andrebbero ottenuti adottando le diverse metodologie disponibili e confrontandole tra esse. Come discusso, nel caso del primo pilastro del PAC tutte le tre metodologie proposte sono implementabili ma tutte mostrano vantaggi e limiti; nessuna sembra essere, a priori, preferibile alle altre. Il ricorso congiunto a diverse soluzioni metodologiche e l’analisi di sensitività internamente ad ognuna di esse costituiscono, quindi, una prudente strategia empirica al fine di evidenziare i risultati robusti e quelli che, invece, appaiono fortemente condizionati dal metodo.
Se si opera, quindi, facendo un ricorso pragmatico a tutte le opzioni offerte e senza affidarsi fideisticamente ad una specifica soluzione metodologica, la letteratura sugli effetti di trattamento ha ancora molto da offrire all’analisi degli impatti della riforma del primo pilastro della PAC. E questa, in prospettiva del dopo 2013, sembra tutt’alto che un’opportunità di poco conto.

Riferimenti bibliografici

• Bia, M., Mattei, A. (2007). Application of the Generalized Propensity Score. Evaluation of public contributions to Piedmont enterprises. POLIS Working Paper 80, Department of Public Policy and Public Choice, Università del Piemonte Orientale, Alessandria

• Bia, M., Mattei, A. (2008). A Stata package for the estimation of the dose-response function through adjustment for the generalized propensity score. Stata Journal, 8(3), 354-373

• Cagliero, R., Cisilino, F., Scardera, A. (2010). L’utilizzo della RICA per la valutazione di programmi di sviluppo rurale. Rete Rurale Nazionale, Roma

• Commissione Europea (2006). Rural Development 2007-2013. Handbook on common monitoring and evaluation framework. Guidance document. Commissione Europea, Bruxelles

• Commissione Europea (2011). The CAP in perspective: from market intervention to policy innovation. Agricultural Policy Perspectives Briefs, Brief n.1, Commissione Europea, Direzione Generale Agricoltura e Sviluppo Rurale, Bruxelles

• De Filippis, F., Romano, D. (a cura di) (2010). Crisi economica e agricoltura. Gruppo 2013-Coldiretti, Roma

• Duflo, E., Glennerster, R., Kremer, M. (2006). Using Randomization in Development Economics Research: A Toolkit. NBER Technical Working Papers 0333, Cambridge: National Bureau of Economic Research

• EENRD (2010). Approaches for assessing the impacts of the Rural Development Programmes in the context of multiple intervening factors. European Evaluation Network for Rural Development (EENRD), European Commission, Brussels

• Esposti, R. (2011a). Evaluating the CAP Reform as a multiple treatment effect: evidence from Italian farms. Atti 122nd EAAE Seminar, Evidence-Based Agricultural and Rural Policy Making: Methodological and Empirical Challenges of Policy Evaluation, 17-18 Febbraio, Ancona

• Esposti, R. (2011b). Reforming the CAP: an agenda for regional growth? In: Sorrentino, S., Henke, R., Severini, S. (eds.), The Common Agricultural Policy after the Fischler Reform. National Implementations, Impact Assessment and the Agenda for Future Reforms. Farnham: Ashgate (forthcoming)

• Esposti, R., Listorti, G. (2010). Agricultural Price Transmission Across Space and Commodities. The Case of the 2007-2008 Price Bubble. Paper presented at the XLVII SIDEA Conference “L’agricoltura oltre le crisi”, Campobasso (Italy), September 22-25

• Gruber, J. (1994). The Incidence of Mandated Maternity Benefits. The American Economic Review, 84(3), 622-641

• Hirano, K., Imbens, G.W. (2004). The propensity score with continuous treatment. In: Gelman, A., Meng, X.L. (eds.) Applied Bayesian Modeling and Causal Inference from Incomplete-Data Perspectives. West Sussex: Wiley InterScience, 73-84

• Imbens, G.W., Wooldridge, J.M. (2009). Recent Developments in the Econometrics of Program Evaluation. Journal of Economic Literature, 47 (1), 5-86

• Kluve, J., Schneider, H., Uhlendorff, A., Zhao, Z. (2007). Evaluating continuous training programs using the generalized propensity score. IZA Discussion Paper 3255, Bonn

• Martini, A., Sisti, M. (2009). Valutare il successo delle politiche pubbliche. Bologna: Il Mulino

• Parisi, G. (2006), La chiave, la luce e l'ubriaco. Come si muove una ricerca scientifica. Roma: Di Renzo Editore

• Pufahl, A., Weiss, C. (2009). Evaluating the effects of farm programmes: results from propensity score matching. European Review of Agricultural Economics, 36 (1), 79-101

• Rossi, P.H., Freeman, H.E. (1993). Evaluation. A Systematic Approach. London: SAGE Publications

• Rubin, D. (1974). Estimating Causal Effects of Treatments in Randomized and Non-randomized Studies. Journal of Educational Psychology, 66, 688-701

• Sorrentino, S., Henke, R., Severini, S. (eds.) (2011). The Common Agricultural Policy after the Fischler Reform. National Implementations, Impact Assessment and the Agenda for Future Reforms. Farnham: Ashgate (forthcoming)

• Sotte, F. (2005). La natura economica del PUA. AgriRegioniEuropa (ARE), 1(3), 15-18

• 1. Tale perplessità resta anche nel caso in cui il confronto venga condotto tra unità di un paese in cui la riforma è già stata implementata è unità di un paese in cui non è stata ancora implementata (per esempio tra imprese agricole italiane e francesi nel 2005). E’ comunque arduo assumere che, oltre all’insieme di variabili condizionanti X, non vi siano fattori inosservabili legati al paese di appartenenza che condizionano la variabile-risultato.