Abstract
Questo lavoro si propone di analizzare le principali criticità identificabili nella redazione delle valutazioni ex-post dei Psr in Italia e nell’impianto di valutazione proposto dalla Commissione Europea, alla luce dell’esperienza della programmazione 2007-2013 e di identificazione le possibili implicazioni per gli attuali processi di valutazione e per la Pac futura. Le principali problematiche riscontrate riguardano l’uso dei target per l’interpretazione dell’efficacia, l’applicazione del concetto di controfattuale, le tempistiche della valutazione e la disponibilità di dati. Il lavoro conclude con una riflessione sul disegno della valutazione in termini di costo-efficacia e conclude con alcune implicazioni per la prossima Pac, suggerendo di focalizzare maggiormente l’attenzione sugli aspetti funzionali dell’implementazione, su un numero minore di indicatori di impatto, sull’uso di micro analisi relative alle sole misure principali.
Introduzione
La Commissione Europea, per il periodo di programmazione 2007-2013 della Politica Agricola Comune (Pac) ha previsto un articolato sistema di monitoraggio e valutazione del Piani di Sviluppo Rurale (Psr). Il sistema ha incluso monitoraggi annuali e valutazioni ex-ante, intermedia ed ex-post.
I risultati del periodo 2007-2013, per quanto arrivino in una fase in cui è già in uno stato avanzato, se non verso la fine, il periodo di programmazione successiva, sono oggi importanti per vari motivi; tra questi, in generale, per comprendere l’efficacia dei Psr, che rappresenta sempre un tema oggetto di discussione. In aggiunta, e forse più importante, è il momento di considerare le possibili implicazioni per l’attuale discussione sulla Pac-post 2020. In particolare la comunicazione sulla Pac post-2020 ipotizza un rafforzamento della sussidiarietà, con maggiore flessibilità per gli stati membri, accompagnata da una più attenta valutazione dei risultati raggiunti. Si tratta di un approccio interessante, che aumenta gli spazi di manovra degli stati e delle regioni in termini di disegno degli interventi, ma che implica sia una buona capacità di programmazione locale, sia una efficace capacità di misurazione e valutazione dei risultati e degli impatti.
Questo lavoro ha l’obiettivo di analizzare le principali criticità identificabili nella redazione delle valutazioni ex-post dei Psr in Italia e nell’impianto di valutazione proposto dalla Commissione, alla luce dell’esperienza della programmazione 2007-2013, e l’identificazione di implicazioni per gli attuali processi di valutazione e per la Pac futura. L’articolo focalizzerà l’attenzione soprattutto sulla misurabilità dei risultati e sull’espressione di un giudizio “valutativo”. Alcuni elementi sono chiaramente collegati agli aspetti gestionali e alle condizioni di applicazione ed implicano quindi una discussione del processo. Pur con qualche eccezione, questo lavoro procederà per via aneddotica, senza fornire una sintesi dei risultati che è oggetto di uno studio della Commissione Europea in corso di preparazione.
Overview delle valutazioni
La valutazione ex-post, conclusasi nel 2017, ha prodotto per l’Italia 21 documenti regionali (uno per regione e provincia autonoma) e un documento nazionale relativo alle attività della Rete Rurale Nazionale. La documentazione è corposa e le dimensioni di ciascun documento sono dell’ordine delle centinaia di pagine (con esempi, come quello dell’Emilia-Romagna, con 779 pagine complessive). I documenti di valutazione seguono per lo più la struttura proposta dalla Commissione (seppure con qualche deviazione) e sono articolati secondo la logica di intervento dei Psr.
Figura 1 – Il processo di valutazione nella logica di intervento del Psr
Fonte: Eenrd, 2014
In particolare, dopo avere esaminato il contesto regionale di implementazione, i documenti si soffermano sulla metodologia di valutazione, sulla quantificazione dell’avanzamento della spesa, sui risultati e sugli impatti. Infine propongono risposte ad un articolato questionario di valutazione che comprende domande circa il grado di raggiungimento di obiettivi che vanno dai risultati economici, agli effetti occupazionali, alla qualità della vita e all’impatto sull’ambiente.
Il problema dei target e dell’efficacia
Un primo tema riguarda la fissazione dei target e la loro interpretazione ai fini della valutazione. La fissazione dei target per misura ha un chiaro ruolo di identificazione di ciò che si vuole ottenere. L’uso dei target in un contesto di valutazione ha anche il senso di valutare l’implementazione sulla base del raggiungimento degli obiettivi costruendo un indicatore di efficacia che misura il grado di raggiungimento espresso in percentuale. Sulla base dei documenti di valutazione, i risultati raggiunti si discostano spesso dal 100%, sia in eccesso, sia in difetto e non sono rari i casi di scostamenti importanti fino agli estremi di valore 0 (in pratica assenza di implementazione) a +infinto (per misure con target bassi o nulli, che sono poi state implementate in misura significativa). L’interpretazione di questi dati è tuttavia meno scontata. L’implementazione dei Psr 2007-2013 ha rivelato la necessità di modificare con continuità i target delle singole misure, in alcuni casi con oltre dieci revisioni dei target. Come devono essere interpretate queste modifiche? Si deve fare riferimento ai target iniziali o a quelli finali per valutare la misura? Chiaramente se si cambia il target è possibile agevolmente mostrare efficacia 100%, ma si perde il contenuto informativo circa l’esistenza di criticità rispetto all’obiettivo iniziale. Inoltre, l’eventuale mancato raggiungimento del target può essere compensato dal fatto di avere dato spazio ad altre misure più funzionali. Resta inoltre il dubbio circa l’interpretazione di indici di efficacia sopra al 100%. Se il target viene superato, deve essere considerato un risultato positivo o negativo?
Controfattuale e impatto
La logica dell’approccio di valutazione dell’impatto proposta dai Psr è basata sul confronto tra le performance osservate in presenza del Psr e le performance che si sarebbero ottenute nelle condizioni controfattuali, rappresentate fondamentalmente da come sarebbero andate le cose senza Psr (Eenrd 2014).
Figura 2 – Misura dell’effetto del programma attraverso il confronto con il controfattuale
Fonte: Eenrd, 2014
Questo approccio appare estremamente razionale e “scientifically sound” ed è stato applicato sistematicamente come riferimento nelle metodologie di valutazione. Andando tuttavia ad analizzarne l’implementazione e i risultati, le valutazioni del Psr 2007-2013 hanno rivelato numerose difficoltà a metterlo in pratica. Tali difficoltà, peraltro, sono ben note in ambito scientifico e restano anche in presenza di buone basi dati, in genere non disponibili per i valutatori.
L’aspetto più critico riguarda ovviamente la stima delle condizioni controfattuali delle aziende o di un’area. Alcuni esempi di soluzioni opinabili per la stima del dato controfattuale sono la prosecuzione nel tempo dei trend degli anni precedenti (in un periodo turbolento di crisi come è stato quello dell’implementazione del Psr 2007-13). Un altro caso è il confronto con la media regionale delle caratteristiche aziendali per misure che coinvolgono una percentuale irrisoria della popolazione. L’uso di questi approcci chiaramente confonde le differenze strutturali e di performance tra aziende o tra regioni con l’impatto del programma. Inoltre, né la situazione “before”, né la situazione “after” sono semplicemente misurabili, soprattutto quando si tratta di indicatori economici aziendali o, molto di più, indicatori ambientali o di biodiversità.
Tempo e spazio: effetti indiretti e aggregati
Molti interventi hanno durata nel tempo con tempi di impatto di anni o decenni; questo vale per le misure di investimento, ma anche per quelle ambientali che incidono su elementi quali la biodiversità che hanno tempi di adattamento prolungati o comunque effetti cumulativi o progressivi. Considerando inoltre che molti interventi sono stati finanziati negli anni finali dei programmi e che il tempo di osservazione degli effetti è in pratica poco più che contemporaneo agli interventi stessi, è quasi impossibile immaginare di cogliere i veri effetti delle misure. In aggiunta, la misura degli effetti indiretti ed aggregati richiederebbe stime originali del valore dei parametri di un sistema, perché la semplice somma degli effetti sulle aziende interessate non tiene conto di effetti positivi sulle aziende non partecipanti e sull’economia in genere, né di fenomeni che possono compensare (riducendoli in tutto o in parte) gli effetti postivi, quali la riallocazione di risorse (ad esempio il lavoro) da altre attività produttive, o effetti negativi sul prezzo che compensano le maggiori produzioni. In pratica, tuttavia, i dati esistenti riguardano aggregati economici e territoriali talmente più grandi del peso economico del Psr (ad esempio l’intera economia regionale) che pensare di disaggregare l’effetto del Psr appare in larga parte eccessivamente ambizioso. Inoltre, spesso non sono disponibili indicatori degli effettivi impatti; ad esempio la gran parte delle regioni usa indicatori derivati dell’uso del suolo (o l’uso del suolo stesso) come proxy degli impatti sull’ambiente e, ancora di più, sulla biodiversità. Questi possono essere accompagnati dalla localizzazione degli interventi (ad esempio in aree più o meno sensibili), o dalla composizione delle superfici sotto impegno per tipologia di uso del suolo al fine di quantificarne l’effetto. Anche se si tratta di proxy legittime, di fatto il contenuto informativo aggiuntivo rispetto agli indicatori di risultato (o implementazione) resta discutibile.
Come risultato, le risposte alle domande di valutazione appaiono spesso come un complicato esercizio che utilizza argomentazioni multiple basate sull’integrazione di: a) indicatori di realizzazione (a volte su parametri parziali e sulla spesa); b) effettivi indicatori di impatto; c) effetti attesi e potenziali sulla base del disegno delle misure; d) riflessioni sulla coerenza con i trend complessivi; f) effetti stimati con l’uso di modelli. In generale i limiti della valutazione e le cautele legate alla scarsità di dati sono messi in evidenza.
Due elementi devono essere evidenziati. In primo luogo, molti impatti, ad esempio sulle emissioni, si rivelano di rilevanza estremamente bassa rispetto al fenomeno nel suo insieme (dell’ordine spesso di meno di 1-2 punti percentuali). Questo non inficia l’effetto positivo, ma appare talmente basso rispetto all’accuratezza degli indicatori di misura da rendere quanto meno necessaria una notevole prudenza nell’interpretazione degli impatti. In secondo luogo, gli effetti ai quali si riferiscono le domande di valutazione restano, in alcuni casi, piuttosto vaghi e oggetto di definizioni dibattute (si pensi a competitività e qualità della vita) anche in ambito scientifico; non sorprende che le risposte ai quesiti di valutazione siano spesso basate su argomentazioni un po’ avventurose o sulla ripetizione di indicatori già usati per altri quesiti, come quelli di redditività e o quelli relativi all’occupazione.
Il tema dei dati
Alla base di molte delle difficoltà riscontrate resta la scarsità di dati. La disponibilità di dati è costantemente identificata come un problema delle valutazioni delle politiche in campo agricolo. Le valutazioni dei Psr mettono in evidenza in particolare alcuni aspetti di questa scarsa disponibilità, tra cui:
- la necessità di collegare le basi dati relative al settore agricolo con quelle relative ai parametri ambientali su scala territoriale;
- la necessità di avere a disposizione dati individuali, laddove disponibili, per potere ricostruire analiticamente controfattuali significativi;
- l’importanza della georeferenziazione funzionale alle emergenze ambientali (es. bacini idrografici);
- l’importanza di serie storiche coerenti nel tempo in termini di composizione;
- l’importanza di connettere dati strutturali con dati gestionali (quali rese, pagamenti ricevuti, pratiche derivanti dai quaderni di campagna etc.).
Nonostante la quantità di dati disponibili stia aumentato in modo esponenziale, l’accesso e la capacità di collegare le diverse basi dati risulta ancora limitata. Inoltre, il grado di riservatezza nell’utilizzo dei dati limita fortemente la potenzialità di uso di occasioni di ricerca e analisi derivanti da progetti, come quelli UE, che potrebbero arricchire le valutazioni di analisi qualificate finanziate da altre fonti.
Costi e benefici della valutazione
In un contesto di attenzione alla spesa pubblica espressa dalla Commissione Europea e di limitazione alle risorse disponibili presso le amministrazioni pubbliche, anche le decisioni circa i processi di valutazione sono da calare in una logica di costi e benefici della valutazione stessa. Mentre i costi sono evidenti, gli interrogativi sui benefici sembrano legittimi. Questi sono legati ai contenuti informativi dei rapporti di valutazione e all’uso delle informazioni raccolte. In particolare è evidente lo sforzo valutativo per produrre indicatori complessi, ma presumibilmente di scarso valore ai fini gestionali. Sarebbe quindi auspicabile un chiarimento degli obiettivi della valutazione e soprattutto una differenziazione tra una stima ragionevole degli effetti complessivi (anche basata su informazioni semplificate) e una analisi di dettaglio finalizzata ad un riesame dei risultati e ad un contributo al miglioramento continuo delle politiche di sviluppo rurale su scala locale.
Considerazioni conclusive
La domanda che emerge al termine di questa breve trattazione è se, e in che misura, il contenuto informativo delle valutazioni valga lo sforzo profuso nella loro realizzazione, pur in presenza di serie e razionali linee guide e di un evidente impegno delle regioni e perizia dei valutatori. La conclusione “ovvia” riguarda la difficoltà nel misurare gli effetti del Psr. Tale difficoltà, per quanto scontata, deve essere articolata in un contesto di ricerca di efficacia ed efficienza degli interventi, e quindi collegata ad una logica di costi/benefici della valutazione. In tal senso, una riflessione sull’uso dei risultati deve essere realizzata in modo più articolato.
Tra le prescrizioni che si potrebbero derivare da questa esperienza si possono mettere in evidenza le seguenti. Prima di tutto, sarebbe necessario un livello di dettaglio della valutazione coerente con il budget di ogni misura, richiedendo modalità più dettagliate per misure a budget maggiore. Ad esempio si potrebbe pensare di concentrare la valutazione ex-post solo su misure al di sopra di una certa soglia di budget. Sulle stesse misure a più alto budget, questa scelta potrebbe essere controbilanciata da approfondimenti obbligatori basati su microdati e indagini ad hoc, per le quali preoccuparsi di ricostruire in dettaglio il processo che porta all’impatto, oltre a fornire una misura dell’impatto stesso.
Questo consentirebbe la produzione di evidenza nuova (invece del riuso di dati già disponibili), permetterebbe un migliore bilanciamento dello sforzo dei valutatori e, presumibilmente, una migliore integrazione di competenze di carattere scientifico sulla valutazione delle policy, che spesso trovano poca applicazione con le modalità di procedere attuali. La semplificazione dei report, che ne potrebbe derivare, li renderebbe anche più leggibili ed utilizzabili.
Se si vuole mantenere il concetto di controfattuale, è necessario identificare in modo più chiaro anche quali pratiche operative siano da considerare “sound” e quali invece siano potenzialmente distorsive del risultato, fino a fornire misure potenzialmente del tutto falsate.
Un’altra indicazione che deriva da questa esperienza è che sarebbe preferibile avere un reporting tempestivo ed accurato (soprattutto sulle motivazioni dietro alle scelte e criticità) di indicatori di processo (implementazione, output) che permettano di intervenire in corso d’opera, piuttosto che dedicare uno sforzo eccessivo a valutazioni di impatto realizzate fuori tempo massimo per intervenire sul programma.
Le difficoltà riscontrate nella valutazione dipendono in larga parte dalla complessità dei Psr non solo in termini di numero di misure (la complessità è visibilmente aumentata con la programmazione in corso e, potenzialmente, si profila un suo ulteriore aumento nel futuro) ma soprattutto in termini di articolazione delle prescrizioni. Questo fa pensare al pericolo di esercizi di valutazione ancora più pesanti e forse ancora meno capaci di fornire uno spaccato di ciò che è effettivamente accaduto. In questa ottica è forse necessario per il futuro distinguere più chiaramente due piani: a) quello della necessità di rendicontare alla UE l’uso dei fondi europei e di dimostrare, sinteticamente, l’effetto stimabile dei Psr; b) quello di avere uno strumento gestionale locale in grado di migliorare nel tempo il disegno degli interventi. Resta il fatto che miglioramenti concreti saranno possibili solo in presenza di un salto di qualità sulla disponibilità e nella interconnessione dei dati, di cui oggi molto si parla, ma che rimane qualcosa ancora più nelle intenzioni che nei fatti.
Riferimenti bibliografici
-
Eenrd (2014), Capturing the success of your Rdp: guidelines for the ex post evaluation of 2007-2013 Rdps, Bruxelles