Perchè interessarsi alla nozione di "evidence-based policy"?

Version française

Traduzione di Emilio Chiodo

Introduzione1

Agli inizi degli anni Novanta del secolo scorso si sono sviluppati in medicina degli approcci denominati di evidence-based medicine (EBM). La parola evidence rimanda allo stesso tempo all’idea di validazione empirica e di prova scientifica. Questi metodi derivavano dalla constatazione che era sempre più difficile per i medici avere accesso alle conoscenze disponibili e farne un uso giudizioso. Metodi che, estesi ad altre sfere di decisione, hanno dato origine alla nozione di evidence-based policy (EBP), sempre più evocata nelle politiche di lotta alla povertà ma anche nel campo della giustizia, dell’educazione o in generale dello sviluppo. Hanno anche dato luogo a nozioni derivate come quella di evidence-based conservation (EBC), spesso impiegata nelle politiche di sviluppo durevole e di protezione della biodiversità.
In un numero crescente di campi di decisione il regime di accesso alle conoscenze si è trasformato profondamente, in particolare per quanto riguarda le conoscenze derivate dal mondo della ricerca (abbondanza sempre maggiore di conoscenze prodotte, difficoltà di accesso legata alla privatizzazione delle basi documentali scientifiche, ecc.). Le difficoltà incontrate dai decisori per sapere quali siano le conoscenze disponibili e gestirne l’accesso e l’uso diventano una posta in gioco importante, sia che si tratti di appoggiare alcune decisioni (evidence-based decision), di chiarirle (evidence-informed decision) o semplicemente di scegliere di non tenerne conto ma con cognizione di causa (evidence-aware decision). Si vedrà che la preoccupazione dell’efficacia delle azioni messe in atto dagli approcci evidence-based non può essere assimilata né a un semplice tentativo di depoliticizzare il dibattito, né a un pragmatismo semplificatore che considera come importante nell’azione solo ciò che è vantaggioso e comodo. Si inscrive piuttosto nelle preoccupazioni formulate da Dewey (1927) che riteneva prioritaria la necessità di condividere realmente le conoscenze, rendendole disponibili e socialmente accessibili, e di considerare questo processo come una delle dimensioni fondamentali dell’elaborazione delle politiche. Proprio perché questi elementi stanno assumendo sempre maggiore importanza, sembra utile discutere degli insegnamenti che possono essere tratti dai dibattiti sulla EBP, in quanto, mentre divengono oggetto di controversie tra filosofi, scienziati e attori dello sviluppo, tali approcci contribuiscono ad aprire delle prospettive nuove sull’analisi di come le conoscenze scientifiche entrano nelle politiche, comprese quelle sullo sviluppo.

Nascita degli approcci di tipo Evidence-based

Gli approcci in termini di evidence-based decision (EBP), declinati più tardi nella forma di evidence-based policy (EBP), sono nati nel settore medico. Nel 1992 un testo fondatore pubblicato da una trentina di scienziati annunciava la nascita di un nuovo paradigma, la evidence-based medicine (EBM working group, 1992). Nei fatti, si trattava piuttosto di sostenere una pratica medica in cui i clinici facessero “un uso coscienzioso, esplicito e giudizioso delle conoscenze scientifiche disponibili per decidere le cure da dare ai loro pazienti” (Sackett et al., 1996).
Questa formulazione potrebbe sembrare banale. Tuttavia alcune indagini realizzate in quel periodo presso medici generalisti hanno mostrato come molti di loro non conoscessero gli avanzamenti scientifici nel loro campo e fondassero la loro pratica su una routine basata spesso su conoscenze obsolete, per niente o poco aggiornate dopo la loro formazione universitaria. I pazienti non avevano dunque la garanzia di poter avere a disposizione il trattamento più adeguato né di beneficiare di un’informazione completa sulle soluzioni terapeutiche disponibili e sulla loro efficacia. Ma i medici interrogati affermavano come fosse per loro impossibile seguire una letteratura scientifica sempre più abbondante, sintetizzarla, attualizzarne le critiche e valutarne l’efficacia per la pratica clinica.
Prendendo atto di questa trasformazione profonda del regime di accesso alle conoscenze, i sostenitori del metodo EBM hanno preconizzato la realizzazione di diverse tipologie di azioni, quali:

• far evolvere la formazione dei medici familiarizzando gli studenti in Medicina con la ricerca e la produzione scientifica e migliorando la formazione continua;
• produrre analisi sintetiche sullo stato delle conoscenze su questioni precise, destinate ai medici ed adatte alle loro condizioni di lavoro e alla pratica clinica;
• rendere espliciti i criteri di qualità delle “prove” impiegate dai ricercatori;
• predisporre un’organizzazione collettiva che facilitasse l’accesso alle conoscenze sintetiche prodotte, perché potessero essere utilizzate nella pratica quotidiana.

L’EBM ha suscitato un forte dibattito. Al di là di alcuni aspetti polemici, però, si è posta soprattutto l’attenzione sul problema di fondo dell’importanza che è opportuno accordare alle conoscenze scientifiche nella pratica e sul modo con cui se ne possa valutare la qualità. Dalla fine degli anni Novanta il movimento EBM si è sviluppato nel mondo, portando alla costruzione di un insieme di metodi e di organizzazioni collettive ad hoc.

Lo sviluppo degli approcci in termini di Evidence-based decision

Questo sviluppo è stato accompagnato dalla realizzazione di una vera e propria “cassetta degli attrezzi” composta da diversi elementi, quali:

• dei metodi destinati a creare degli stati dell’arte sintetici per l’azione, elaborati per rispondere a questioni pratiche specifiche; tali conoscenze sintetiche poggiano a loro volta su stati dell’arte sistematici realizzati secondo criteri espliciti e, dove possibile, su meta-analisi quantitative;
• una riflessione approfondita sulla valutazione della qualità delle conoscenze disponibili, sul loro carattere più o meno generale, sulle prove che le corroborano e i principi di gerarchizzazione di queste prove;
• dei metodi per orientarsi nella letteratura scientifica.

Una parte della cassetta degli attrezzi è poi destinata ai ricercatori, perché producano conoscenze scientifiche più facilmente utilizzabili nella pratica. Per esempio, delle guide metodologiche che precisino ex-ante le condizioni che una sperimentazione deve rispettare perché se ne possano valutare in maniera rigorosa i suoi effetti ex-post.
Questi diversi aspetti metodologici potrebbero sembrare familiari ai ricercatori, ma tale familiarità è ingannevole. Così uno “stato dell’arte sistematico realizzato secondo criteri espliciti” risponde a norme metodologiche precise che ne fanno un esercizio molto particolare. Ogni tappa della sua realizzazione è guidata da una questione iniziale esplicitamente formulata da chi opera nella pratica che, dal punto di vista della ricerca, può sembrare troppo restrittiva. Le conoscenze sono quindi esaminate secondo criteri di qualità espliciti che derivano direttamente dalla volontà di aiutare una decisione pratica. Lo stato dell’arte ha quindi l’obiettivo di fare il punto sulle controversie relative alla questione posta e mostra esplicitamente l’universo di riferimento su cui poggia e di cui ha realizzato un’esplorazione sistematica.
Proprio per la complessità (e i costi) di realizzazione, organizzazioni collettive dotate di finanziamenti specifici hanno elaborato strumenti condivisi di diffusione (basi dati di documenti o riviste specializzate on-line, ecc.) costantemente attualizzati, finalizzati a fungere da interfaccia tra la ricerca e la decisione.
L’EBM ha suscitato in questo modo una riflessione approfondita sul ruolo e sui limiti di utilizzo delle conoscenze scientifiche nelle decisioni. Dalla fine degli anni Novanta le riflessioni sugli approcci di evidence-based decision sono state riprese in altri campi dell’intervento pubblico - educazione, giustizia, protezione dell’ambiente, politiche di sviluppo, ecc. - anch’essi posti di fronte alla trasformazione del regime di accesso alle conoscenze. Tuttavia tale diffusione ha riguardato principalmente i paesi anglofoni, mentre in numerosi altri paesi le discussioni su tali approcci vengono ignorate o occultate, mentre le riflessioni su come favorire l’accesso diretto dei decisori pubblici alle conoscenze scientifiche restano limitate.
L’estensione degli approcci evidence-based a nuovi campi di azione è pertinente e utile? La questione si pone ad esempio osservando l’emergere di nuove contraddizioni tra le politiche di sviluppo agricolo e la protezione della biodiversità (per esempio Adam et al., 2004). Per rispondere a questa domanda è necessario verificare, da un lato, che nell’elaborazione di misure di intervento pubblico vi sia effettivamente una ricerca attiva di conoscenze “validate” per elaborare diversi possibili scenari, prevedere il loro impatto attraverso la messa in opera di un appropriato dispositivo di valutazione e precisare il contenuto tecnico delle misure da mettere in atto. Dall’altro che le problematiche affrontate e le soluzioni proposte in campo medico possano essere fonte di insegnamenti più generali.

La ricerca di conoscenze “validate” e la loro accessibilità

Abbiamo dunque testato alcuni degli strumenti elaborati dall’EBP analizzando il modo in cui è stato elaborato il contenuto tecnico di misure di intervento pubblico riguardanti contemporaneamente lo sviluppo agricolo e la protezione della biodiversità, in Francia, Sud Africa e Brasile. Sono state realizzate delle inchieste, fondate su dati dichiarati da 83 persone ufficialmente incaricate della redazione di questi contenuti tecnici, utilizzando i principi metodologici degli approcci EBD per diagnosticare le difficoltà di accesso alle conoscenze scientifiche. Sono stati in tal modo analizzati diversi tipi di conoscenze: conoscenze scientifiche, cioè legate a una teoria, con procedure e criteri di validazione espliciti e risultati pubblicati accettati dalla comunità scientifica, in modo da garantire che le conoscenze prodotte vadano oltre la soggettività dei ricercatori (Fagot-Largeault, 2002); conoscenze tradizionali (es. i saperi tradizionali degli agricoltori), termine con cui si designano le conoscenze acquisite per osservazioni cumulative, nella pratica e nelle generazioni, da diversi tipi di attori e al di fuori di una procedura scientifica; conoscenze gestionali, derivate cioè dall’esperienza della messa in pratica delle misure di intervento (saperi degli ingegneri, dei manager).
I risultati mostrano che, se una parte delle persone intervistate non ha tentato di cercare delle conoscenze affidabili per prendere le sue decisioni, altri hanno cercato di appoggiarsi su conoscenze stabilite scientificamente, non per giustificare a posteriori le scelte effettuate, ma per esplicitare il ventaglio delle scelte possibili, precisare il contenuto tecnico delle misure e valutarne l’impatto potenziale. Ma per questi decisori, benché lavorino in importanti amministrazioni quali i ministeri, l’accesso alle conoscenze esistenti resta difficile, sia per la mancanza di possibilità di accesso a banche dati scientifiche sia, quando disponibili, per la mancanza di tempo e competenze necessarie per utilizzarle. In più, le persone interrogate dichiarano che spesso l’assenza di metodi e di conoscenze sintetiche adeguate impedisce di avere una visione globale dello stato dell’arte delle conoscenze esistenti e della loro affidabilità per sostenere le azioni previste.
In altri termini, come in campo medico, le persone incaricate di concepire la dimensione tecnica di scenari alternativi o di definire il contenuto tecnico di misure di intervento si trovano di fronte un universo confuso e per la maggior parte inaccessibile, al momento in cui cercano di appoggiare le loro riflessioni sulle conoscenze esistenti. Queste osservazioni corroborano quindi i risultati ottenuti in altri campi (Nutley, 2003).

La pertinenza della trasposizione di strumenti metodologici: gli stati dell’arte sistematici secondo criteri espliciti

Ci si è domandati allora quali conoscenze effettivamente disponibili avrebbero potuto essere utilizzate. Per rispondere a questa domanda sono stati realizzati degli stati dell’arte sugli aspetti tecnici principali delle misure oggetto di studio, secondo i metodi raccomandati negli approcci EBD, ispirati dalla fondazione Cochrane2 che propone la redazione di “stati dell’arte sistematici secondo criteri espliciti” (Higgins, Green, 2008). I risultati mostrano allo stesso tempo l’interesse del metodo e la difficoltà ad applicarlo:

• a causa dell’eterogeneità delle forme di presentazione delle conoscenze disponibili nelle basi di dati, la sola definizione delle richieste per ottenere una prima lista di referenze necessita da due a tre settimane di lavoro, semplicemente per calibrare le domande e assicurarsi che almeno gli articoli di cui si conosce la corrispondenza al tema rientrino nelle liste proposte;
• l’abbondanza di pubblicazioni disponibili rappresenta un ulteiore ostacolo; una richiesta semplice sfocia in un elevato numero di referenze, anche in un universo di riviste limitato3. Inoltre l’approccio non è di tipo bibliometrico, in quanto è necessario leggere gli articoli per selezionarli e fare lo spoglio di quelli selezionati, e ciò richiede diversi mesi di lavoro anche per una questione molto circoscritta4;
• un’ulteriore difficoltà riguarda il fatto che l’universo delle riviste accessibili è molto diverso da un’istituzione all’altra e da un paese all’altro, per cui una stessa richiesta da risultati diversi secondo dove viene effettuata;
• la necessità di associare più campi disciplinari (es. per trattare le interazioni tra processi sociali e processi ecologici) è ugualmente fonte di difficoltà.

Tali difficoltà, che portano a diverse migliaia di riviste da consultare, non sono gestibili da un gruppo limitato di individui, siano ricercatori o operatori di una amministrazione. Questo però non discredita l’approccio utilizzato; si tratta di problemi comuni a tutti gli stati dell’arte, solo in questo caso meglio formalizzati e quantificati, mentre generalmente sono passati sotto silenzio. La produzione di questo tipo di meta-conoscenze, che sono sempre più necessarie, non può essere presa in carico seriamente da singoli individui. Occorre quindi interrogarsi sulla configurazione che potrebbero prendere nuove organizzazioni collettive, con personale e finanziamenti dedicati a queste attività, quali quelle messe in piedi in certi paesi (Regno Unito) o da istituzioni internazionali (Banca Mondiale, Unesco, OMS…).

La questione della gerarchizzazione delle prove

Lo sviluppo delle strategie evidence-based è stato accompagnato da vivaci discussioni riguardanti l’importanza relativa da accordare alle conoscenze scientifiche e all’esperienza e i criteri di gerarchizzazione delle prove.
Per quanto riguarda il primo aspetto è generalmente accettato che la decisione pubblica si basi su diversi serbatoi di conoscenze (saperi tradizionali, conoscenze gestionali basate sull’esperienza, conoscenze scientifiche, ecc.). Per prendere decisioni, queste conoscenze vanno messe sullo stesso piano, occorre stabilirne una gerarchia o ancora riconoscerle come complementari ma con proprietà epistemologiche distinte? Gli approcci evidence-based sono fondati sull’idea che, una volta scelto di basarsi sulle conoscenze per agire, non bisogna rinunciare ad usare quelle più affidabili, la cui efficacia sia stata provata nel modo più convincente. Così le conoscenze gestionali non possono essere considerate come equivalenti a un’analisi basata su osservazioni costruite secondo procedure esplicite e adeguatamente testate. Di fatto questa posizione fa fatica ad imporsi, in particolare nelle scienze sociali. Nascono quindi dei modelli che sono evidence-based nella loro componente ecologica e biologica, ma che si basano solo su opinioni raccolte tramite approcci partecipativi per quanto riguarda le variabili rilevanti per le scienze sociali.
La confusione che accompagna a volte il confronto tra diversi tipi di conoscenze è legata anche alla mancanza di riflessione sui tipi di prove che possono essere utilizzate per concepire, mettere in atto e valutare le politiche. Si possono a questo proposito distinguere: “prove di esistenza” (es. osservazioni naturalistiche per un inventario di specie nella gestione della biodiversità); “prove di causalità” (una relazione causale viene stabilita tra due avvenimenti specifici); “prove di efficacia” (un’azione produce i risultati desiderati); “prove di innocuità” (un’azione non presenta effetti negativi). È utile chiarire lo stato delle prove e le relazioni tra le stesse; ad esempio quelle tra prove di causalità e prove di efficacia sono complesse e discutibili. Vi sono infatti delle situazioni in cui degli interventi riescono senza che se ne conosca il motivo! In molte situazioni le cause sono troppo intrecciate perché sia possibile prevedere l’efficacia di una forma di intervento. Una teoria scientifica, per quanto sofisticata, deriva sempre da una riduzione metodologica e non può avere l’ambizione di rendere conto dell’infinità di cause che producono un avvenimento reale, descrivendo sempre delle relazioni di causalità limitata. Queste possono aiutare ad immaginare forme di azione ma, nella maggior parte dei casi, sono insufficienti per fondare da sole delle politiche la cui efficacia sia garantita. È quindi generalmente accettato che gli approcci evidence-based non hanno il compito di definire le politiche, ma solo di chiarirle (Nutley, 2003). Proprio per tener conto di questo iato irriducibile molti testi internazionali raccomandano la coesistenza di diverse forme di relazione tra scienza e decisione pubblica, così che, per esempio, le discipline delle scienze sociali forniscano le conoscenze scientifiche sui meccanismi che sottendono alle trasformazioni economiche e sociali per alimentare discussioni in forum ibridi, in cui interagiscano diversi tipi di conoscenze.
Però la questione della valutazione dell’efficacia dell’intervento pubblico non può essere elusa. In effetti, anche se non si conoscono molto bene i meccanismi per cui un’azione produce i suoi effetti, questi ultimi possono essere descritti, misurati e comparati agli obiettivi. Invece le forme di valutazione previste usualmente riguardano gli strumenti utilizzati ma non l’impatto effettivo rispetto agli obiettivi. Infatti, tutto funziona come se il fatto di aver concepito delle misure di intervento a partire da relazioni teoriche di causalità sia considerato sufficiente per garantirne l’effetto.
Una parte importante della riflessione EBM riguarda poi la gerarchizzazione dei livelli di prove: le procedure EBM propongono classificazioni mirate a determinare la qualità delle prove prodotte per ordine crescente di affidabilità. Non tutti, infatti, sono dotati degli strumenti metodologici che permettono di ordinare gerarchicamente la qualità delle conoscenze scientifiche cui hanno accesso. Allo stesso tempo molti articoli scientifici offrono poche informazioni su come le conoscenze sono state prodotte, sui loro limiti di validità empirica e forniscono prescrizioni più che dimostrare dei risultati.

Considerazioni conclusive

Il regime di accesso alle conoscenze scientifiche si è trasformato profondamente. Senza volerne fare l’apologia, gli approcci evidence-based hanno sollevato un gran numero di questioni pertinenti per analizzare come le conoscenze scientifiche entrano nell’elaborazione delle politiche pubbliche, invitando a una riflessione di fondo sul modo in cui possono essere prodotte, valutate e rese accessibili delle conoscenze e meta-conoscenze affidabili per l’aiuto alle decisioni.
Si disegna quindi un vasto campo di ricerca. In primo luogo occorre realizzare un importante lavoro metodologico per riappropriarsi degli strumenti della cassetta degli attrezzi evidence-based, testarli nel campo delle politiche dello sviluppo, misurarne i vantaggi e i limiti, formalizzare le scelte concettuali che sottendono la costruzione di diversi strumenti e meta-conoscenze e condividere la riflessione tra ricercatori, studenti e gli altri attori coinvolti.
Diviene inoltre urgente trattare le cause intrinseche per cui lo iato tra ricerca e decisione pubblica si sta approfondendo. Le prove necessarie al progresso delle teorie possono essere infatti radicalmente diverse rispetto a quelle utili per l’azione. In generale sarebbe utile che i limiti delle conoscenze candidate a supportare le decisioni siano esplicitati e tenuti in conto sia per la programmazione delle ricerche che per la loro utilizzazione.
L’emergere di un nuovo campo di conoscenze, incentrato sulla produzione di meta-conoscenze come interfaccia tra scienza e società, è anche portatore di sfide etiche e di potere che occorre analizzare. Le conseguenze di scelte metodologiche alternative devono essere ulteriormente esplorate nel campo delle politiche per lo sviluppo.
Occorre ugualmente studiare come diverse configurazioni istituzionali contribuiscano a determinare il modo in cui possono essere regolati i problemi di concorrenza tra prove, analizzare le capacità ineguali di stati e gruppi sociali di impadronirsi di queste riflessioni e mettere in campo i mezzi materiali necessari per predisporre i dispositivi concreti che permettano di accedere alle conoscenze disponibili e di costruire meta-conoscenze in grado di far valere e difendere i propri interessi. Occorre infine riposizionare questi approcci in una prospettiva più ampia, che permetta di comparare vantaggi e limiti delle differenti forme con cui le conoscenze scientifiche possono entrare nella decisione pubblica.
E questa lista non è esaustiva: la riflessione sulla scelta delle prove da utilizzare per diversi tipi di obiettivi è appena sfiorata. Più che un insieme di norme emerge la proposizione di griglie di analisi in grado di individuare il tipo di prova adeguata alle diverse tappe dell’azione (diagnosi, ideazione delle misure, messa in opera, valutazione) e i tipi di prova apportati (o richiesti) dai diversi attori. Se non risolvono il problema della concorrenza tra prove, esse possono quantomeno contribuire a fare chiarezza. Le esigenze di validazione delle conoscenze scientifiche danno alle stesse uno statuto particolare per fondare le scelte operative, anche se le decisioni non possono praticamente mai essere basate solo su di esse. Pertanto le riflessioni sui tipi di prove fanno emergere come non ci sia necessariamente convergenza tra gli obiettivi delle ricerche principalmente teoriche e di quelle necessarie per l’azione: le prove di efficacia e innocuità, cruciali per scegliere azioni alternative, possono essere di interesse limitato per il progresso delle teorie, così come le prove di causalità, fondamentali per la ricerca teorica, sono spesso prodotte in situazioni controllate molto lontane dalle condizioni della pratica. Gli approcci EBP sono profondamente ancorati alla verifica empirica, e per questo spesso si sviluppano ai margini delle linee di ricerca dominanti, specialmente in economia. Possono quindi contribuire al progresso delle teorie quando queste sono attente alla verifica di ipotesi realistiche, ma possono restare scollegati dal cuore della produzione accademica quando le teorie si esonerano da questo legame agli aspetti empirici.
Ma proprio perché non vi è una convergenza naturale tra produzione e uso delle conoscenze scientifiche, la creazione di strumenti specifici è necessaria per meglio collegare ricerca e decisione pubblica, senza rinunciare al principio stesso che la produzione di conoscenze scientifiche abbia delle proprietà epistemologiche peculiari, anche nelle scienze sociali.

Bibliografia sintetica

• Dewey J. (1927), The Public and its Problems, Oxford, Holt, traduction française par Zask J. (2003), Le public et ses problèmes, Publications de l’Université de Pau. EBM working group, 1992

• Fagot-Largeault A. (2002), «La construction intersubjective de l’objectivité scientifique » in Andler D., Fagot-Largeault A., Saint-Sernin B., Philosophie des sciences, Paris, Gallimard, tome 1, pp. 129-225

• Higgings J.P.T., Green S (dir.) (2008), Cochrane Handbook for Systematic Reviews of Interventions Version 5.0.0 [updated February 2008], The Cochrane Collaboration, 2008, Available from [link]

• Nutley S. (2003), «Bridging the Policy/Research Divide. Reflections and Lessons from the UK», keynote paper, Facing the Future: Engaging stakeholders and citizens in developing public policy, NIG Conference, Canberra

• Sackett D.L., Rosenberg W.M., Muir Gray J.A., Haynes R.B., Richardson W.S. (1996), Evidence-based medicine: what it is and what it isn’t, BMJ, n° 312, pp. 71-72

• 1. L’articolo è il frutto di un programma di ricerca (EBP-Biosoc) coordinato da C. Laurent e finanziato dall’Agenzia nazionale della ricerca (ANR) francese. E’ pubblicato sulla rivista Revue Tiers Monde, n.200, ottobre-dicembre 2009, con il titolo “Pourquoi s’intéresser à la notion d’«evidence-based policy»?”, cui si rimanda per la bibliografia completa. Traduzione e adattamento dal francese di Emilio Chiodo.
• 2. La Cochrane Collaboration è una organizzazione internazionale no-profit nata nel 1993 con lo scopo di raccogliere, valutare criticamente e diffondere le informazioni relative alla efficacia degli interventi sanitari (N.d.T.).
• 3. La richiesta “agricoltura & biodiversità” da luogo a più di 8.000 referenze sulla sola base Web of knowledge.
• 4. Ad esempio nel Regno Unito, nel quadro della EBC, borse post dottorato sono state assegnate per realizzare stati dell’arte su questioni limitate (si veda il sito EBD dell’Università di Birmingham).