«Un intervento produce degli effetti se fa capitare qualcosa.
Cioè, se quel qualcosa non capiterebbe in assenza dell’intervento stesso».
Enrico RETTORE, La sfida della misurazione degli
effetti causali di un intervento (2019), p. 1

La valutazione della Commissione Europea del supporto del FSE, nella programmazione 2014-2020, all’inclusione sociale

Recentemente la Commissione Europea ha rilasciato la valutazione del supporto del FSE, nella programmazione 2014-2020, all’inclusione sociale e al contrasto della povertà e di ogni forma di discriminazione. La valutazione – eseguita da ICF, Cambridge Econometrics ed Eurocentre – è, in altri termini, focalizzata sull’Obiettivo Tematico 9 (OT 9) della programmazione 2014-2020 dei Fondi Strutturali (o, per essere precisi, dei Fondi Strutturali e di Investimento Europeo).
L’intento di questo breve articolo non è tanto sintetizzare i principali risultati di uno studio estremamente articolato – consta di 7 capitoli e 8 allegati, per complessive 812 pagine – quanto rimarcare due aspetti inerenti all’approccio metodologico, descritto ampiamente nell’Allegato 2 (pagine 206-243), che hanno informato l’intero studio.
Si tratta di due aspetti che, su questo blog, avevo già posto in luce in due articoli del lontano Maggio 2014. Riprendo qui gran parte delle considerazioni sviluppate in quei post, quantunque quelli di Maggio 2014 li avessi scritti a suo tempo per sviluppare una riflessione sulla valutazione di impatto dei progetti. Questo dal momento che, mutatis mutandis, quelle considerazioni rilevano anche per la valutazione dei programmi di spesa complessi cofinanziati dai Fondi Strutturali.
I due aspetti in questione, la cui rilevanza è confermata nella valutazione dell’efficacia del FSE nel promuovere l’inclusione sociale rilasciata dalla Commissione ad Ottobre, sono i seguenti:
• l’importanza in sede di valutazione di una attenta individuazione (e classificazione) delle principali tipologie di intervento (azioni di policy) e dei principali target group non tanto a livello di programma complessivo, quanto a livello di Obiettivi Tematici del Fondi Strutturali (corrispondenti, di fatto, agli Assi dei programmi di spesa 2014-2020) e, ancor più preferibilmente, a livello di Priorità di investimento;
• la necessità, tanto in sede di definizione dei programmi, quanto in sede di valutazione, di una adeguata formulazione, per ciascuna tipologia di intervento/gruppo target, di una fondata “teoria del cambiamento” (o, se si preferisce, di una robusta “logica di intervento”). [1]

Lo studio in parola (Study supporting the 2020 evaluation of promoting social inclusion, combatting poverty and any discrimination by the European Social Fund), in vero, pone proprio questi elementi al centro dell’intero processo valutativo. L’ampia trattazione di metodologia seguita e principali analisi sviluppate (si vedano Cap. 2 e Allegato 2), infatti, illustra:
• l’ampio lavoro di analisi su Programmi Operativi Regionali (POR) e Nazionali (PON) e Rapporti Annuali di Attuazione per definire le principali tipologie di interventi cofinanziati dall’OT9 dei Programmi FSE dei 28 Stati dell’UE che ne hanno beneficiato in questi anni, anche tenendo conto della differente terminologia tecnica e della differente normativa con cui vengono indicati e disciplinati tali interventi, quantunque sostanzialmente analoghi, nei vari Stati Membri. A questo lavoro di riclassificazione e raggruppamento delle varie linee di intervento (azioni di policy) è stata associata l’individuazione dei principali destinatari (“gruppi bersaglio”) di ciascuna tipologia di intervento. Il risultato è stato il raggruppamento dei vari interventi ammissibili a beneficio nell’ambito dell’OT 9 in sei tipologie di interventi (cluster), ai quali sono stati associati sei principali gruppi target, in alcuni casi associati a più cluster di interventi, come chiaramente illustrato nella tabella 1 (pagine 40-42) e nell’Allegato 2 del ponderoso rapporto di valutazione. Si noti che la tabella 1 del rapporto viene completata da una colonna in cui, per ciascun cluster di interventi, vengono sinteticamente riportati gli esiti della ricostruzione della mappa degli impatti attesi;
• la ricostruzione della “teoria del cambiamento” per ciascuna delle sei tipologie di intervento in cui è stato riarticolato l’OT 9 (si veda l’Allegato 2 sulla metodologia, in particolare le tavole sinottiche che sintetizzano le “catene logiche” associate a ciascuna tipologia di interventi, riportate da p. 238 a p. 243).

Sulla base di questa presentazione della metodologia seguita e del lavoro svolto per portare a termine questa ponderosa valutazione, vorrei proporre delle indicazioni su un possibile percorso per la formulazione del “disegno di valutazione” dei programmi complessi cofinanziati dai Fondi Strutturali, attingendo in particolare al post del 15.05.2014 “La valutazione dei progetti o programmi complessi”.

Alcuni suggerimenti sulla formulazione del “disegno di valutazione” dei programmi di spesa complessi

Come già evidenziavo anni fa, nel caso dei programmi complessi che, oltre ad avere una copertura geografica rilevante (regionale nel caso dei POR e nazionale nel caso dei PON), annoverano più obiettivi (su più livelli logici), più ambiti di policy (anche nell’ambito di uno stesso Obiettivo Tematico) e, quindi, più tipologie di interventi e, non ultimo, più gruppi target, la formulazione del “disegno di valutazione” per l’analisi di efficacia e di efficienza e per la stima degli impatti può essere edificata su quattro pilastri (v. Figura 1):
• la verifica degli “ambiti di valutazione” ineludibili per effettuare una valutazione di impatto completa (è molto difficile dare una definizione generale di “ambito di valutazione”, in quanto questo per i POR e per i PON potrà essere fatto coincidere con un Obiettivo Tematico o con una Priorità di investimento dei Fondi Strutturali, oppure potrà coincidere con una dato ambito di policy e/o un dato Obiettivo Specifico di un POR/PON all’interno delle stesse Priorità di investimento dei Fondi o, ancora, potrà coincidere con delle “key issues” trasversali individuate dall’Autorità di Gestione o dal Comitato di Sorveglianza); [2]
• la mappatura degli interventi (azioni di policy) dei POR/PON, dei principali gruppi target di ogni tipologia di intervento e anche delle procedure attuative (a seconda delle procedure attuative, infatti, potrebbe essere più proficuo scegliere una o l’altra delle metodologie di indagine); [3]
• la ricostruzione della “teoria del cambiamento” – Theory of Change (ToC) – per ciascun “ambito di valutazione” e per ciascuna tipologia di intervento/gruppo target; [4]
• la puntuale definizione della “baseline” (condizioni di partenza del contesto socio-economico e del/i gruppo/i target rilevante/i) e la ricostruzione della mappa degli impatti attesi per il/i gruppo/i target. [5]

Fig. 1 – I pilastri del “disegno di valutazione” di un programma complesso

Il convincimento che ho maturato via via che ho migliorato la conoscenza degli approcci alla formulazione e alla valutazione dei progetti e dei programmi complessi (Approccio di Quadro Logico, Logic Models, Outcome Mapping, Result-Based Management approach, Theory of Change), confermato dallo studio della Commissione sull’efficacia del FSE 2014-2020 nel promuovere l’inclusione sociale e combattere la povertà, è che, sovente, si perde un po’ di vista quanto sia importante procedere con molta attenzione alla mappatura di tipologie di interventi, di gruppi target e di procedure attuative.
Una siffatta mappatura, infatti, influenza la corretta formulazione della “teoria del cambiamento”, la mappatura degli impatti attesi e, non ultimo, anche la scelta di metodologie e strumenti di valutazione.
Il “disegno di valutazione” complessivo, infatti, includerà metodologie e strumenti di analisi, “domande valutative”, criteri di giudizio e anche indicatori e fonti informative differenziate a seconda di tipologie di interventi, gruppi target principali e modalità di selezione ed attuazione degli interventi ammessi a beneficio.
Una volta completata questa mappatura, in estrema sintesi, il percorso logico di formulazione del “disegno di valutazione”, con riferimento a ciascun “ambito di valutazione”, si può articolare come segue:
• elaborazione della “teoria del cambiamento” (“teoria del cambiamento” così definita, in quanto indica in modo dettagliato come le azioni intraprese nell’ambito di un programma complesso conducono a una serie di “cambiamenti” indotti, che esercitano un impatto positivo rispetto a bisogni e desiderata dei principali gruppi target);
• mappatura degli impatti attesi per tipo di interventi e/o destinatari;
• individuazione di pertinenti “domande valutative” (DV) e pertinenti “criteri di giudizio” (i quali specificano meglio le DV e definiscono in modo puntuale i parametri per valutare successo e/o criticità dei progetti e programmi complessi e anche della loro attuazione);
• selezione di congruenti metodologie di valutazione e, di riflesso, degli strumenti di indagine e di analisi più adatti (strumenti di indagine e di analisi dovranno essere coerenti con le DV, con caratteristiche e fabbisogni dei gruppi target e anche con caratteristiche e procedure di selezione ed attuazione delle azioni di policy);
• individuazione degli indicatori e delle fonti informative (v. Fig. 2). [6]

Fig. 2 – Un possibile percorso logico per la formulazione del “disegno di valutazione”

******

[1] Per semplificare la trattazione, in questo post “teoria del cambiamento”, “logica di intervento” e “catena logica” vengono usati in maniera intercambiabile.
[2] Nella programmazione 2014-2020, come si evince dai Regolamenti sui Fondi Strutturali e di Investimento Europeo (Fondi SIE), i programmi pluriennali di spesa – PON e POR – sono stati organizzati su quattro “livelli logici”:
• Obiettivi Tematici;
• Priorità di investimento (i regolamenti verticali sul FESR e sul FSE prevedono 30 Priorità di investimento per il FESR e 24 per il FSE);
• Risultati Attesi (Obiettivi Specifici dei Programmi Operativi);
• Azioni.
Procedere alla valutazione dei programmi cofinanziati dai Fondi Strutturali, pertanto, implica che quali “ambiti di valutazione” si possono individuare gli Obiettivi Tematici, le Priorità di investimento oppure gli Obiettivi Specifici o, ancora, delle questioni cardine (key issues) individuate dalle stesse Autorità di Gestione dei Programmi o dai Comitati di Sorveglianza (questioni trasversali, quali il contributo delle azioni di policy alla parità di genere, oppure questioni inerenti all’efficacia di determinati avvisi di finanziamento o dei c.d. “strumenti finanziari”).
[3] A tale riguardo, si ricordi che una delle più note tecniche di campionamento volte a migliorare la significatività della c.d. analisi controfattuale – la Regression Discontinuity Design (discontinuità di trattamento nell’intorno di una soglia) – è particolarmente adatta quando le procedure di valutazione delle proposte progettuali o di candidature di singoli individui per l’accesso a servizi o a finanziamenti agevolati, siano tali da condure a stilare una graduatoria con la predefinita fissazione di una soglia, volta a delimitare l’ammissibilità a beneficio delle proposte o dei candidati.
Le tecniche di analisi controfattuale muovono dall’assunto logico che solo ponendo a confronto i cambiamenti rilevati a seguito dell’attuazione di un progetto o di azioni di politica economica con gli ipotetici cambiamenti che si sarebbero verificati non realizzando interventi – “controfattuale” – che, per definizione, sono non osservabili si possa stimare correttamente l’impatto dei progetti o delle azioni di policy (queste tecniche, di fatto, sono volte a rendere “robuste” le stime del controfattuale e, quindi, a rendere “robusta” la stima, per differenza fra le variazioni “osservabili” e le variazioni “controfattuali”, dell’impatto).
La letteratura sulla c.d. analisi controfattuale è sconfinata. In Italiano, si vedano: MARTINI A., MO COSTABELLA L., SISTI M.; Valutare gli effetti delle politiche pubbliche; Collana Materiali FORMEZ, Roma 2006; BONDONIO D.; La valutazione di impatto dei programmi di incentivo allo sviluppo economico; in “Economia Pubblica”, Luglio 2008; TRIVELLATO U.; La valutazione degli effetti delle politiche pubbliche; IRVAPP, Fondazione Bruno Kessler, Trento, 2009; BUSILLO F. et al.; L’impatto della politica regionale sulla crescita delle regioni europee: un approccio basato sul Regression Discontinuity Design, Materiali UVAL n. 20/2010; RETTORE E.; La sfida della misurazione degli effetti causali di un intervento; IRVAPP, Fondazione Bruno Kessler, Trento, 2019.
Nel corso degli anni due rilevanti guide all’analisi controfattuale sono state elaborate dalla DG Empolyment, Social Affairs and Inclusion della Commissione Europea:
• Design and commissioning of counterfactual impact evaluations. A practical guidance for ESF Managing Authorities (2012);
• Advanced counterfactual evaluations methods (2019).
[4] La formulazione e la valutazione di progetti e di programmi complessi è imperniata su approcci metodologici (Results-Based Management, Logical Framework Approach e Theory of Change) che, aldilà di differenze più terminologiche che sostanziali, sono riconducibili tutti alla famiglia dei c.d. “modelli logici” che sono stati sviluppati fin dagli anni Sessanta, quali approcci per una corretta modellizzazione dei processi decisionali e di quelli gestionali, sia nel settore privato sia in quello degli investimenti pubblici.
I “logic models”, come dimostra la vastissima letteratura internazionale sul tema, possono essere rappresentati graficamente in vario modo, ma si fondano tutti sull’idea che si possa definire una “catena di risultati” (“results chain”) che lega le risorse investire in un progetto (o in un programma complesso) e gli impatti finali (v. Figura 3). Una definizione di “logic model”, applicata a un programma, molto chiara è la seguente: ‹‹a program logic model is a picture of how your program works […] This model provides a road map of your program, highlighting how it is expected to work, what activities need to come before others, and how desired outcomes are achieved›› (cfr. W.K. KELLOG FOUNDATION (1998), Evaluation Handbook, Battle Creek, Michigan, p. 35).

Fig. 3 – Esempi di “logic models” (“results chains”)

Un aspetto chiave di ogni “logic model”, non a caso, è la corretta verifica della validità logica dei nessi causali in cui si sostanzia la logica di intervento del progetto. In altri termini, si deve attentamente ponderare come la realizzazione di determinate azioni si traduce negli obiettivi intermedi (spesso indicati come ‘risultati attesi’) e negli obiettivi finali del progetto, nel presupposto che ogni azione o evento avrà sempre un effetto causale su altri eventi e sui risultati del progetto.
La letteratura internazionale su “logic models” e “theory of change” è sconfinata. In Italiano si possono consultare: LIPPI A., La valutazione delle politiche pubbliche, Il Mulino, Bologna, 2007; MARTINI A., SISTI M.; Valutare il successo delle politiche pubbliche. Metodi e casi; Il Mulino, Bologna, 2009.
[5] La verifica delle condizioni di partenza del contesto socio-economico e dei principali gruppi target (“baseline”) – e della loro evoluzione nel corso del tempo – e la ricostruzione degli impatti attesi sono due processi intimamente connessi. Questo per il semplice fatto che la valutazione di efficacia ed impatto di progetti o programmi complessi è sempre, fondamentalmente, una analisi delle variazioni intercorse (per gli indicatori e per altre rilevanti variabili socio-economiche) rispetto alle condizioni di partenza.
Non a caso, seguendo il c.d. “approccio Result-Based Management”, la determinazione iniziale dei risultati da raggiungere e degli impatti si fonda su tre semplici step logici:
• la rilevazione del valore di indicatori e di altre variabili di contesto al momento dell’avvio dei Programmi (“baseline”);
• la fissazione (quantificazione) di valori target per gli indicatori e per gli impatti al termine dei Programmi;
• la fissazione di valori intermedi da raggiungere in corso d’opera (in corrispondenza di una o più date intermedie entro la fine del Programma).
Ciò detto, preme rimarcare che la ricostruzione della mappa degli impatti non implica una semplice rivisitazione dei valori quantificati, inizialmente riportati nei Programmi Operativi, bensì implica una autentica rilettura della “logica di intervento” e della c.d. “catena dei risultati” (o, se si preferisce, “catena degli impatti”).
[6] In merito al “disegno di valutazione” vanno puntualizzati due aspetti:
• le considerazioni sviluppate in questo post concernono specificamente i criteri di valutazione efficacia delle azioni di policy dei Programmi complessi ed impatto. Il percorso logico di formulazione del “disegno di valutazione”, inevitabilmente, sarà da strutturare in modo diverso nel caso degli altri principali criteri di valutazione stabiliti dall’OCSE (segnatamente dal Development Assistance Committee) già nel 1991. I criteri fissati dall’OCSE, rivisti parzialmente nel 2019 (si veda il documento “Better Criteria for Better Evaluation”), a cui fanno riferimento ampiamente anche la Commissione, le agenzie dell’ONU e le varie agenzie nazionali che si occupano di interventi per lo sviluppo strutturale in Paesi più arretrati sono pertinenza (lo scrivente trova corretto tradurre così “relevance”), coerenza, efficacia, efficienza, impatto e sostenibilità;
• nel corso della valutazione, in genere, è più probabile che si completi il set di indicatori e di fonti informative già fissati nel progetto o nel programma complesso (oppure, nel relativo Piano di Valutazione, nella programmazione 2014-2020 obbligatorio per POR e PON ai sensi dell’art. 56 del Reg. (UE) 1303/2013).