« “Chi controlla il passato controlla il futuro, chi controlla il presente controlla il passato”,
ripetè Winston, obbediente.
“Chi controlla il presente controlla il passato” disse O’Brien, annuendo lentamente con il capo.
“Tu pensi, Winston, che il passato abbia un’esistenza concreta?” »
George Orwell, 1984

Il mio precedente post del 10.05.2014 “La valutazione dell’impatto dei progetti di sviluppo socio-economico” è stato oggetto di alcune critiche inerenti all’eccessiva semplificazione della procedura di formulazione del “disegno di valutazione”.
Stante il fatto che il post non aveva affatto la pretesa di delineare un percorso per formulare il “disegno di valutazione” di un progetto, nella consapevolezza di quanto sia difficile farlo, va anche segnalato che le considerazioni sviluppate nel precedente post erano riferite a un progetto di sviluppo semplice – per dimensioni territoriali, dimensioni tecniche-ingegneristiche e anche durata temporale – avente un unico gruppo target principale.

Nel momento in cui si procede alla valutazione dell’impatto di progetti più complessi e, a maggior ragione, di programmi complessi – programmi con rilevante copertura geografica (regionale ed oltre, come nel caso dei Programmi di spesa co-finanziati in Italia dai Fondi Strutturali), che finanziano più tipologie di interventi e, di riflesso, hanno come target più categorie di destinatari – l’approccio alla valutazione di impatto dovrà essere necessariamente più strutturato. Questo implica anche che la formulazione del “disegno di valutazione” necessiterà di un lavoro “di squadra” che potrebbe anche richiedere diverse settimane.
Ciò detto lo schema di riferimento che ho proposto nel precedente post, opportunatamente adattato, può comunque costituire un dignitoso filo conduttore per definire il “disegno di valutazione” anche di un progetto o di un programma complesso.

A parere dello scrivente, nel caso di progetti o programmi complessi con più obiettivi (generali e specifici), più ambiti di policy interessati e, quindi, più tipologie di interventi e, non ultimo, più gruppi target, la formulazione del “disegno di valutazione” per l’analisi di efficacia e di efficienza e per la stima degli impatti verte su quattro pilastri (v. Figura 1):
• la verifica degli “ambiti di valutazione” ineludibili per effettuare una valutazione di impatto completa (è molto difficile dare una definizione generale di “ambito di valutazione”, in quanto esso potrà variare da obiettivo specifico ed obiettivi operativi di un progetto semplice, oppure potrà coincidere con più ambiti di policy e/o più obiettivi specifici di un programma complesso o, ancora, potranno essere delle “key issues” trasversali); [1]
• la mappatura degli interventi di un progetto complesso (o delle azioni di policy di un programma complesso che sostiene più politiche pubbliche), dei principali gruppi target di ogni tipologia di intervento e anche delle procedure attuative (a seconda delle procedure attuative, infatti, potrebbe essere più proficuo scegliere una o l’altra delle varie metodologie di indagine); [2]
• la ricostruzione della “teoria del cambiamento” – Theory of Change (ToC) – per ciascun “ambito di valutazione” e, specialmente per progetti o programmi complessi, per ciascuna tipologia di intervento e/o gruppo target; [3]
• la puntuale definizione della “baseline” (condizioni di partenza del contesto socio-economico e del/i gruppo/i target rilevante/i) e la ricostruzione della mappa degli impatti attesi per il gruppo target di un progetto semplice o dei principali gruppi target delle linee di intervento (azioni) di un progetto o di un programma complesso. [4]

Fig. 1 – I pilastri del “disegno di valutazione” di progetti o programmi complessi

L’impressione che si ha è che, sovente, si perde un po’ di vista quanto sia importante procedere con molta attenzione alla mappatura di tipologie di interventi, di gruppi target e di procedure attuative.
Una siffatta mappatura, infatti, influenza la corretta formulazione della “teoria del cambiamento”, la mappatura degli impatti attesi e, non ultimo, anche la scelta di metodologie e strumenti di valutazione. La “cassetta degli attrezzi” del valutatore, infatti, includerà metodologie e strumenti di analisi, “domande valutative”, criteri di giudizio e anche indicatori e fonti informative differenziate a seconda di tipologie di interventi, gruppi target principali e modalità di selezione ed attuazione degli interventi ammessi a beneficio.

Una volta completata questa mappatura, in estrema sintesi, il percorso logico di formulazione del “disegno di valutazione”, con riferimento a ciascun “ambito di valutazione”, si può articolare come segue:
• elaborazione della “teoria del cambiamento” (“teoria del cambiamento” così definita, in quanto indica in modo dettagliato come le azioni intraprese nell’ambito di un programma complesso conducono a una serie di “cambiamenti” indotti, che esercitano un impatto positivo rispetto a bisogni e desiderata dei principali gruppi target);
• mappatura degli impatti attesi per tipo di interventi e/o destinatari;
• individuazione di pertinenti “domande valutative” (DV) e pertinenti “criteri di giudizio” (i quali specificano meglio le DV e definiscono in modo puntuale i parametri per valutare successo e/o criticità dei progetti e programmi complessi e anche della loro attuazione);
• selezione di adatte metodologie di valutazione e, di riflesso, degli strumenti di indagine e di analisi più adatti (strumenti di indagine e di analisi dovranno essere coerenti con le DV, con caratteristiche e fabbisogni dei gruppi target e anche con caratteristiche e procedure di selezione ed attuazione delle azioni di policy);
• individuazione degli indicatori e delle fonti informative (v. Fig. 2). [5]

Fig. 2 – Un possibile percorso logico per la formulazione del “disegno di valutazione”

******

[1] Nella programmazione 2014-2020, come si evince dai Regolamenti sui Fondi Strutturali e di Investimento Europeo (Fondi SIE), i programmi pluriennali di spesa – Programmi Operativi Nazionali e Regionali – saranno organizzati su quattro layer:
• Obiettivi Tematici;
• Priorità di investimento (i regolamenti verticali sul FESR e sul FSE prevedono 30 Priorità di investimento per il FESR e 24 per il FSE);
• Risultati Attesi (Obiettivi Specifici dei Programmi Operativi);
• Azioni.
Procedere alla valutazione dei programmi cofinanziati dai Fondi Strutturali e dagli altri Fondi SIE, pertanto, implica che quali “ambiti di valutazione” potranno essere individuati gli Obiettivi Tematici, le Priorità di investimento oppure gli Obiettivi Specifici o, ancora, delle questioni cardine (key issues) individuate dalle stesse Autorità di Gestione dei Programmi (questioni trasversali, quali il contributo delle azioni di policy alla parità di genere, oppure questioni inerenti all’efficacia di determinati avvisi di finanziamento o dei c.d. “strumenti finanziari”).
[2] A tale riguardo, si ricordi che una delle più note tecniche di campionamento volte a migliorare la significatività della c.d. analisi controfattuale – la Regression Discontinuity Design (discontinuità di trattamento nell’intorno di una soglia) – è particolarmente adatta quando le procedure di valutazione delle proposte progettuali o di candidature di singoli individui per l’accesso a servizi o a finanziamenti agevolati, siano tali da condure a stilare una graduatoria con la predefinita fissazione di una soglia volta a delimitare l’ammissibilità a beneficio delle proposte o dei candidati.
La letteratura sulla c.d. analisi controfattuale è sconfinata. In Italiano, si vedano: MARTINI A., MO COSTABELLA L., SISTI M.; Valutare gli effetti delle politiche pubbliche; Collana Materiali FORMEZ, Roma 2006; BONDONIO D.; La valutazione di impatto dei programmi di incentivo allo sviluppo economico; in “Economia Pubblica”, Luglio 2008; TRIVELLATO U.; La valutazione degli effetti delle politiche pubbliche; IRVAPP, Fondazione Bruno Kessler, Trento, 2009; BUSILLO F. et al.; L’impatto della politica regionale sulla crescita delle regioni europee: un approccio basato sul Regression Discontinuity Design, Materiali UVAL n. 20/2010.
[3] La letteratura internazionale sulla “theory of change” è sconfinata. In Italiano si possono consultare: LIPPI A., La valutazione delle politiche pubbliche, Il Mulino, Bologna, 2007; MARTINI A., SISTI M.; Valutare il successo delle politiche pubbliche; Il Mulino, Bologna, 2009.
[4] La verifica delle condizioni di partenza del contesto socio-economico e dei principali gruppi target (“baseline”) – e della loro evoluzione nel corso del tempo – e la ricostruzione degli impatti attesi sono due processi intimamente connessi per il semplice fatto che la valutazione di efficacia ed impatto di progetti o programmi complessi è sempre, fondamentalmente, una analisi delle variazioni intercorse (per gli indicatori e per altre rilevanti variabili socio-economiche) rispetto alle condizioni di partenza.
Non a caso, seguendo il c.d. “approccio Results-Based Management”, la determinazione iniziale dei risultati da raggiungere e degli impatti si fonda su tre semplice step logici:
• la rilevazione del valore di indicatori e di altre variabili di contesto al momento dell’avvio di progetti/programmi (“baseline”);
• la fissazione (quantificazione) di valori target per gli indicatori e per gli impatti al termine del progetto/programma;
• la fissazione di valori intermedi da raggiungere in corso d’opera (in corrispondenza di una o più date intermedie entro la fine del progetto).
Ciò detto, preme rimarcare che la ricostruzione della mappa degli impatti non implica una semplice rivisitazione dei valori quantificati, inizialmente riportati nel progetto o nel programma, bensì implica una autentica rilettura della “logica di intervento” e della c.d. “catena dei risultati” (o, se si preferisce, “catena degli impatti”).
[5] In merito al “disegno di valutazione” vanno puntualizzati due aspetti:
• le considerazioni sviluppate in questo post concernono specificamente i criteri di valutazione efficacia delle azioni di policy e dei programmi complessi ed impatto. Il percorso logico di formulazione del “disegno di valutazione”, inevitabilmente, sarà da strutturare in modo diverso nel caso degli altri principali criteri di valutazione che, a distanza di anni, fondamentalmente continuano ad essere quelli fissati dall’OCSE (segnatamente dal Development Assistance Committee) nel 1991. I criteri fissati dal DAC sono coerenza (a volte indicata anche come pertinenza), efficacia, efficienza, impatto e sostenibilità;
• nel corso della valutazione, in genere, è più probabile che si completi il set di indicatori e di fonti informative già fissati nel progetto o nel programma complesso (oppure, nel relativo Piano di Valutazione se è stato elaborato).