Immagine ex Pixabay
La valutazione dell’impatto dei progetti di sviluppo socio-economico, siano essi finanziati da Istituzioni pubbliche o da Fondazioni, sta diventando anche in Italia oggetto di crescente attenzione.
La valutazione dell’impatto dei progetti (e dei programmi complessi che interessano più ambiti di policy e più destinatari, quali sono i Programmi Operativi cofinanziati dai Fondi Strutturali) è una pratica valutativa particolare che va oltre alla valutazione dell’efficacia e dell’efficienza dei progetti, valutazione che si può effettuare in base agli indicatori di progetto (indicatori di output e indicatori di outcome). Una corretta valutazione di impatto, invece, non si può basare sull’uso di indicatori di impatto, bensì richiede l’applicazione di tecniche di analisi quantitativa particolari. Queste tecniche vengono indicate come tecniche di analisi controfattuale. [1]
Senza entrare nel merito della c.d. analisi controfattuale dell’impatto di progetti di sviluppo (o di determinate azioni di policy dell’operatore pubblico) per definire una prima possibile traccia dell’analisi dell’impatto dei progetti, bisogna partire da quelli che considero gli elementi chiave di quella che definirei la dimensione strategica dei progetti di sviluppo socio-economico, ossia:
• un gruppo target (destinatari finali del progetto);
• una “proposta di valore” pertinente rispetto a problemi/desiderata dei destinatari finali; [2]
• un forte ancoraggio del progetto a problemi, aspettative e desiderata dei destinatari;
• uno o più obiettivi sfidanti di cambiamento (impatto atteso dei progetti).
Soltanto considerando come questi elementi sono stati definiti nel progetto, si potrà impostare correttamente, sul piano logico, la valutazione di impatto.
Questo implica, da un lato, che la formulazione di un buon progetto si fonda su semplici domande, volte a investigare problemi e aspettative dei destinatari finali, elaborate in una prospettiva problem solving. Le analisi fondamentali da sviluppare sono le seguenti:
• analisi delle caratteristiche e delle consuetudini del gruppo target (è molto importante non solo la corretta profilazione dei beneficiari diretti, ma anche una affidabile ricostruzione delle loro routine per capire come migliorare la fruibilità di prodotti e servizi forniti con il progetto) [3];
• analisi rigorosa e pertinente dei problemi/bisogni insoddisfatti dei destinatari finali (analisi che può trovare una sintesi nello strumento classico dell’albero dei problemi, ma che deve essere sempre più basata anche su strumenti di analisi di marketing);
• analisi della pertinenza delle soluzioni ipotizzate (analisi volta a definire prima un’autentica “proposta di valore” per i destinatari finali e poi, di riflesso, in una pertinente strategia, che può essere sintetizzata sia con il c.d. “albero degli obiettivi”, sia con altri strumenti ampiamente usati nella formulazione di progetti di sviluppo socio-economico).
Dall’altro, implica che tali elementi dovranno essere esaminati con grande attenzione in sede di valutazione dell’impatto dei progetti.
Le analisi richiamate sopra, in altri termini, saranno necessariamente anche le “key issues” rispetto alle quali impostare l’intero “disegno di valutazione” del progetto.
Per stimare l’impatto a posteriori su condizioni e qualità della vita di destinatari diretti e indiretti del progetto e sulle condizioni di sviluppo dell’area servita si possono applicare varie metodologie di indagine e varie tecniche (a seconda delle specifiche tipologie di progetti), ma l’impostazione generale dell’analisi di impatto deve essere necessariamente fondata su:
• una serie di “key issues” che pongano realmente al centro del “disegno di valutazione” la capacità del progetto di sviluppo di fare a differenza per le condizioni di vita dei destinatari;
• una solida ricostruzione della “teoria del cambiamento” alla base del progetto (“teoria del cambiamento” così definita, in quanto indica in modo dettagliato come le azioni intraprese nell’ambito del progetto conducono a una serie di cambiamenti indotti, che esercitano un impatto positivo rispetto a bisogni e desiderata dei destinatari). [4]
Una volta garantiti questi presupposti ineludibili dell’approccio alla valutazione dell’impatto, il percorso logico di formulazione del “disegno di valutazione”, con riferimento a ciascuna delle “key issues”, in estrema sintesi, si può articolare come segue:
• individuazione di pertinenti “domande valutative” (DV) e pertinenti “criteri di giudizio”, i quali specificano meglio le DV e definiscono in modo puntuale i parametri per valutare successo e/o criticità dei progetti (v. Figura 1);
• selezione di adatte metodologie di valutazione e, di riflesso, degli strumenti di indagine e di analisi più adatti (strumenti di indagine e di analisi dovranno essere coerenti con le DV, con caratteristiche e fabbisogni dei gruppi target e anche con le caratteristiche dei progetti);
• individuazione degli indicatori e delle fonti informative
Fig. 1 – Quadro di riferimento della valutazione dell’impatto dei progetti di sviluppo
******
[1] Queste tecniche di analisi muovono dall’assunto logico che solo ponendo a confronto i cambiamenti rilevati a seguito dell’attuazione del progetto con gli ipotetici cambiamenti che si sarebbero verificati non realizzandolo – “controfattuale” – che, per definizione, sono non osservabili si possa stimare correttamente l’impatto dei progetti o delle azioni di politica economica (queste tecniche, di fatto, sono volte a rendere “robuste” le stime del controfattuale e, quindi, a rendere “robusta” la stima, per differenza fra le variazioni “osservabili” e le variazioni “controfattuali”, dell’impatto).
La letteratura sulla c.d. analisi controfattuale è sconfinata. In Italiano, si vedano: MARTINI A., MO COSTABELLA L., SISTI M.; Valutare gli effetti delle politiche pubbliche; Collana Materiali FORMEZ, Roma 2006; BONDONIO D.; La valutazione di impatto dei programmi di incentivo allo sviluppo economico; in “Economia Pubblica”, Luglio 2008; TRIVELLATO U.; La valutazione degli effetti delle politiche pubbliche; IRVAPP, Fondazione Bruno Kessler, Trento, 2009; BUSILLO F. et al.; L’impatto della politica regionale sulla crescita delle regioni europee: un approccio basato sul Regression Discontinuity Design, Materiali UVAL n. 20/2010.
[2] Il concetto di “proposta di valore” qui utilizzato è ripreso dalla letteratura sul management aziendale e sul marketing e crea un ulteriore ponte fra pianificazione strategica in campo aziendale e formulazione di progetti – e piani di area vasta – di sviluppo socio-economico.
In particolare, tale concetto è un autentico cardine del business model canvas di Osterwalder e Pigneur (2010) che è, ormai, un autentico punto di riferimento di tutti gli esperti che lavorano sulla costruzione dei modelli di business delle imprese.
A parere di chi scrive, il concetto di “proposta di valore” dovrebbe essere un pilastro anche della formulazione di buoni progetti di sviluppo.
Cfr. OSTERWALDER A., PIGNEUR Y. (2010), Business Model Generation, Wiley & Sons, Hoboken, New Jersey.
[3] Anche fra gli esperti di marketing vi è crescente contezza del fatto che le aspettative dei consumatori (nel caso qui discusso, i beneficiari finali dei progetti) non vanno soddisfate solo in relazione al “che cosa” (inteso in senso lato quale quantità e caratteristiche di un prodotto/servizio; aspetti di qualità e servizi post-vendita), ma anche in relazione al “come” (aspetti legati alla fruibilità di beni e servizi; coerenza delle modalità di erogazione con le routine di consumatori/beneficiari e, non ultimo, tempestività nell’erogazione). Sul concetto di sistema di offerta “incrementato” si veda: GRÖNROOS C. (2010), Management e marketing dei servizi. Un approccio al management dei rapporti con la clientela, ISEDI, Torino.
[4] La formulazione e la valutazione di progetti e di programmi complessi è imperniata su approcci metodologici (Results-Based Management, Logical Framework Approach e Theory of Change) che, aldilà di differenze più terminologiche che sostanziali, sono riconducibili tutti alla famiglia dei c.d. “modelli logici” che sono stati sviluppati fin dagli anni Sessanta, quali approcci per una corretta modellizzazione dei processi decisionali e di quelli gestionali, sia nel settore privato sia in quello degli investimenti pubblici.
I “logic models”, come dimostra la vastissima letteratura internazionale sul tema, possono essere rappresentati graficamente in vario modo, ma si fondano tutti sull’idea che si possa definire una “catena di risultati” (“results chain”) che lega le risorse investire in un progetto (o in un programma complesso) e gli impatti finali (v. Figura 2). Una definizione di “logic model”, applicata a un programma, molto chiara è la seguente: ‹‹a program logic model is a picture of how your program works […] This model provides a road map of your program, highlighting how it is expected to work, what activities need to come before others, and how desired outcomes are achieved›› (cfr. W.K. KELLOG FOUNDATION (1998), Evaluation Handbook, Battle Creek, Michigan, p. 35).
La letteratura internazionale su “logic models” e “theory of change” è sconfinata. In Italiano si possono consultare: LIPPI A., La valutazione delle politiche pubbliche, Il Mulino, Bologna, 2007; MARTINI A., SISTI M.; Valutare il successo delle politiche pubbliche. Metodi e casi; Il Mulino, Bologna, 2009.
Fig. 2 – Esempi di “logic models” (“results chains”)
