‹‹Tutti parlano di pace ma nessuno educa alla pace.
A questo mondo, si educa per la competizione,
e la competizione è l’inizio di ogni guerra››
Maria Montessori

1. Progetti di sviluppo socio-economico, azioni di policy “semplici” e Programmi “complessi” multi-obiettivo e multi-target hanno tutti l’obiettivo di produrre degli impatti significativi sul contesto socio-economico e sulle capacità e condizioni di vita dei destinatari. Come scrive molto bene il professor Andrea Lippi, ‹‹l’obiettivo di ogni politica pubblica è, in definitiva, generare un impatto sulla realtà, operare un cambiamento del mondo, pur circoscritto, che incide sui comportamenti››. [1]
L’analisi di impatto, quindi, ha proprio la finalità precipua di “misurare” se progetti, azioni di policy e Programmi “complessi” siano riusciti o meno a produrre degli impatti strutturali. Una analisi di impatto completa, ovviamente, richiede anche di effettuare una valutazione della sostenibilità nel tempo (durabilità) dell’impatto.
2. La valutazione dell’impatto deve prendere in considerazione tre elementi cardine delle politiche pubbliche:
• un gruppo target (destinatari);
• un’azione di policy (nello slang valutativo, un “trattamento”);
• una variabile-risultato che, da un lato sintetizza gli obiettivi di una data azione di policy e, dall’altra, consente di misurarne l’impatto. [2]
Per spiegare meglio questa impostazione di fondo dell’analisi di impatto è molto utile la definizione di politica pubblica di Ugo Trivellato (professore emerito di Statistica Economica, fra i massimi esperti italiani di valutazione e, più specificamente, di analisi di impatto): «un intervento mirato a una popolazione determinata con l’intento di indurre un cambiamento in una condizione e/o in un comportamento». A seguire egli evidenzia che «in questa accezione di politica pubblica risultano definite tre dimensioni essenziali sia per connotarla sia ai fini della sua valutazione: la popolazione-obiettivo; il trattamento; il risultato conseguito». [3]
3. Vanno tenuti in debita considerazione alcuni elementi apparentemente banali che, invece, sono molto rilevanti. Essi, sovente, vengono trascurati dai non accademici e, di riflesso, si giunge a stime errate sugli impatti e a considerazioni insensate su efficacia ed impatto delle policies:
• gli interventi indirizzati a ben definiti gruppi di destinatari – e i risultati rilevati sui destinatari (sintetizzati dalla variabile-risultato) – incidono anche sui cambiamenti nel contesto socio-economico.
Ad esempio, i finanziamenti agevolati alle singole imprese di una data regione hanno effetti diretti – almeno teoricamente – su quelle imprese, ma certamente contribuiscono a migliorare la competitività del tessuto produttivo regionale e hanno effetti positivi anche su dinamica economica e occupazione regionale (si veda la figura 1);
• al tempo stesso, il contesto socio-economico ha una sua «dinamica spontanea» che incide sulle variabile-risultato rilevata presso i destinatari delle politiche pubbliche. Se per vari motivi aumenta la domanda internazionale di beni prodotti da quelle imprese, queste registreranno un miglioramento degli indicatori economico-finanziari anche a causa dell’aumento della domanda internazionale.
Va anche tenuto conto, quindi, dell’influenza dell’andamento socio-economico generale sulla variabile-risultato;
• vanno considerati, inoltre, gli effetti “di contagio” (spillover effects) di altre politiche pubbliche.
Si considerino, a titolo di esempio, degli interventi “diretti” intesi a favorire lo sviluppo endogeno di aree in condizioni di relativa arretratezza strutturale (si pensi, in Italia, alla Strategia Nazionale per le Aree Interne) tramite dei nuovi strumenti agevolativi ad hoc per le PMI ubicate in quelle aree.
Al termine di tali interventi, al momento di effettuarne una valutazione di efficacia/impatto si potrebbe giungere alla conclusione un po’ frettolosa che esso sia stato efficace se emergesse una maggiore competitività post-trattamento delle PMI localizzate in quelle aree. Il nodo della questione è che se, nello stesso periodo, le aree specifiche in cui sono ubicate quelle PMI, finalmente, vengono dotate di una connessione digitale ultra veloce che, fra le altre cose, consente a tutti gli operatori economici di avviare strategie di commercio online, ovviamente si dovrà considerare come rilevante anche l’effetto “indiretto” dell’altra politica pubblica. Una corretta impostazione metodologica richiederebbe di stimare quale impatto “diretto” degli interventi agevolativi quello al netto dell’impatto “indiretto” sulla competitività delle PMI locali del completamento di interventi per la connettività digitale ultra-veloce anche nelle “aree interne”.

Figura 1 – Elementi cardine politiche pubbliche e impostazione dell’analisi di impatto

4. Queste considerazioni pragmatiche aiutano a capire il nocciolo della c.d. «analisi contro-fattuale».
Per tenere conto degli effetti sulla variabile-risultato dell’andamento socio-economico generale e di altre politiche pubbliche, la corretta domanda valutativa generale andrebbe impostata come segue: «quale sarebbe stato l’effetto dell’intervento (“trattamento”) sullo stato di benessere psico-fisico della popolazione target, qualora non fosse stato implementato?» (si veda la figura 2 del post del 20 Maggio u.s. in cui veniva presentata brevemente la ratio dell’analisi di impatto con i metodi contro-fattuali).
5. Per spiegare meglio il nocciolo del paradigma contro-fattuale si richiama la definizione di «effetto di una politica» proposto da Martini, Mo Costabella e Sisti (Valutare gli effetti delle politiche pubbliche. Metodi e applicazioni al caso italiano; 2006): «differenza tra il valore osservato nella variabile-risultato dopo l’attuazione della politica e il valore che si sarebbe osservato senza la politica.
L’effetto di una politica è definito come differenza tra due valori della variabile-risultato. Ma di questi due valori:
• uno è osservabile, tra i soggetti esposti alla politica, dopo l’esposizione (valore fattuale);
• l’altro è un valore ipotetico e si riferisce a ciò che si sarebbe osservato tra gli stessi soggetti, nello stesso momento, se coloro non fossero stati esposti alla politica (valore contro-fattuale)» (p. 47).

6. Per una corretta quantificazione degli effetti è necessario individuare dei pertinenti modelli di stima del valore contro-fattuale della variabile-risultato (valore che, appunto, approssima l’effetto dell’intervento qualora non fosse stato effettuato e che è, per definizione, non osservabile). Semplificando molto, questi modelli ruotano intorno al principio di selezionare un gruppo di destinatari che non sono stati ammessi a beneficio di una data azione di policy (in gergo si dice che “non sono stati trattati” e, quindi, vengono indicati, appunto, come “non trattati”, o anche “controlli”) e sono assolutamente “simili” per variabili osservabili e non osservabili ai destinatari effettivamente trattati. La stima del valore della variabile-risultato a posteriori sui “non trattati”, se effettivamente questi sono “simili” ai “trattati” e trovano conferma alcune assunzioni alla base del modello di stima, fornisce il valore “contro-fattuale” della variabile-risultato.
La differenza fra valore fattuale – osservato per i destinatari “trattati” – e valore contro-fattuale – stimato per i “non trattati” – fornisce una quantificazione metodologicamente fondata dell’impatto di una azione di policy.
7. I vari metodi di stima del valore contro-fattuale della variabile-risultato attraverso la “definizione” di un gruppo di “non trattati” simili ai destinatari “trattati” sono tutti intesi, appunto, a “definire” il “gruppo di confronto” (“non trattati”) sulla base di:
• disegno delle politiche pubbliche (obiettivi e caratteristiche di fondo di tali politiche e anche procedure di selezione di progetti e destinatari ammissibili a beneficio);
• caratteristiche osservabili e non osservabili dei “trattati” (caratteristiche che dovrebbero trovare riscontro anche nel gruppo dei “non trattati”);
• disponibilità e qualità dei dati necessari per effettuare le stime quantitative.
8. Come accennato sopra, non solo “trattati” e “non trattati” debbono essere “simili”, ma debbono anche verificarsi delle assunzioni del modello di stima inerenti ai due gruppi di cui sopra.
• nell’intero periodo di trattamento ambedue i gruppi sono esposti agli stessi effetti del contesto socio-economico e anche di altre politiche pubbliche (ipotesi di “common trend”);
• i membri di ambedue i gruppi non sono a conoscenza di essere trattati o non essere trattati (il nodo della questione è che, specialmente nel caso dei “non trattati”, se capissero di essere o meno parte di uno dei due gruppi, potrebbero non comportarsi come previsto all’inizio, come esplicita lo schema riportato nella figura 2 e, di riflesso, verrebbe meno l’ipotesi di “integrità” dei due gruppi, spiegato a seguire);
• il gruppo dei “trattati” resta integro fino al termine del trattamento e non registra defezioni e resta integro anche il gruppo dei “non trattati”.
La definizione di due gruppi “simili” per caratteristiche osservabili e non osservabili è fondamentale per la robustezza della stima dell’impatto con metodi contro-fattuali. Ma sono anche molto rilevanti le altre tre ipotesi, spesso trascurate. [4]

Figura 2 – Stima degli impatti tramite analisi contro-fattuale e
minacce alla integrità dei gruppi di “trattati” e “non trattati”

*************

[1] Cfr.: Lippi A. (2006), La valutazione delle politiche pubbliche; Il Mulino, Bologna; p. 36.
[2] Questa impostazione, al tempo stesso, mette chiaramente in evidenza anche il principale vincolo di applicazione del c.d. paradigma contro-fattuale presentato brevemente in questo post.
Esso andrebbe sempre usato per delle azioni di policy “semplici” in cui è chiaramente definibile una sola variabile-risultato che ne sintetizza obiettivi e risultati. Il nodo della questione è che anche una azione di policy intesa a sostenere un solo gruppo target può puntare a raggiungere più obiettivi.
A maggior ragione il paradigma contro-fattuale non si può applicare tout court a Programmi “complessi” che, oltre ad annoverare più interventi di politica economica e più gruppi target, annoverano anche più variabili-risultato.
L’altro grande vincolo di applicazione dei metodi contro-fattuali è riconducibile alla necessaria variabilità degli interventi nel tempo e/o nello spazio (fra gli individui).
Nel caso di politiche non universalistiche (partial coverage programs) si potrà applicare tecnicamente il metodo sperimentale o altri metodi di ricostruzione del comparison group, in quanto è possibile “discriminare” fra unità “trattate” e unità “non trattate”.
Per le politiche universalistiche si dovranno applicare metodi che si applicano solo ai “trattati” (si parla di pre post one group design).
Nel caso di politiche universalistiche (total coverage programs), invece, non si possono applicare tutti quei metodi che prevedono la ricostruzione di un comparison group, in quanto de facto esiste solo la categoria dei “trattati”.
Tali politiche concernono, in sostanza, delle politiche di radicale riforma che creano delle discontinuità nel tempo: introduzione della patente a punti (o di nuovi limiti di velocità), introduzione di nuovi obblighi che riguardano tutti i cittadini (divieto antifumo nei locali o casco obbligatorio per tutti).
Infine, bisogna tenere conto del fatto che ciascuno dei metodi analitici di stima contro-fattuale, sovente, richiede una congerie di ipotesi che condizionano l’attendibilità delle stime.
[3] Cfr.: Trivellato U. (2009), Valutare gli effetti delle politiche pubbliche: paradigma e pratiche; IRVAPP; Discussion paper n. 2009-01; p. 2.
[4] Questo contributo è un “work in progress” elaborato nell’ambito del progetto di ricerca del Centro Studi Funds for Reforms Lab “Theory of Change e valutazione di impatto di progetti e programmi complessi” di cui al Piano di Lavoro approvato dal Consiglio Direttivo del 20 Marzo 2023 (progetto di ricerca condotto dal Centro Studi – associazione senza scopo di lucro che, fra l’altro, promuove attività informative e formative su politiche pubbliche e fondi dell’UE – anche negli anni precedenti).
Su analisi di efficacia e di impatto si veda la nota divulgativa: Bonetti A. (2023); Analisi di efficienza, efficacia ed impatto dei Programmi cofinanziati dai Fondi Strutturali 2021-2027; Centro Studi Funds for Reforms Lab, Nota didattica 2/2023.