Tag: Valutazione

Analisi contro-fattuale dell’impatto delle politiche pubbliche e confronti fra gruppo target e gruppo di controllo

Il post, in continuità con il precedente, illustra in termini molto didascalici le basi metodologiche del c.d. paradigma contro-fattuale per la valutazione d’impatto.
Se si considerano gli elementi cardine delle politiche pubbliche – un gruppo target, una data azione di policy e una variabile-risultato – secondo tale paradigma per una corretta quantificazione degli effetti è necessario: (i) attenersi alla seguente domanda valutativa generale: «quale sarebbe stato l’effetto dell’intervento (“trattamento”) sullo stato di benessere psico-fisico della popolazione target, qualora non fosse stato implementato?»; (ii) individuare dei pertinenti modelli di stima del valore contro-fattuale della variabile-risultato (valore che, appunto, approssima l’effetto dell’intervento qualora non fosse stato effettuato e che è, per definizione, non osservabile).
Semplificando molto, i modelli di analisi contro-fattuale ruotano intorno al principio di selezionare un gruppo di destinatari che non sono stati ammessi a beneficio di una data azione di policy (in gergo si dice che “non sono stati trattati” e, quindi, vengono indicati, appunto, come “non trattati”, o anche “controlli”) e sono assolutamente “simili” per variabili osservabili e non osservabili ai destinatari effettivamente trattati. La stima del valore della variabile-risultato a posteriori sui “non trattati”, se effettivamente questi sono “simili” ai “trattati” e trovano conferma alcune assunzioni alla base del modello di stima, fornisce il valore “contro-fattuale” della variabile-risultato.
La differenza fra valore fattuale – osservato per i destinatari “trattati” – e valore contro-fattuale – stimato per i “non trattati” – fornisce una stima metodologicamente fondata dell’impatto di una azione di policy.
Il post si chiude con la presentazione di: (i) vincoli generali all’applicazione dei metodi contro-fattuali; (ii) ipotesi che condizionano la robustezza della quantificazione degli effetti tramite confronto fra valore fattuale di una azione di policy e valore contro-fattuale, definito come valore della variabile-risultato stimato per un “gruppo di confronto” (gruppo di “non trattati” che abbiano caratteristiche osservabili e non osservabili “simili” a quelle dei “trattati”).

Appunti sulla valutazione dell’impatto delle politiche pubbliche

Il post descrive l’impostazione di fondo dell’analisi di impatto delle politiche pubbliche ed introduce il c.d. paradigma contro-fattuale.
Tale paradigma muove, inter alia, dalla consapevolezza che l’impatto di una politica pubblica sulla variabile-risultato che, in un certo senso, ne sintetizza gli obiettivi di fondo, non viene a dipendere solo da quella politica pubblica, ma anche dalla dinamica “spontanea” delle variabili socio-economiche e dagli “effetti di contagio” (spillover effects) di altre politiche pubbliche.
Semplificando molto, si potrebbe sostenere che le politiche pubbliche hanno degli effetti diretti sui destinatari e degli effetti indiretti sul contesto socio-economico e, al tempo stesso, gli effetti delle politiche pubbliche sono determinati anche dalla dinamica “spontanea” del contesto socio-economico. L’applicazione dei vari metodi di analisi contro-fattuale è da ricondurre alla volontà di accademici ed altri esperti che si occupano di valutazione delle politiche pubbliche di “neutralizzare” (in sede di stima) l’influenza sugli effetti di una politica pubblica di dinamica “spontanea” delle variabili socio-economiche e degli “effetti di contagio” di altre politiche pubbliche. Questo in quanto la corretta stima degli impatti dovrebbe definire come tali solo quelli inequivocabilmente attribuibili a quella specifica politica pubblica oggetto della valutazione.

La valutazione dell’efficacia dei Programmi cofinanziati dai Fondi Strutturali

Il post descrive l’impostazione di fondo dell’analisi di efficacia statica e di quella dinamica dei Programmi cofinanziati dai Fondi Strutturali.
Per impostare correttamente queste analisi è opportuno muovere dalla premessa logica che la fase di selezione delle domande di sostegno (dei progetti) da finanziare è cruciale per l’efficacia e per l’impatto degli interventi di policy.
Completezza, semplicità espositiva e chiarezza delle condizioni di accesso alle risorse stanziate degli avvisi di finanziamento e corretta impostazione delle procedure di selezione dei progetti ammissibili a beneficio:
(i) sollecitano una maggiore partecipazione da parte di potenziali beneficiari/destinatari (e, quindi, incidono sull’ampiezza dell’insieme di progetti finanziati, spesso indicato come “parco progetti”); (ii) favoriscono qualità e innovatività dei progetti ammessi a beneficio e (a cascata) la generazione di impatti significativi a seguito dell’attuazione degli interventi finanziati. A tale riguardo, si rimarca che la cura e la completezza degli avvisi di finanziamento sono conditio sine qua non anche per individuare il “giusto dosaggio” delle sovvenzioni da erogare. Al fine di ottimizzare l’uso della finanza disponibile, gli operatori pubblici, infatti, dovrebbero avere la capacità di riuscire a raggiungere i risultati sperati senza eccedere il montante di risorse necessario affinchè, grazie alle sovvenzioni, i destinatari cambino i loro comportamenti e/o raggiungano gli obiettivi di miglioramento desiderati.

L’impostazione di fondo della valutazione dell’efficacia e dell’impatto dei Programmi cofinanziati dai Fondi Strutturali

Il post descrive l’impostazione di fondo delle analisi di efficacia e di impatto dei Programmi cofinanziati dai Fondi Strutturali. Per definire tali analisi è necessario: (i) considerare che esse rispondono al quesito “il Programma pluriennale di spesa produrrà gli effetti sperati?”; (ii) effettuare delle riflessioni su quali siano quelle condizioni ottimali che si dovrebbero realizzare affinchè il Programma possa ottenere gli effetti sperati. Le principali condizioni abilitanti di efficacia e di impatto del Programma si possono riassumere come segue: (i) si selezionano progetti (industriali, infrastrutturali, formativi e di politica attiva del lavoro ed altri) di elevata qualità e/o innovativi; (ii) i progetti finanziati vengono tutti attuati nella loro interezza e conclusi; (iii) i gruppi target oggetto delle varie azioni di policy corrispondono effettivamente a quelli che avrebbero davvero più bisogno di un supporto (capacità di targeting); (iv) i destinatari degli interventi completano il “trattamento”; (v) si riesce a spendere tutte le risorse finanziarie stanziate. Ovviamente, vanno  parimenti considerati i cambiamenti “spontanei” nel contesto socio-economico per stimare correttamente gli impatti.
Quanto appena evidenziato consente di capire meglio anche per quale motivo se, da un lato, è indubbiamente desiderabile che si riescano a spendere tutte le risorse stanziate per singoli interventi e Programmi nel loro complesso, dall’altra questa è condizione necessaria, ma non sufficiente affinchè le policy attuate – anche se in qualche modo si spendono le risorse stanziate – consentano di risolvere dei problemi collettivi e producano impatti strutturali significativi. Affinchè si generino impatti rilevanti e questi siano duraturi nel tempo si devono realizzare tutte le condizioni abilitanti di cui sopra.

Appunti sulla valutazione dell’efficienza dei Programmi cofinanziati dai Fondi Strutturali

Il post descrive l’impostazione di fondo dell’analisi di efficienza dei Programmi cofinanziati dai Fondi Strutturali. Per definire tale analisi è necessario: (i) considerare che essa risponde al quesito “si riuscirà ad attuare il Programma pluriennale di spesa?”; (ii) effettuare delle riflessioni su quali siano quelle condizioni ottimali che si dovrebbero realizzare affinchè si riesca ad attuare al meglio le azioni di policy e il Programma nel suo complesso. Esse si possono riassumere in tre cluster di condizioni abilitanti, ossia (i) capacità di governance; (ii) capacità amministrativa in senso stretto (definita da capacità di compliance procedurale; qualità e chiarezza di atti amministrativi e avvisi di selezione dei progetti e, non ultimo, capacità di rispettare una tempistica di attuazione di macro-fase e fasi operative desiderabile); (iii) capacità operativa (capacità di ottimizzare l’uso delle risorse pubbliche stanziate).
Il post si focalizza, in particolare, sulla analisi della capacità di governance.

Una nota introduttiva sulla valutazione di efficacia e di efficienza dei Programmi cofinanziati dai Fondi Strutturali

Il post propone una lettura introduttiva dell’analisi di efficacia e di efficienza delle politiche pubbliche.
Se si considerano le domande di valutazione a cui rispondono le analisi di efficienza, di efficacia e di impatto, sarebbe più corretto associare analisi di efficacia e di impatto.
Tuttavia, specialmente nel caso dei Programmi cofinanziati dai Fondi Strutturali, si associano analisi di efficienza e analisi di efficacia per due ordini di motivi: (i) tali analisi si effettuano in itinere e al termine degli interventi (l’analisi di impatto complessiva, invece, andrebbe sempre impostata come analisi ex post); (ii) si intende porre in luce che l’efficienza amministrativa condiziona ampiamente efficacia e capacità di spesa di singole azioni di policy e Programmi complessi (nel post per spiegare meglio questo aspetto si forniscono esempi concreti su come i ritardi attuativi incidono negativamente anche sull’efficacia degli interventi e, in ultima istanza, sui tempi di maturazione delle spese).

Regolamento STEP, riesame intermedio dei Programmi Regionali 21-27 e ulteriore indebolimento della valutazione

Il post pone in luce che il «Regolamento STEP» – inteso a sostenere lo sviluppo delle tecnologie strategiche critiche per l’autonomia strategica dell’UE – modificando il processo di riesame intermedio dei Programmi cofinanziati dai Fondi Strutturali, indebolisce la funzione strategica di supporto alle decisioni di policy della valutazione.
Alla base del “riesame intermedio” dei Programmi FESR e FSE+, infatti, vi sono gli elementi elencati nel par. 1 dell’art. 18 del Regolamento generale sui Fondi Strutturali 2021-2027 (si vedano punti dalla lettera a alla lettera f), fra cui: (i) i principali risultati delle valutazioni pertinenti; (ii) i progressi compiuti verso il conseguimento dei target intermedi, tenendo conto delle considerevoli difficoltà riscontrate nell’attuazione dei Programmi. Tali elementi, specialmente laddove le risorse finanziarie assegnate a titolo di “importo di flessibilità” venissero allocate integralmente sulle nuove Priorità ex Reg. (UE) 2024/795, di fatto non verranno presi in considerazione. In altri termini, alla base del “riesame intermedio” non vi sarebbe alcuna valutazione intermedia dei Programmi.

Riesame intermedio dei Programmi Regionali FESR 21-27: cosa cambia dopo l’approvazione del Regolamento STEP sulle tecnologie strategiche per l’UE

Il post rimarca che il «Regolamento STEP» – inteso a sostenere lo sviluppo delle tecnologie strategiche critiche per l’autonomia strategica dell’UE – propone delle modifiche alla base normativa dei Programmi cofinanziati dai Fondi Strutturali che sono destinate a incidere ampiamente sul loro disegno strategico, prevedendo delle condizioni molto favorevoli alla riallocazione di risorse finanziarie verso i nuovi Obiettivi Specifici e i nuovi campi di intervento del FESR introdotti dal tale Regolamento: Inoltre, rivede ampiamente il processo di riesame intermedio dei Programmi.
Le modifiche del novero di Obiettivi Specifici – riguarda solo il FESR – e quelle dei campi di intervento – riguarda FESR e FSE Plus – si possono considerare come scelte tecniche.
Le scelte sulla revisione del processo di riesame intermedio, invece, sono mosse anche da scelte politiche sull’allocazione delle scarse risorse del bilancio dell’UE fra le varie priorità di policy abbastanza discutibili.
Stante l’importanza di rafforzare l’autonomia strategica dell’UE, una volta di più si persegue un obiettivo strategico a livello comunitario senza stanziare “fresh money” e annichilendo i Fondi Strutturali – strumenti con un mandato di policy ben preciso e con una solida base legislativa nei Trattati UE – al mero strumento di bancomat dell’UE.
Inoltre, il riesame intermedio viene ampiamente svuotato del suo ruolo di “mid term review” strategica intesa a riorientare l’attuazione dei Programmi nello scorcio finale della programmazione sulla base di nuove sfide e nuove priorità di sviluppo delle regioni (in particolare di quelle meno sviluppate) e dei primi risultati e delle “lezioni dell’esperienza” dell’attuazione delle linee di finanziamento dei Programmi approvati inizialmente.

L’effetto tsunami sui Programmi Regionali FESR 21-27 del Regolamento STEP sulle tecnologie strategiche critiche

Il post presenta gli obiettivi del «Regolamento STEP» sulla Piattaforma delle Tecnologie Strategiche per l’Europa (Strategic Technologies for Europe Platform – «STEP») e propone un’analisi dei possibili effetti sulla struttura dei Programmi cofinanziati dai Fondi Strutturali delle proposte di revisione dei Regolamenti sui “fondi per la coesione” varate dal Regolamento sulle tecnologie strategiche critiche.
Tali effetti potrebbero essere particolarmente rilevanti per i Programmi Regionali FESR.
Questo per le seguenti ragioni: (i) è prevista la possibilità di inserire due nuovi Obiettivi Specifici (un OS 1.6 “Investimenti in tutte le tecnologie strategiche critiche che contribuiscono agli obiettivi della “piattaforma STEP” e un OS 2.9 “Investimenti che contribuiscono allo sviluppo o alla fabbricazione di tecnologie pulite ed efficienti sotto il profilo delle risorse); (ii) è prevista la possibilità di dare corso a ben sei nuovi campi di intervento (con codici di identificazione che vanno da 188 a 193) per il FESR al fine di coprire le tre diverse categorie di tecnologie strategiche critiche; (iii) ai nuovi Obiettivi Specifici 1.6 e 2.9, ovviamente, sono associati sia nuovi Indicatori di Output pertinenti, sia nuovi Indicatori di Risultato; (iv) potranno essere finanziate anche le Grandi Imprese che, in generale, sono escluse dai contributi del FESR; (v) per le azioni intese a sostenere i due nuovi Obiettivi Specifici 1.6 e 2.9 si applicherà un tasso di cofinanziamento del 100%.
Inoltre, l’art. 13 del «Regolamento STEP» prevede una radicale rivisitazione del c.d. “riesame intermedio” di cui all’art. 18 del Reg. (UE) 2021/1060 e, di riflesso, delle condizioni di assegnazione del c.d. “importo di flessibilità” per le ultime due annualità di programmazione di cui all’art. 86 del Reg. (UE) 2021/1060.
Nei prossimi mesi vi sarà molto lavoro da fare per le Autorità di Gestione dei Programmi Regionali FESR.

Principali elementi di incertezza delle politiche pubbliche deliberate e valutazione

Il post evidenzia che, in genere, l’analisi dei processi decisionali non è debitamente considerata nell’approccio alla valutazione dei Programmi cofinanziati dai Fondi Strutturali tradizionalmente suggerito dalla Commissione Europea.
Se si tiene in debita considerazione la rilevanza dell’analisi dei processi decisionali, alla valutazione si possono legare tre grandi focus di analisi: (i) perché è stato deliberato un certo intervento di politica economica? (analisi dei processi decisionali che hanno portato a deliberare un certo intervento e a stanziare dei soldi pubblici per attuarlo); (ii) come è stato attuato? (analisi dei processi di implementazione e dell’efficienza amministrativa); (iii) l’intervento ha prodotto gli effetti sperati? (analisi di efficacia e di impatto).
In estrema sintesi, monitoraggio e audit consentono di rispondere alla domanda “come sono spesi i soldi pubblici?”; la valutazione risponde alla domanda “sono soldi ben spesi?”.