Tag: Theory of Change

Appunti 30.07.2024 – Il disegno strategico dei Programmi FSE+

by  •  • 0 Comments

Gli Appunti di oggi illustrano molto brevemente la ratio del disegno strategico dei Programmi cofinanziati da FSE+.
In merito, preme evidenziare che, sebbene FSE+ riunisca più strumenti del periodo 14-20 intesi a sostenere politiche attive del lavoro, qualità dei sistemi di istruzione e formazione e interventi di inclusione sociale, il disegno strategico dei Programmi FSE+ 21-27 (specialmente nel caso dei Programmi Regionali) continua di fatto a ricalcare quello dei Programmi 14-20.
I tre settori di intervento (Priorità) di FSE+ per il periodo 21-27 (1. Occupazione e mobilità professionale, 2. Istruzione e formazione e 3. Inclusione sociale), infatti, corrispondono agli Obiettivi Tematici 8, 9 e 10 della precedente programmazione, come identificati dall’art. 9 del Reg. (UE) 1303/2013 (Regolamento generale sui Fondi SIE 2014-2020) e dagli articoli 2 e 3 del Reg. (UE) 1304/2013 sul Fondo Sociale Europeo.

Read more →

Analisi contro-fattuale dell’impatto delle politiche pubbliche e confronti fra gruppo target e gruppo di controllo

by  •  • 0 Comments

Il post, in continuità con il precedente, illustra in termini molto didascalici le basi metodologiche del c.d. paradigma contro-fattuale per la valutazione d’impatto.
Se si considerano gli elementi cardine delle politiche pubbliche – un gruppo target, una data azione di policy e una variabile-risultato – secondo tale paradigma per una corretta quantificazione degli effetti è necessario: (i) attenersi alla seguente domanda valutativa generale: «quale sarebbe stato l’effetto dell’intervento (“trattamento”) sullo stato di benessere psico-fisico della popolazione target, qualora non fosse stato implementato?»; (ii) individuare dei pertinenti modelli di stima del valore contro-fattuale della variabile-risultato (valore che, appunto, approssima l’effetto dell’intervento qualora non fosse stato effettuato e che è, per definizione, non osservabile).
Semplificando molto, i modelli di analisi contro-fattuale ruotano intorno al principio di selezionare un gruppo di destinatari che non sono stati ammessi a beneficio di una data azione di policy (in gergo si dice che “non sono stati trattati” e, quindi, vengono indicati, appunto, come “non trattati”, o anche “controlli”) e sono assolutamente “simili” per variabili osservabili e non osservabili ai destinatari effettivamente trattati. La stima del valore della variabile-risultato a posteriori sui “non trattati”, se effettivamente questi sono “simili” ai “trattati” e trovano conferma alcune assunzioni alla base del modello di stima, fornisce il valore “contro-fattuale” della variabile-risultato.
La differenza fra valore fattuale – osservato per i destinatari “trattati” – e valore contro-fattuale – stimato per i “non trattati” – fornisce una stima metodologicamente fondata dell’impatto di una azione di policy.
Il post si chiude con la presentazione di: (i) vincoli generali all’applicazione dei metodi contro-fattuali; (ii) ipotesi che condizionano la robustezza della quantificazione degli effetti tramite confronto fra valore fattuale di una azione di policy e valore contro-fattuale, definito come valore della variabile-risultato stimato per un “gruppo di confronto” (gruppo di “non trattati” che abbiano caratteristiche osservabili e non osservabili “simili” a quelle dei “trattati”).

Read more →

Appunti sulla valutazione dell’impatto delle politiche pubbliche

by  •  • 0 Comments

Il post descrive l’impostazione di fondo dell’analisi di impatto delle politiche pubbliche ed introduce il c.d. paradigma contro-fattuale.
Tale paradigma muove, inter alia, dalla consapevolezza che l’impatto di una politica pubblica sulla variabile-risultato che, in un certo senso, ne sintetizza gli obiettivi di fondo, non viene a dipendere solo da quella politica pubblica, ma anche dalla dinamica “spontanea” delle variabili socio-economiche e dagli “effetti di contagio” (spillover effects) di altre politiche pubbliche.
Semplificando molto, si potrebbe sostenere che le politiche pubbliche hanno degli effetti diretti sui destinatari e degli effetti indiretti sul contesto socio-economico e, al tempo stesso, gli effetti delle politiche pubbliche sono determinati anche dalla dinamica “spontanea” del contesto socio-economico. L’applicazione dei vari metodi di analisi contro-fattuale è da ricondurre alla volontà di accademici ed altri esperti che si occupano di valutazione delle politiche pubbliche di “neutralizzare” (in sede di stima) l’influenza sugli effetti di una politica pubblica di dinamica “spontanea” delle variabili socio-economiche e degli “effetti di contagio” di altre politiche pubbliche. Questo in quanto la corretta stima degli impatti dovrebbe definire come tali solo quelli inequivocabilmente attribuibili a quella specifica politica pubblica oggetto della valutazione.

Read more →

La valutazione dell’efficacia dei Programmi cofinanziati dai Fondi Strutturali

by  •  • 0 Comments

Il post descrive l’impostazione di fondo dell’analisi di efficacia statica e di quella dinamica dei Programmi cofinanziati dai Fondi Strutturali.
Per impostare correttamente queste analisi è opportuno muovere dalla premessa logica che la fase di selezione delle domande di sostegno (dei progetti) da finanziare è cruciale per l’efficacia e per l’impatto degli interventi di policy.
Completezza, semplicità espositiva e chiarezza delle condizioni di accesso alle risorse stanziate degli avvisi di finanziamento e corretta impostazione delle procedure di selezione dei progetti ammissibili a beneficio:
(i) sollecitano una maggiore partecipazione da parte di potenziali beneficiari/destinatari (e, quindi, incidono sull’ampiezza dell’insieme di progetti finanziati, spesso indicato come “parco progetti”); (ii) favoriscono qualità e innovatività dei progetti ammessi a beneficio e (a cascata) la generazione di impatti significativi a seguito dell’attuazione degli interventi finanziati. A tale riguardo, si rimarca che la cura e la completezza degli avvisi di finanziamento sono conditio sine qua non anche per individuare il “giusto dosaggio” delle sovvenzioni da erogare. Al fine di ottimizzare l’uso della finanza disponibile, gli operatori pubblici, infatti, dovrebbero avere la capacità di riuscire a raggiungere i risultati sperati senza eccedere il montante di risorse necessario affinchè, grazie alle sovvenzioni, i destinatari cambino i loro comportamenti e/o raggiungano gli obiettivi di miglioramento desiderati.

Read more →

L’impostazione di fondo della valutazione dell’efficacia e dell’impatto dei Programmi cofinanziati dai Fondi Strutturali

by  •  • 0 Comments

Il post descrive l’impostazione di fondo delle analisi di efficacia e di impatto dei Programmi cofinanziati dai Fondi Strutturali. Per definire tali analisi è necessario: (i) considerare che esse rispondono al quesito “il Programma pluriennale di spesa produrrà gli effetti sperati?”; (ii) effettuare delle riflessioni su quali siano quelle condizioni ottimali che si dovrebbero realizzare affinchè il Programma possa ottenere gli effetti sperati. Le principali condizioni abilitanti di efficacia e di impatto del Programma si possono riassumere come segue: (i) si selezionano progetti (industriali, infrastrutturali, formativi e di politica attiva del lavoro ed altri) di elevata qualità e/o innovativi; (ii) i progetti finanziati vengono tutti attuati nella loro interezza e conclusi; (iii) i gruppi target oggetto delle varie azioni di policy corrispondono effettivamente a quelli che avrebbero davvero più bisogno di un supporto (capacità di targeting); (iv) i destinatari degli interventi completano il “trattamento”; (v) si riesce a spendere tutte le risorse finanziarie stanziate. Ovviamente, vanno  parimenti considerati i cambiamenti “spontanei” nel contesto socio-economico per stimare correttamente gli impatti.
Quanto appena evidenziato consente di capire meglio anche per quale motivo se, da un lato, è indubbiamente desiderabile che si riescano a spendere tutte le risorse stanziate per singoli interventi e Programmi nel loro complesso, dall’altra questa è condizione necessaria, ma non sufficiente affinchè le policy attuate – anche se in qualche modo si spendono le risorse stanziate – consentano di risolvere dei problemi collettivi e producano impatti strutturali significativi. Affinchè si generino impatti rilevanti e questi siano duraturi nel tempo si devono realizzare tutte le condizioni abilitanti di cui sopra.

Read more →

Una nota introduttiva sulla valutazione di efficacia e di efficienza dei Programmi cofinanziati dai Fondi Strutturali

by  •  • 0 Comments

Il post propone una lettura introduttiva dell’analisi di efficacia e di efficienza delle politiche pubbliche.
Se si considerano le domande di valutazione a cui rispondono le analisi di efficienza, di efficacia e di impatto, sarebbe più corretto associare analisi di efficacia e di impatto.
Tuttavia, specialmente nel caso dei Programmi cofinanziati dai Fondi Strutturali, si associano analisi di efficienza e analisi di efficacia per due ordini di motivi: (i) tali analisi si effettuano in itinere e al termine degli interventi (l’analisi di impatto complessiva, invece, andrebbe sempre impostata come analisi ex post); (ii) si intende porre in luce che l’efficienza amministrativa condiziona ampiamente efficacia e capacità di spesa di singole azioni di policy e Programmi complessi (nel post per spiegare meglio questo aspetto si forniscono esempi concreti su come i ritardi attuativi incidono negativamente anche sull’efficacia degli interventi e, in ultima istanza, sui tempi di maturazione delle spese).

Read more →

Principali elementi di incertezza delle politiche pubbliche deliberate e valutazione

by  •  • 0 Comments

Il post evidenzia che, in genere, l’analisi dei processi decisionali non è debitamente considerata nell’approccio alla valutazione dei Programmi cofinanziati dai Fondi Strutturali tradizionalmente suggerito dalla Commissione Europea.
Se si tiene in debita considerazione la rilevanza dell’analisi dei processi decisionali, alla valutazione si possono legare tre grandi focus di analisi: (i) perché è stato deliberato un certo intervento di politica economica? (analisi dei processi decisionali che hanno portato a deliberare un certo intervento e a stanziare dei soldi pubblici per attuarlo); (ii) come è stato attuato? (analisi dei processi di implementazione e dell’efficienza amministrativa); (iii) l’intervento ha prodotto gli effetti sperati? (analisi di efficacia e di impatto).
In estrema sintesi, monitoraggio e audit consentono di rispondere alla domanda “come sono spesi i soldi pubblici?”; la valutazione risponde alla domanda “sono soldi ben spesi?”.

Read more →

Appunti su formulazione di Programmi e interventi cofinanziati dai Fondi “per la coesione” e ciclo di policy making

by  •  • 0 Comments

Il post è inteso a illustrare un elemento basilare dell’analisi delle politiche pubbliche, ossia il c.d. “ciclo di policy making”. Esso, di fatto, si configura come l’applicazione ai processi decisionali pubblici della c.d. teoria del “ciclo del progetto”, per cui i processi di scelta pubblica possono essere articolati in più fasi concatenate, vista la natura di per sé iterativa e circolare del ciclo di policy making (traducibile come “ciclo di formulazione delle politiche pubbliche”). Nel post cerco di spiegare che per definire in modo pertinente il ciclo di policy making – strumento da adattare poi a seconda delle peculiarità legislativo-istituzionali e operative delle materie oggetto di scelte pubbliche – è molto utile fare riferimento a uno dei più importanti strumenti di project management, ossia il Ciclo “Plan Do Check Act”, (PDCA) proposto nel secolo scorso da Walter Shewhart e poi perfezionato da Edward Deming.

Read more →

Strategie di capacity building per la gestione dei Fondi Strutturali: i limiti della nota metodologica della Commissione “tabella di marcia per lo sviluppo delle capacità amministrative”

by  •  • 0 Comments

Il post illustra i principali limiti operativi della Guida del 2020 della Commissione sulle strategie di rafforzamento amministrativo per la gestione dei Fondi Strutturali (la c.d. “tabella di marcia per lo sviluppo delle capacità amministrative”).
Muovendo dall’impostazione seguita dal Development Programme delle Nazioni Unite (UNDP) che definisce le strategie di capacity building sulla scorta di tre “domande guida” (1. Capacity for why?; 2. Capacity for whom?; 3. Capacity for what?), il breve articolo sottolinea in primo luogo che un siffatto approccio – ampiamente desiderabile in generale – non si rintraccia minimamente nel contributo metodologico della Commissione. Inoltre, nella “tabella di marcia per lo sviluppo delle capacità amministrative” viene ampiamente trascurata l’importanza di differenziare la strategia di capacity building a seconda di: (i) macro-fasi e fasi operative dei processi di gestione in senso lato degli interventi cofinanziati dai Fondi Strutturali; (ii) macro-tipologia e tipologia degli interventi (regimi di aiuto, realizzazione di opere pubbliche, acquisti di forniture e servizi da parte della PA, interventi di sviluppo delle risorse umane); (iii) tipo di modalità attuativa (un conto è valutare la “capacità amministrativa” per gli interventi “a titolarità regionale” ed un conto è farlo per quelli “a regia regionale”, in relazione ai quali è strettamente necessario capire come incide sulla “capacità amministrativa” generale anche quella specifica dei soggetti attuatori degli interventi ammessi a beneficio, che agiranno da stazioni appaltanti)

Read more →

Alcune considerazioni critiche sulla valutazione dell’approccio LEADER

by  •  • 0 Comments

Il post propone delle critiche all’approccio alla valutazione del LEADER della Commissione Europea. Tali critiche, peraltro si possono applicare anche all’audit sul LEADER della Corte dei Conti Europea i cui risultati sono riportati nella Relazione Speciale N. 10/2022. L’analisi della Corte, infatti, non sembra sorretta da un robusto approccio valutativo. L’approccio alla valutazione del LEADER della Commissione, di fatto, è focalizzato sul c.d. “valore aggiunto LEADER” – riassumibile con tre presunti grandi vantaggi, ossia il miglioramento dei processi di governance locale; il rafforzamento del capitale sociale delle aree geografiche interessate dai PSL e una maggiore qualità dei progetti – che scaturirebbe dai sette principi chiave del LEADER, ossia: (i) approccio place-based; (ii) gestione affidata a dei Partenariati Pubblico Privato formalmente costituiti, denominati Gruppi di Azione Locale (GAL); (iii) approccio bottom-up per la formulazione della strategia di sviluppo; (iv) strategia integrata multi-settoriale; (v) innovazione; (vi) networking; (vii) cooperazione. Il principale aspetto critico dell’approccio valutativo convenzionale del LEADER è che esso manca di una solida “theory of change” che spieghi come i sette principi chiave del LEADER si traducano nel suo specifico “valore aggiunto”. Inoltre, non sembrano sufficientemente fondati i “criteri di giudizio” associati alla Domanda Valutativa centrale dell’approccio alla valutazione del LEADER della Commissione e, non ultimo, almeno due dei tre indicatori di risultato associati alla Domanda Valutativa non si configurano propriamente come degli indicatori di risultato.

Read more →