Tag: Key Performance Indicators

Analisi contro-fattuale dell’impatto delle politiche pubbliche e confronti fra gruppo target e gruppo di controllo

by  •  • 0 Comments

Il post, in continuità con il precedente, illustra in termini molto didascalici le basi metodologiche del c.d. paradigma contro-fattuale per la valutazione d’impatto.
Se si considerano gli elementi cardine delle politiche pubbliche – un gruppo target, una data azione di policy e una variabile-risultato – secondo tale paradigma per una corretta quantificazione degli effetti è necessario: (i) attenersi alla seguente domanda valutativa generale: «quale sarebbe stato l’effetto dell’intervento (“trattamento”) sullo stato di benessere psico-fisico della popolazione target, qualora non fosse stato implementato?»; (ii) individuare dei pertinenti modelli di stima del valore contro-fattuale della variabile-risultato (valore che, appunto, approssima l’effetto dell’intervento qualora non fosse stato effettuato e che è, per definizione, non osservabile).
Semplificando molto, i modelli di analisi contro-fattuale ruotano intorno al principio di selezionare un gruppo di destinatari che non sono stati ammessi a beneficio di una data azione di policy (in gergo si dice che “non sono stati trattati” e, quindi, vengono indicati, appunto, come “non trattati”, o anche “controlli”) e sono assolutamente “simili” per variabili osservabili e non osservabili ai destinatari effettivamente trattati. La stima del valore della variabile-risultato a posteriori sui “non trattati”, se effettivamente questi sono “simili” ai “trattati” e trovano conferma alcune assunzioni alla base del modello di stima, fornisce il valore “contro-fattuale” della variabile-risultato.
La differenza fra valore fattuale – osservato per i destinatari “trattati” – e valore contro-fattuale – stimato per i “non trattati” – fornisce una stima metodologicamente fondata dell’impatto di una azione di policy.
Il post si chiude con la presentazione di: (i) vincoli generali all’applicazione dei metodi contro-fattuali; (ii) ipotesi che condizionano la robustezza della quantificazione degli effetti tramite confronto fra valore fattuale di una azione di policy e valore contro-fattuale, definito come valore della variabile-risultato stimato per un “gruppo di confronto” (gruppo di “non trattati” che abbiano caratteristiche osservabili e non osservabili “simili” a quelle dei “trattati”).

Read more →

Appunti sulla valutazione dell’impatto delle politiche pubbliche

by  •  • 0 Comments

Il post descrive l’impostazione di fondo dell’analisi di impatto delle politiche pubbliche ed introduce il c.d. paradigma contro-fattuale.
Tale paradigma muove, inter alia, dalla consapevolezza che l’impatto di una politica pubblica sulla variabile-risultato che, in un certo senso, ne sintetizza gli obiettivi di fondo, non viene a dipendere solo da quella politica pubblica, ma anche dalla dinamica “spontanea” delle variabili socio-economiche e dagli “effetti di contagio” (spillover effects) di altre politiche pubbliche.
Semplificando molto, si potrebbe sostenere che le politiche pubbliche hanno degli effetti diretti sui destinatari e degli effetti indiretti sul contesto socio-economico e, al tempo stesso, gli effetti delle politiche pubbliche sono determinati anche dalla dinamica “spontanea” del contesto socio-economico. L’applicazione dei vari metodi di analisi contro-fattuale è da ricondurre alla volontà di accademici ed altri esperti che si occupano di valutazione delle politiche pubbliche di “neutralizzare” (in sede di stima) l’influenza sugli effetti di una politica pubblica di dinamica “spontanea” delle variabili socio-economiche e degli “effetti di contagio” di altre politiche pubbliche. Questo in quanto la corretta stima degli impatti dovrebbe definire come tali solo quelli inequivocabilmente attribuibili a quella specifica politica pubblica oggetto della valutazione.

Read more →

La valutazione dell’efficacia dei Programmi cofinanziati dai Fondi Strutturali

by  •  • 0 Comments

Il post descrive l’impostazione di fondo dell’analisi di efficacia statica e di quella dinamica dei Programmi cofinanziati dai Fondi Strutturali.
Per impostare correttamente queste analisi è opportuno muovere dalla premessa logica che la fase di selezione delle domande di sostegno (dei progetti) da finanziare è cruciale per l’efficacia e per l’impatto degli interventi di policy.
Completezza, semplicità espositiva e chiarezza delle condizioni di accesso alle risorse stanziate degli avvisi di finanziamento e corretta impostazione delle procedure di selezione dei progetti ammissibili a beneficio:
(i) sollecitano una maggiore partecipazione da parte di potenziali beneficiari/destinatari (e, quindi, incidono sull’ampiezza dell’insieme di progetti finanziati, spesso indicato come “parco progetti”); (ii) favoriscono qualità e innovatività dei progetti ammessi a beneficio e (a cascata) la generazione di impatti significativi a seguito dell’attuazione degli interventi finanziati. A tale riguardo, si rimarca che la cura e la completezza degli avvisi di finanziamento sono conditio sine qua non anche per individuare il “giusto dosaggio” delle sovvenzioni da erogare. Al fine di ottimizzare l’uso della finanza disponibile, gli operatori pubblici, infatti, dovrebbero avere la capacità di riuscire a raggiungere i risultati sperati senza eccedere il montante di risorse necessario affinchè, grazie alle sovvenzioni, i destinatari cambino i loro comportamenti e/o raggiungano gli obiettivi di miglioramento desiderati.

Read more →

Una nota introduttiva sulla valutazione di efficacia e di efficienza dei Programmi cofinanziati dai Fondi Strutturali

by  •  • 0 Comments

Il post propone una lettura introduttiva dell’analisi di efficacia e di efficienza delle politiche pubbliche.
Se si considerano le domande di valutazione a cui rispondono le analisi di efficienza, di efficacia e di impatto, sarebbe più corretto associare analisi di efficacia e di impatto.
Tuttavia, specialmente nel caso dei Programmi cofinanziati dai Fondi Strutturali, si associano analisi di efficienza e analisi di efficacia per due ordini di motivi: (i) tali analisi si effettuano in itinere e al termine degli interventi (l’analisi di impatto complessiva, invece, andrebbe sempre impostata come analisi ex post); (ii) si intende porre in luce che l’efficienza amministrativa condiziona ampiamente efficacia e capacità di spesa di singole azioni di policy e Programmi complessi (nel post per spiegare meglio questo aspetto si forniscono esempi concreti su come i ritardi attuativi incidono negativamente anche sull’efficacia degli interventi e, in ultima istanza, sui tempi di maturazione delle spese).

Read more →

L’applicazione della tecnica Earned Value Management ai regimi di aiuto e alle azioni alle persone dei PR FSE Plus

by  •  • 0 Comments

La lettura dell’avanzamento dei progetti di pubblica utilità cofinanziati dai Fondi Strutturali è più complessa nel caso di: (i) regimi di aiuto volti a sostenere la competitività del sistema produttivo (sussidi per la creazione di nuove imprese, sussidi per sostenere gli investimenti delle PMI e/o di imprese sociali cofinanziati dal FESR o anche sussidi alle imprese per salvaguardare i livelli occupazionali cofinanziati da FSE Plus); (ii) “azioni alle persone” cofinanziate da FSE Plus (azioni per sostenere l’inserimento occupazionale, forme di work experience e altre azioni volte a sostenere i livelli occupazionali). Con riferimento a queste ultime vanno considerate due problematiche specifiche: (i) la disponibilità parziale di una consolidata base informativa per la stima dei costi unitari “a budget” degli output sulla base dei quali effettuare a priori una corretta proiezione dei valori target da raggiungere secondo una logica “Key Performance Indicators” oppure, in alternativa o a latere, le variabili chiave dell’Earned Value Management (EVM); (ii) la capacità di raggiungere o meno i valori target degli indicatori di realizzazione viene a dipendere da vari fattori esterni non controllabili dall’operatore pubblico, per cui non è mai facile fornire una valutazione oggettiva della sua performance.

Read more →

Monitoraggio e valutazione delle azioni di policy cofinanziate dai Fondi Strutturali: l’applicazione della tecnica Earned Value Management

by  •  • 0 Comments

L’approccio convenzionale alla misurazione dell’avanzamento dei progetti, delle azioni di policy e dei Programmi complessi cofinanziati dai Fondi Strutturali è di fatto basato sul monitoraggio di Key Performance Indicators (indicatori di efficienza ed indicatori di efficacia). Si tratta di un approccio che prende in esame, separatamente, i singoli indicatori e calcola, in itinere e al termine, gli scostamenti dei valori effettivi da quelli fissati inizialmente come target.
Il breve articolo pone in luce come la tecnica di controllo Earned Value Management si possa applicare alle azioni di policy che costituiscono l’ossatura dei Programmi di spesa cofinanziati dai Fondi Strutturali. L’EVM, come evidenziato nei precedenti post, consente di tenere insieme la verifica dell’efficacia delle azioni, la verifica dell’efficienza ammnistrativa e anche quella dell’efficienza operativa (intesa come capacità di ottimizzare uso delle risorse e costo medio delle attività e/o degli output prodotti). Considerando la definizione delle tre variabili chiave di questa tecnica e delle due variabili di scostamento (Cost Variance e Schedule Variance) essa consente parimenti di rendere più agevole per tutti la comprensione della reportistica di monitoraggio, contribuendo così a rafforzare la trasparenza sull’attuazione delle azioni di policy e delle operazioni ammesse a beneficio.

Read more →

Monitoraggio e valutazione dei progetti: la tecnica dell’Earned Value Management

by  •  • 0 Comments

L’approccio convenzionale alla misurazione dell’avanzamento dei progetti e dei Programmi complessi cofinanziati dai Fondi Strutturali è di fatto basato sul monitoraggio di Key Performance Indicators (indicatori di efficienza ed indicatori di efficacia relativi sia alla capacità di realizzare gli output programmati all’inizio, sia alla capacità di spendere le risorse). I riferimenti del monitoraggio e della valutazione sono in primo luogo degli indicatori “di avanzamento” (fisico e finanziario). Si tratta di un approccio “a compartimenti stagni”, per cui si monitora l’avanzamento di questi indicatori e si formulano dei giudizi su avanzamento fisico, avanzamento finanziario e avanzamento procedurale. La tecnica di controllo Earned Value Management, invece, si fonda su un approccio integrato nel senso che tiene insieme il controllo sull’avanzamento di attività e di output da produrre, sul rispetto delle scadenze principali indicate nel cronoprogramma e sulla capacità di tenere sotto controllo i costi in corso d’opera, in modo che al termine non vi siano sforamenti del budget e che, qualora vi siano delle economie di risorse, queste siano dovute, com’è desiderabile, a un’elevata efficienza complessiva. L’EVM si basa su tre variabili di base (Planned Value, Actual Cost ed Earned Value) e su due variabili “di scostamento”. Una è definita Schedule Variance, in quanto consente di tenere sotto controllo la capacità del progetto di rispettare il piano di lavoro iniziale ed una è definita Cost Variance in quanto consente di tenere sotto controllo la coerenza delle spese effettive maturate in itinere con quanto pianificato inizialmente.

Read more →