Tag: Valutazione

Alcune considerazioni critiche sulla valutazione dell’approccio LEADER

Il post propone delle critiche all’approccio alla valutazione del LEADER della Commissione Europea. Tali critiche, peraltro si possono applicare anche all’audit sul LEADER della Corte dei Conti Europea i cui risultati sono riportati nella Relazione Speciale N. 10/2022. L’analisi della Corte, infatti, non sembra sorretta da un robusto approccio valutativo. L’approccio alla valutazione del LEADER della Commissione, di fatto, è focalizzato sul c.d. “valore aggiunto LEADER” – riassumibile con tre presunti grandi vantaggi, ossia il miglioramento dei processi di governance locale; il rafforzamento del capitale sociale delle aree geografiche interessate dai PSL e una maggiore qualità dei progetti – che scaturirebbe dai sette principi chiave del LEADER, ossia: (i) approccio place-based; (ii) gestione affidata a dei Partenariati Pubblico Privato formalmente costituiti, denominati Gruppi di Azione Locale (GAL); (iii) approccio bottom-up per la formulazione della strategia di sviluppo; (iv) strategia integrata multi-settoriale; (v) innovazione; (vi) networking; (vii) cooperazione. Il principale aspetto critico dell’approccio valutativo convenzionale del LEADER è che esso manca di una solida “theory of change” che spieghi come i sette principi chiave del LEADER si traducano nel suo specifico “valore aggiunto”. Inoltre, non sembrano sufficientemente fondati i “criteri di giudizio” associati alla Domanda Valutativa centrale dell’approccio alla valutazione del LEADER della Commissione e, non ultimo, almeno due dei tre indicatori di risultato associati alla Domanda Valutativa non si configurano propriamente come degli indicatori di risultato.

Le recenti critiche della Corte dei Conti Europea all’approccio LEADER

Il post discute le recenti critiche della Corte dei Conti Europea all’approccio Sviluppo Locale di Tipo Partecipativo (approccio CLLD/LEADER) presentate nella Relazione Speciale N. 10/2022. Tali critiche, quantunque in ampia parte condivisibili, non appaiono particolarmente solide per i seguenti motivi: (i) l’analisi non sembra sorretta da un robusto approccio valutativo; (ii) l’analisi, di conseguenza, fornisce delle giustificazioni un po’ vaghe in merito al limitato valore aggiunto dell’approccio CLLD/LEADER. A tale riguardo si evidenzia che la valutazione dell’approccio CLLD/LEADER è alquanto complessa per molteplici motivi, fra cui spiccano la sua natura complessa e il fatto che l’efficacia degli interventi implementati seguendo tale approccio viene a dipendere dal comportamento di molteplici attori. Inoltre, l’approccio alla valutazione del LEADER suggerito dalla Commissione e da altri Enti istituzionali di ricerca non è sufficientemente ancorato a una solida e circostanziata “theory of change” (“teoria del cambiamento”).

La “pertinenza verticale” del Programmi Regionali FESR: focus sugli interventi a sostegno del sistema produttivo

Il post argomenta che, quantunque la valutazione ex ante dei programmi cofinanziati dai Fondi Strutturali per il periodo 2021-2027 non sia obbligatoria, sarebbe ampiamente opportuno effettuarla. In particolare, dovrebbe essere verificata con attenzione la “pertinenza istituzionale” (coerenza “istituzionale”) rispetto alle grandi direttrici strategiche delle politiche dell’UE. I programmi FESR 2021-2027 sono articolati in Obiettivi di Policy e Obiettivi Specifici. La valutazione della “pertinenza istituzionale” può essere fatta a livello di intero Programma, di Obiettivi di Policy, di ambiti di intervento inseriti negli Obiettivi di Policy e anche di Obiettivi Specifici. Il post si sofferma sull’Obiettivo di Policy 1 (OP 1 “Un’Europa più intelligente e competitiva”) e, più specificamente, sulla strategia di politica industriale che le Regioni possono perseguire nell’ambito dell’OP 1. Ragionando su questo ambito di policy la verifica della “pertinenza istituzionale” dovrebbe considerare come termini di riferimento la strategia dell’UE per la realizzazione di uno Spazio Europeo della Ricerca, gli interventi per il sostegno alle imprese e il buon funzionamento del mercato interno e i molteplici interventi per la digitalizzazione dell’economia e della società.

Ciclo del progetto: la fase iniziale di ideazione

Il post illustra la fase di ideazione (avvio) del “ciclo del progetto”, che si può articolare in tre sub-fasi (identificazione, analisi e formulazione).
La fase di ideazione si chiude con l’elaborazione di una “proposta di progetto” o “progetto preliminare”.
Molti autori asseriscono che si chiuda con il “project charter” (una sorta di atto che formalizza la conclusione della fase di avvio). Così non è. Va sempre considerata una fase (fase “fantasma” in molti “cicli del progetto” proposti in Guide e Manuali), che è quella dell’approvazione dei progetti. Non va mai dimenticato che solo nel caso in cui la “proposta di progetto” venga approvata, sarà possibile definire il “project charter” e proseguire con una fase successiva di approfondimento che conduce all’elaborazione del “progetto esecutivo”.

Ciclo del progetto, monitoraggio e valutazione d’impatto

Il post argomenta che per capire adeguatamente il ruolo della valutazione di impatto bisogna collocarla nella fase di maturazione degli effetti strutturali del “ciclo del progetto” (generalmente non richiamata anche in rilevanti Manuali sulla formulazione dei progetti). Questa fase – che corrisponde alla fase “Act” del Ciclo “Plan-Do-Check-Act” – include anche il processo di apprendimento dall’attuazione del progetto (catalizzato dalla stessa valutazione di impatto) e quello della valorizzazione delle “lezioni dell’esperienza” attuazione da parte dei decisori politici e degli esperti che li supportano nella formulazione di progetti o di Programmi complessi. La valutazione di impatto, quindi, anche più della valutazione “on-going” ha quali finalità precipue quelle di rendere conto di attuazione ed effetti strutturali dei progetti e di supportare i processi di decisione strategica.

Catene logiche e processi di Monitoraggio e Valutazione dei progetti

Il post illustra le tre parti costitutive fondamentali delle c.d. “catene logiche”, che sono sempre alla base di una buona formulazione di progetti di sviluppo socio-economico e programmi complessi. Esse sono implementazione (piano di lavoro del progetto), ipotesi e gap logici e risultati e impatti.
Il blocco implementazione è completamente interno al progetto (e direttamente controllabile dall’agenzia esecutrice o dal team incaricato di realizzarlo). Risultati e impatti di lungo termine, invece, dipendono in parte dal progetto e in ampia parte da fattori di contesto. Questo è un aspetto molto rilevante da considerare anche in sede di definizione dei processi di monitoraggio e valutazione dei progetti.

La base normativa dei processi di Monitoraggio e Valutazione dei Programmi FESR 2021-2027

Il post, dopo aver ricordato l’importanza dei processi di Monitoraggio e Valutazione (M&V) dei Programmi cofinanziati dai Fondi Strutturali, richiama i principali riferimenti normativi per l’impostazione delle attività di M&V dei Programmi FESR 2021-2027. Gli aspetti principali da sottolineare sono l’importanza strategica del “performance framework”, normato dagli articoli 16 e 17 del Reg. (UE) 2021/1060 e per il FESR l’introduzione di un set di indicatori “comuni” di risultato. Il problema più rilevante evidenziato nel post concerne il fatto che gli indicatori “comuni” previsti dal Reg. (UE) 2021/1058, in diversi casi, non appaiono pienamente coerenti con azioni di policy ammissibili a beneficio e campi di intervento, né facilmente rilevabili.

Formulazione dei Programmi cofinanziati dai Fondi Strutturali 2021-2027 e valutazione

Il post illustra alcuni elementi basilari sulla formulazione dei Programmi complessi – quali sono quelli cofinanziati dai Fondi Strutturali – e sulla loro valutazione.
Anche questi Programmi, infatti, sono informati alla logica generale per cui si deve delineare a priori il “percorso di cambiamento” attivato dagli interventi di policy (“teoria del cambiamento”). In altri termini, per la loro formulazione sarebbero importanti la “teoria del cambiamento” insita nel Programma, una adeguata valutazione ex ante e la contestuale definizione del “disegno di valutazione” dei Programmi. Inoltre, va sempre ricordato che la valutazione degli impatti dei Programmi non si può assolutamente fondare su degli indicatori, bensì deve essere fondata sulla rigorosa applicazione di metodi di analisi contro-fattuale. La ragione risiede nel fatto che gli effetti strutturali dei Programmi sulle variabili socio-economiche non vengono solo a dipendere dall’attuazione degli interventi (cause endogene), ma anche da una congerie di variabili “esogene” rispetto al Programma (cause esogene di contesto).

Next Generation EU: alcune considerazioni su monitoraggio e valutazione in itinere dei Recovery Plan

Il post illustra alcune criticità del “quadro di valutazione della ripresa e della resilienza” previsto dall’art. 30 del Reg. (UE) 2021/241 sul Dispositivo per la Ripresa e la Resilienza (il principale dispositivo di spesa di Next Generation EU che finanzierà i Piani Nazionali di Ripresa e di Resilienza degli Stati).
Il Regolamento, infatti, attribuisce delle responsabilità in merito alla valutazione degli interventi solo alla Commissione, indica quali landmark dei processi di attuazione “traguardi” e “obiettivi” definiti in modo assolutamente generico e rimanda a degli Atti delegati la definizione del set di indicatori comuni e di maggiori specifiche sul “quadro di valutazione”.
Stante il fatto che a 20 giorni dalla deadline per la presentazione dei Recovery Plan si sa ben poco di quali saranno le direttrici strategiche di quello del Governo Draghi, sarebbe auspicabile che l’Esecutivo, eventualmente anche con il contributo dello Strumento di sostegno tecnico (gestito dalla DG Riforme della Commissione) appronti un efficace sistema di valutazione in itinere sia dei progetti sia del Piano nel suo complesso.

La valutazione dei Recovery Plan. L’AIV accende i riflettori su una questione tanto importante, quanto fin qui trascurata

Il post presenta un utile seminario dell’Associazione Italiana di Valutazione (AIV) sui Piani Nazionali di Ripresa e Resilienza (PNRR) e sulla necessità di rafforzare il ruolo della valutazione per migliorare le politiche pubbliche (Lunedì 29 Marzo, ore 11.00 – 13.00). Con questo webinar, che mi annovera fra i relatori, i coordinatori del Gruppo Tematico “Valutazione Politiche e Programmi Comunitari” – Simona Cristiano, Virgilio Buscemi e Fabrizio Tenna – accendono i riflettori su un tema tanto importante quanto, almeno fin qui, trascurato nel dibattito italiano sul PNRR. Spero che i 25 lettori di questo blog lunedì 29 Marzo abbiano modo di seguire questo interessante seminario organizzato dall’AIV.