Il post illustra le dimensioni (i pilastri) dell’approccio del Development Programme delle Nazioni Unite (UNDP) alla formulazione e alla valutazione delle strategie di capacity building. Tali dimensioni sono: (i) una puntuale definizione delle capacità da sviluppare; (ii) i drivers del cambiamento amministrativo (assetto istituzionale, leadership, competenze e accountability), e (iii) livelli di analisi della capacità amministrativa (individui, organizzazioni e contesto). Nell’ambito dell’approccio di UNDP, tuttavia, sono soprattutto le seguenti tre domande guida a informare le azioni di rafforzamento amministrativo: (i) Capacity for why? (domanda che serve per definire in modo circostanziato quali sono le ragioni alla base e gli obiettivi specifici delle attività di capacitazione amministrativa); (ii) Capacity for whom? (domanda intesa a individuare puntualmente quale gruppo target specifico del personale della PA neccesita delle azioni di rafforzamento di capacità generali e competenze specifiche); (iii) Capacity for what? (serve per individuare in modo coerente con le scelte fatte in relazione alle domande precedenti le azioni di capacitazione amministrativa da implementare).
Tag: Valutazione
La valutazione delle politiche pubbliche: appunti sul Focus Group
Il post illustra alcune caratteristiche distintive del Focus Group, una tecnica di indagine ampiamente usata anche per la valutazione dell’efficacia dei progetti di sviluppo socio-economico e dei Programmi complessi di politica economica, quali ad esempio i Programmi Regionali o i Programmi Nazionali cofinanziati dai Fondi Strutturali. Le due caratteristiche realmente distintive del Focus Group sono riassunte nel nome: (i) esso è focalizzato su un argomento preciso, ben circoscritto (“focus”); (ii) esso è inteso a valorizzare l’interazione e il confronto aperto di più soggetti (“group”). Si tratta di una tecnica, infatti, fortemente volta a valorizzare le interazioni fra i partecipanti per far emergere più informazioni rilevanti e più idee (questo richiede di gestire bene le interazioni, di dare spazio a tutti, e di osservare anche le forme di comunicazione non verbale dei partecipanti).
La valutazione delle azioni di capacity building della PA tramite il modello di Kirkpatrick: cosa si può apprendere dalle esperienze internazionali?
Il post propone un esempio di applicazione del modello di valutazione della formazione di Kirkpatrick alla misurazione degli effetti delle azioni di capacity building. Tale esempio è tratto, con degli adattamenti, dalla manualistica dell’agenzia per la cooperazione internazionale australiana (AusAID).
Così come ha dei limiti il modello di Kirkpatrick, lo stesso si puàò dire per il suo adattamento alla misurazione degli effetti delle azioni di capacity building proposto e implementato da AusAID.
Ciò detto, l’approccio di AusAID è certamente molto interessante – e da replicare – con riferimento ai seguenti aspetti: (i) l’idea di fondo di applicare la logica valutativa non solo ai singoli individui, ma anche alle stesse unità organizzative che beneficiano di attività di capacity building (idea abbracciata anche da UNDP e da altre agenzie nazionali di cooperazione allo sviluppo); (ii) l’idea, ampiamente condivisibile, di non misurare gli effetti delle azioni di capacity building solo con riferimento ai risultati “interni”, ma anche e soprattutto a quelli “esterni”. In altri termini, bisognerebbe stimare la capacità delle azioni di capacitazione di migliorare non solo la performance in senso stretto delle unità organizzative, ma anche la loro capacità di produrre un impatto positivo sui beneficiari/destinatari finali delle azioni di politica economica e dei progetti. In sostanza, il termine di riferimento fondamentale dell’efficacia delle azioni di capacity building dovrebbe sempre essere l’impatto sui beneficiari/destinatari finali.
Capacità amministrativa e valutazione delle azioni di capacity building della PA: si può applicare il modello di Kirkpatrick?
Il post propone una breve riflessione sulla possibile applicazione alla misurazione dell’efficacia delle azioni di capacity building della PA del modello di valutazione della formazione di Donald Kirkpatrick, che è il principale modello applicato, a livello internazionale, per misurare gli effetti sulla performance delle organizzazioni delle attività di formazione e di re-training del personale.
Questo modello di valutazione della formazione presenta certamente dei limiti. Ciò nonostante, continua ad essere il modello più usato per questo tipo di valutazione e, soprattutto, già negli anni Novanta è stato applicato anche alla valutazione delle azioni di capacity buidling della PA dei Paesi in Via di Sviluppo (PVS) sia nell’ambito del Development Program delle Nazioni Unite (UNDP), sia da parte di alcune agenzie di Cooperazione internazionale (segnatamente quella australiana). UNDP e agenzie di cooperazione internazionale hanno finanche elaborato dei modelli operativi di capacity building proprio a partire dal modello imperniato sui quattro livelli valutativi di Kirkpatrick.
Mutatis mutandis si potrebbe provare ad applicarlo alle azioni di capacity building previste sia dal Programma Nazionale Capacità per la coesione, sia dai PRigA regionali (Piani di Rigenerazione Amministrativa).
Audit, monitoraggio e valutazione dei Programmi cofinanziati dai Fondi Strutturali
Il post argomenta che audit, monitoraggio e valutazione costituiscono i principali meccanismi di apprendimento nell’ambito delle procedure attuative dei Programmi cofinanziati dai Fondi Strutturali (essi si possono tutti collocare nella fase “check” del Ciclo Plan Do Check Act di Shewhart e Deming). Va sempre ricordato, tuttavia, che essi hanno finalità, approcci e anche tempi di esecuzione differenti. In particolare va ricordato che il monitoraggio risponde alla domanda “Are we doing the things right?”». Invece, la valutazione risponde alla domanda “Are we doing the right things?”
La capacità amministrativa nella gestione dei Fondi “per la coesione”: definizione e valutazione
Il post propone una breve riflessione sulle rilevanti questioni della capacità amministrativa nella gestione dei Fondi Strutturali e della sua valutazione.
Gli interventi di sostegno alla capacità amministrativa verranno implementati nel periodo 2021-2027 secondo l’approccio “tabella di marcia” – ossia sulla base di step successivi – proposto dalla Commissione. In questo approccio, correttamente, è anche richiesto di impostare per le azioni di capacitazione uno specifico sistema di monitoraggio e valutazione. Il nodo della questione è che la valutazione degli interventi di capacity building è particolarmente complessa per molteplici ragioni.
Gli aspetti più critici della valutazione della capacità amministrativa sono tre: (i) è molto difficile definire la capacità amministrativa (e quindi stabilire l’oggetto stesso della valutazione); (ii) la valutazione andrebbe adeguatamente differenziata a seconda della macro-fase considerata, della tipologia di operazione e della titolarità dell’attuazione (distinguendo fra azioni “a regia regionale” e azioni “a titolarità regionale”); (iii) la valutazione andrebbe considerata essa stessa parte del processo di capacitazione amministrativa (in altri termini, dovrebbe essere introdotta nel sistema di gestione dei Fondi una autentica cultura valutativa).
L’applicazione della tecnica Earned Value Management ai regimi di aiuto e alle azioni alle persone dei PR FSE Plus
La lettura dell’avanzamento dei progetti di pubblica utilità cofinanziati dai Fondi Strutturali è più complessa nel caso di: (i) regimi di aiuto volti a sostenere la competitività del sistema produttivo (sussidi per la creazione di nuove imprese, sussidi per sostenere gli investimenti delle PMI e/o di imprese sociali cofinanziati dal FESR o anche sussidi alle imprese per salvaguardare i livelli occupazionali cofinanziati da FSE Plus); (ii) “azioni alle persone” cofinanziate da FSE Plus (azioni per sostenere l’inserimento occupazionale, forme di work experience e altre azioni volte a sostenere i livelli occupazionali). Con riferimento a queste ultime vanno considerate due problematiche specifiche: (i) la disponibilità parziale di una consolidata base informativa per la stima dei costi unitari “a budget” degli output sulla base dei quali effettuare a priori una corretta proiezione dei valori target da raggiungere secondo una logica “Key Performance Indicators” oppure, in alternativa o a latere, le variabili chiave dell’Earned Value Management (EVM); (ii) la capacità di raggiungere o meno i valori target degli indicatori di realizzazione viene a dipendere da vari fattori esterni non controllabili dall’operatore pubblico, per cui non è mai facile fornire una valutazione oggettiva della sua performance.
Monitoraggio e valutazione delle azioni di policy cofinanziate dai Fondi Strutturali: l’applicazione della tecnica Earned Value Management
L’approccio convenzionale alla misurazione dell’avanzamento dei progetti, delle azioni di policy e dei Programmi complessi cofinanziati dai Fondi Strutturali è di fatto basato sul monitoraggio di Key Performance Indicators (indicatori di efficienza ed indicatori di efficacia). Si tratta di un approccio che prende in esame, separatamente, i singoli indicatori e calcola, in itinere e al termine, gli scostamenti dei valori effettivi da quelli fissati inizialmente come target.
Il breve articolo pone in luce come la tecnica di controllo Earned Value Management si possa applicare alle azioni di policy che costituiscono l’ossatura dei Programmi di spesa cofinanziati dai Fondi Strutturali. L’EVM, come evidenziato nei precedenti post, consente di tenere insieme la verifica dell’efficacia delle azioni, la verifica dell’efficienza ammnistrativa e anche quella dell’efficienza operativa (intesa come capacità di ottimizzare uso delle risorse e costo medio delle attività e/o degli output prodotti). Considerando la definizione delle tre variabili chiave di questa tecnica e delle due variabili di scostamento (Cost Variance e Schedule Variance) essa consente parimenti di rendere più agevole per tutti la comprensione della reportistica di monitoraggio, contribuendo così a rafforzare la trasparenza sull’attuazione delle azioni di policy e delle operazioni ammesse a beneficio.
Il “ciclo della performance”, il monitoraggio dei “risultati interni” e la tecnica dell’Earned Value Management
Il breve articolo, muovendo dal precedente su alcune criticità della misurazione della performance delle organizzazioni pubbliche italiane, oltre a sollecitare di nuovo una maggiore attenzione alla necessità di differenziare adeguatamente valutazione delle routine organizzative e valutazione dei progetti, propone un approccio al controllo dell’avanzamento dei progetti – Earned Value Management (EVM) – che consente di tenere simultaneamente conto di attuazione fisica degli interventi, capacità di rispettare il cronoprogramma di attività iniziale e le relative scadenze e di gestire al meglio gli input, in primis le risorse finanziarie. Il valore aggiunto dell’Earned Value Management è quello di consentire di combinare le molteplici dimensioni di misurazione e di valutazione ongoing dei progetti. Infatti, l’Earned Value Management (o Earned Value Analysis) consente di avere, in itinere, un cruscotto di monitoraggio sull’avanzamento fisico del progetto e sull’efficienza attuativa (realizzazione fisiche e quantità di risorse impiegate), sul rispetto della tempistica prevista nella fase di definizione del progetto e sul suo avanzamento finanziario.
Il “ciclo della performance” nella PA: la più recente Relazione sulla Performance di Roma Capitale e la scarsa attenzione generale della PA alla valutazione dell’impatto su cittadini e imprese
Il post, muovendo da un articolo giornalistico sulla più recente Relazione sulla Performance di Roma Capitale (relativa all’anno 2021), propone alcune riflessioni sulle seguenti criticità di fondo del Sistema di Misurazione e Valutazione della Performance (SMVP) nella PA: (i) l’applicazione di logiche e criteri di valutazione della performance sostanzialmente analoghi sia per le funzioni ricorrenti (routine amministrativo-procedurali), sia per i progetti; (ii) la scarsa rilevanza attribuita alla valutazione effettiva dell’impatto sui cittadini e sulle imprese dell’azione pubblica (la valutazione della performance continua ad essere di fatto auto-referenziale e focalizzata sui “risultati interni”); (iii) la valutazione, nell’ambito di molte organizzazioni pubbliche italiane, non solo non viene applicata per “misurare” in primo luogo i “risultati esterni”, ma viene anche sovente confusa con le procedure di audit.