Il post propone un esempio di applicazione del modello di valutazione della formazione di Kirkpatrick alla misurazione degli effetti delle azioni di capacity building. Tale esempio è tratto, con degli adattamenti, dalla manualistica dell’agenzia per la cooperazione internazionale australiana (AusAID).
Così come ha dei limiti il modello di Kirkpatrick, lo stesso si puàò dire per il suo adattamento alla misurazione degli effetti delle azioni di capacity building proposto e implementato da AusAID.
Ciò detto, l’approccio di AusAID è certamente molto interessante – e da replicare – con riferimento ai seguenti aspetti: (i) l’idea di fondo di applicare la logica valutativa non solo ai singoli individui, ma anche alle stesse unità organizzative che beneficiano di attività di capacity building (idea abbracciata anche da UNDP e da altre agenzie nazionali di cooperazione allo sviluppo); (ii) l’idea, ampiamente condivisibile, di non misurare gli effetti delle azioni di capacity building solo con riferimento ai risultati “interni”, ma anche e soprattutto a quelli “esterni”. In altri termini, bisognerebbe stimare la capacità delle azioni di capacitazione di migliorare non solo la performance in senso stretto delle unità organizzative, ma anche la loro capacità di produrre un impatto positivo sui beneficiari/destinatari finali delle azioni di politica economica e dei progetti. In sostanza, il termine di riferimento fondamentale dell’efficacia delle azioni di capacity building dovrebbe sempre essere l’impatto sui beneficiari/destinatari finali.
Author: Antonio Bonetti
Independent advisor on strategic planning, project management and fundraising, with 18 years of professional experience.
Capacità amministrativa e valutazione delle azioni di capacity building della PA: si può applicare il modello di Kirkpatrick?
Il post propone una breve riflessione sulla possibile applicazione alla misurazione dell’efficacia delle azioni di capacity building della PA del modello di valutazione della formazione di Donald Kirkpatrick, che è il principale modello applicato, a livello internazionale, per misurare gli effetti sulla performance delle organizzazioni delle attività di formazione e di re-training del personale.
Questo modello di valutazione della formazione presenta certamente dei limiti. Ciò nonostante, continua ad essere il modello più usato per questo tipo di valutazione e, soprattutto, già negli anni Novanta è stato applicato anche alla valutazione delle azioni di capacity buidling della PA dei Paesi in Via di Sviluppo (PVS) sia nell’ambito del Development Program delle Nazioni Unite (UNDP), sia da parte di alcune agenzie di Cooperazione internazionale (segnatamente quella australiana). UNDP e agenzie di cooperazione internazionale hanno finanche elaborato dei modelli operativi di capacity building proprio a partire dal modello imperniato sui quattro livelli valutativi di Kirkpatrick.
Mutatis mutandis si potrebbe provare ad applicarlo alle azioni di capacity building previste sia dal Programma Nazionale Capacità per la coesione, sia dai PRigA regionali (Piani di Rigenerazione Amministrativa).
Audit, monitoraggio e valutazione dei Programmi cofinanziati dai Fondi Strutturali
Il post argomenta che audit, monitoraggio e valutazione costituiscono i principali meccanismi di apprendimento nell’ambito delle procedure attuative dei Programmi cofinanziati dai Fondi Strutturali (essi si possono tutti collocare nella fase “check” del Ciclo Plan Do Check Act di Shewhart e Deming). Va sempre ricordato, tuttavia, che essi hanno finalità, approcci e anche tempi di esecuzione differenti. In particolare va ricordato che il monitoraggio risponde alla domanda “Are we doing the things right?”». Invece, la valutazione risponde alla domanda “Are we doing the right things?”
Potenziare la capacità amministrativa nella gestione dei Fondi Strutturali: l’importanza di spiegare meglio le differenze fra Opzioni di Costo Semplificate e Finanziamenti non collegati ai costi
Il post rimarca che: (i) fra le competenze degli operatori pubblici impegnati nella gestione di interventi cofinanziati dai Fondi Strutturali da rafforzare ulteriormente vi è certamente il bagaglio di conoscenze inerenti ai circuiti finanziari e, più nello specifico, alle “forme di rimborso delle spese”, ossia costi reali, Opzioni di Costo Semplificate e, dopo l’entrata in vigore del Reg. (UE, Euratom) 2018/1046 (il Regolamento finanziario vigente), i “finanziamenti non collegati ai costi delle operazioni” (Financing Not Linked To Costs – FNLTC); (ii) le strategie di capacity building per migliorare la gestione dei Fondi Strutturali dovrebbero contribuire a spiegare meglio le differenze fra Opzioni di Costo Semplificate (OCS) e “finanziamenti non collegati ai costi delle operazioni”. Non è corretto, infatti, affermare che ambedue queste forme di rimborso sono intese a rafforzare l’orientamento ai risultati degli interventi. Le OCS, infatti, sono intese a rafforzare la “velocità di spesa” (“capacità di spesa”) dei Programmi, attraverso una forte spinta alla semplificazione delle procedure di rendicontazione delle spese e, quindi, dei controlli. I “finanziamenti non collegati ai costi delle operazioni”, invece, potrebbero in effetti corrispondere all’esigenza, ancora più stringente, di rafforzare la qualità della spesa nel periodo 2021-2027e la capacità degli interventi di produrre cambiamenti significativi (impatti). Essi, infatti, sono informati a logiche “pay-by-results” per cui il rimborso delle spese sostenute è condizionato all’effettivo raggiungimento dei risultati prestabiliti.
Le strategie per migliorare la capacità amministrativa nella gestione dei Fondi Strutturali e gli incessanti cambiamenti recenti nel quadro di politica economica europeo
Il post rimarca che è certamente condivisibile che le strategie di capacity building per migliorare la gestione dei Fondi Strutturali siano tarate sulla capacità di gestione delle procedure amministrative, ma che, almeno a livello di Amministrazioni Centrali e di Regioni, va anche potenziata la capacità di dirigenti e funzionari pubblici di “leggere” i mutamenti nel quadro di policy europeo e, di conseguenza, la loro capacità di pianificazione strategica.
A titolo di esempio, viene illustrato l’autentico turn around che si è registrato nel primo semestre dell’anno nella politica industriale europea. Tale turn around è alla base della nuova proposta di modifica della base regolamentare dei Fondi “per la coesione” del periodo 2021-2027 avanzata dalla Commissione il 20 Giugno scorso con la Comunicazione COM(2023) 335 sulla Piattaforma delle Tecnologie Strategiche per l’Europa. La Comunicazione COM(2023) 335 propone degli emendamenti significativi alla base normativa della politica di coesione – fra cui l’inserimento di nuovi “campi di intervento” – e, quindi, richiederebbe di attivare ulteriori specifici servizi di capacity building a favore di Dirigenti e funzionari pubblici intesi a potenziare la loro capacità di migliorare il disegno strategico dei Programmi cofinanziati dai Fondi Strutturali già in corso di attuazione.
La capacità amministrativa nella gestione dei Fondi “per la coesione”: definizione e valutazione
Il post propone una breve riflessione sulle rilevanti questioni della capacità amministrativa nella gestione dei Fondi Strutturali e della sua valutazione.
Gli interventi di sostegno alla capacità amministrativa verranno implementati nel periodo 2021-2027 secondo l’approccio “tabella di marcia” – ossia sulla base di step successivi – proposto dalla Commissione. In questo approccio, correttamente, è anche richiesto di impostare per le azioni di capacitazione uno specifico sistema di monitoraggio e valutazione. Il nodo della questione è che la valutazione degli interventi di capacity building è particolarmente complessa per molteplici ragioni.
Gli aspetti più critici della valutazione della capacità amministrativa sono tre: (i) è molto difficile definire la capacità amministrativa (e quindi stabilire l’oggetto stesso della valutazione); (ii) la valutazione andrebbe adeguatamente differenziata a seconda della macro-fase considerata, della tipologia di operazione e della titolarità dell’attuazione (distinguendo fra azioni “a regia regionale” e azioni “a titolarità regionale”); (iii) la valutazione andrebbe considerata essa stessa parte del processo di capacitazione amministrativa (in altri termini, dovrebbe essere introdotta nel sistema di gestione dei Fondi una autentica cultura valutativa).
Analisi degli stakeholders e formulazione delle Strategie di Sviluppo Locale ex approccio LEADER
Manuali e Linee Guida sulla formulazione delle Strategie di Sviluppo Locale (SSL) dedicano ampio spazio a varie possibili classificazioni degli stakeholder, fra le quali spiccano le due seguenti: 1. quella incentrata sul grado di influenza sulle SSL e sul grado di interesse (elevato o basso) degli stakeholder (essa, tuttavia, ha sovente il difetto di non considerare le “parti lese” che, di fatto, hanno un interesse del tutto negativo per le SSL); 2. quella incentrata su vantaggi e contributi da apportare al progetto delineati per ciascuno dei potenziali membri della “coalizione locale”, ma questa – specialmente nel testo ufficiale delle Strategie di Sviluppo Locale – tende sempre a trascurare una chiara identificazione dei rent seekers.
Il post pone in luce che le classificazioni appena richiamate dovrebbero sempre muovere da quella che distingue fra (i) portatori di interesse comuni; (ii) gruppi di pressione – in grado di influenzare pesantemente scelte strategiche delle SSL e interventi – e (iii) rent seekers. Solo una volta identificati questi tre gruppi (avendo sempre ben presente anche la presenza delle “parti lese”, ossia di portatori di interesse contrari alla realizzazione delle SSL), avrà davvero senso elaborare delle matrici che richiamano influenza e interesse per le SSL dei portatori di interesse e analisi di benefici e costi per ciascuno di essi.
Formulazione delle Strategie di Sviluppo Locale ex approccio LEADER: il ruolo determinante di indirizzi programmatici regionali e vincoli sugli interventi ammissibili
Il post pone in luce che è molto difficile elaborare Strategie di Sviluppo Locale (SSL) ex approccio LEADER realmente informate a un metodo partecipativo, in primis per i molteplici vincoli imposti dal programmatore regionale. In vero, le SSL si pongono, in un certo senso, a metà strada fra visione di sviluppo del territorio e fabbisogni emersi sulla scorta di analisi del contesto socio-economico e di istanze di supporto espresse dai portatori di interesse. Tuttavia, concretamente, priorità strategiche e novero degli interventi finanziabili che vengono inseriti sono dettate da: (i) scelte strategiche già operate nei Complementi per lo Sviluppo Rurale regionali (CSR) con riferimento, in particolare, alle tipologie di interventi di sviluppo rurale del periodo 2023-2027 che potranno essere inseriti nelle SSL dei GAL; (ii) indicazioni delle “schede” dei CSR sull’approccio LEADER e di eventuali Linee Guida regionali sulla formulazione delle SSL ed eventuali ulteriori vincoli riportati negli avvisi di selezione delle proposte di SSL; (iii) criteri di selezione indicati nel CSR (non solo quelli inerenti all’approccio LEADER e alle SSL, ma anche quelli degli interventi che potranno essere inseriti nelle SSL).
L’approccio LEADER 2023-2027 e le pietre d’inciampo della formulazione delle Strategie di Sviluppo Locale
Il post, muovendo dalla locandina molto interessante dell’evento della Rete Rurale Nazionale “Leggere il territorio, leggere sul territorio: quali risultati per il LEADER?”, che si terrà a Roma il 21 e 22 Giugno p.v., discute la possibile applicazione dell’approccio Result-Based Management (RBM) alla formulazione delle Strategie di Sviluppo Locale (SSL) ex metodo LEADER. In particolare, si sofferma sull’affermazione che «il futuro desiderato costituisce il vero punto dal quale partire per definire le Strategie e le azioni che permetteranno di concretizzarlo». Sarebbe certamente auspicabile porre la visione di sviluppo del territorio e l’approccio RBM quali pilastri della formulazione delle SSL, ma questo implica anche delle criticità metodologiche e attuative del percorso di definizione delle SSL che non possono essere trascurate. Inoltre, vi sono due aspetti molto concreti che in questo tipo di seminari vengono sempre elegantemente messi sotto il tappeto: (i) non si può constinuare a parlare di approccio partecipativo e stakeholders da coinvolgere senza dire apertamente che certi gruppi di pressione e i rent-seekers non sono minimamente interessati agli aspetti tecnici della definizione delle SSL e, ciò nonostante, spesso sono a loro a determinarne priorità strategiche e azioni; (ii) l’approccio tecnico suggerito dalla RRN è ampiamente auspicabile, ma essendo un approccio anche complesso, si può ragionevolmente presumere che difficilmente verrà inserito dalle Amministrazioni regionali negli avvisi di selezione delle SSL e dei Gruppi di Azione Locale a valere dei Complementi per lo Sviluppo Rurale regionali.
Selezione delle operazioni dei Programmi FESR nel caso di azioni “a regia regionale” ed efficienza generale dei processi attuativi
Il post, in continuità con i due precedenti di Maggio, illustra meglio come nelle azioni “a regia regionale” dei Programmi cofinanziati dai Fondi Strutturali vi sia una fase “esterna” alle procedure attuative in capo alle Autorità di Gestione (ADG) e, quindi, efficienza procedurale ed efficacia delle azioni di policy dei Programmi non siano da imputare integralmente alle ADG. Questo vale, in particolare, nel caso della realizzazione dei lavori pubblici – più o meno complessi – nell’ambito dei Programmi Regionali FESR.
Questo interroga analisti e responsabili dell’attuazione dei Programmi su due aspetti: (i) la necessità di elaborare dei Disegni di Valutazione dei Programmi completi che tangano conto anche di inefficienze e criticità non direttamente attribuibili ai Dipartimenti regionali (all’ADG); (ii) l’esigenza per le ADG di formulare delle pertinenti azioni di capacity building a favore dei soggetti attuatori terzi. Queste azioni, a mio parere, dovrebbero anche e soprattutto spiegare bene ratio e linee portanti dei controlli amministrativi e principali casistiche inerenti alle irregolarità, in quanto è nel corso dei controlli che, spesso, emergono in tutta chiarezza sia i deficit di competenze dei soggetti beneficiari, sia le inefficienze delle loro procedure attuative.