«The value of the capacity building depends on the value of the impact
resulting from the change in practice and behaviour of organisations.»
Jenny Gordon and Kevin Chadwick (2007) [1]

1. Come evidenziato nel precedente post, il modello di valutazione su quattro livelli degli effetti della formazione del personale sulla performance dell’organizzazione di Donald Kirkpatrick, nonostante presenti degli oggettivi limiti, continua ad essere il principale modello di riferimento per la valutazione degli effetti sui risultati di una organizzazione delle attività di formazione e di aggiornamento professionale.
2. La logica di fondo del modello, peraltro, già negli anni Novanta del secolo scorso è stata applicata anche alla valutazione delle azioni di capacity buidling della PA dei Paesi in Via di Sviluppo (PVS) sia nell’ambito del Development Programme delle Nazioni Unite (United Nations Development Programme – UNDP), sia da parte di diverse agenzie nazionali di cooperazione allo sviluppo (segnatamente quella statunitense e quella australiana). [2]
E’ particolarmente significativo l’adattamento del modello di Kirkpatrick sperimentato dall’agenzia di cooperazione australiana (AusAID). Per capire meglio il modello di AusAID va in primo luogo ricordato che essa, analogamente a quanto fatto da altre agenzie di cooperazione, individua quattro unità di riferimento per le azioni di capacitazione amministrativa:
• individui (personale della PA);
• unità organizzative;
• relazioni fra le unità organizzative (networks);
• contesto in cui agiscono individui e unità organizzative. [3]
Inoltre, opportunamente, i quattro livelli valutativi del modello di Kirkpatrick vengono anche associati ai livelli della “catena logica” del modello di cooperazione allo sviluppo di AusAID (input, output, outcome intermedi, outcome finale di progetto, impatti), come si evince dalla figura 1, tratta con adattamenti da un contributo di ricerca di Fiona Kotvojs (2009). [4]

Figura 1 – Logica di applicazione del modello valutativo di Kirkpatrick seguita da AusAID

Come sintetizzato nella figura 2 il modello valutativo di Kirkpatrick è stato applicato in senso lato a tutte le unità di riferimento delle attività di capacity building richiamate sopra.

Figura 2 – L’estensione del modello valutativo di Kirkpatrick a tutte le unità di riferimento delle attività di capacity building operata da AusAID

3. Analizzando il modello, l’impressione è che l’adattamento del modello di Kirkpatrick a tutte le attività di capacity building “agganciandolo” sia ad altre unità di analisi, sia alla “catena logica” dei progetti sia concettualmente intrigante, ma anche migliorabile nel costrutto logico e di difficile applicazione.
4. Questo approccio di AusAID è certamente molto interessante – e da replicare – con riferimento ai seguenti aspetti:
• l’idea di fondo di applicare la logica valutativa non solo ai singoli individui, ma anche alle stesse unità organizzative che beneficiano di attività di capacity building (idea abbracciata anche da UNDP e da altre agenzie nazionali di cooperazione allo sviluppo). Nel tempo, infatti, non apprendono solo gli individui, ma anche le stesse organizzazioni. A tale riguardo va evidenziato che così come non è detto che i singoli individui applichino poi nelle loro attività professionali quanto appreso, può parimenti accadere che se si effettuano delle attività di supporto tecnico ad una data unità della PA che gestisce dei fondi pubblici, queste vengano recepite solo se strettamente funzionali e semplici da applicare, ma non se si rilevano troppo dirompenti sotto il profilo organizzativo e/o particolarmente innovative;
• l’idea, ampiamente condivisibile, di non misurare gli effetti delle azioni di capacity building solo con riferimento ai risultati “interni”, ma anche e soprattutto a quelli “esterni”. In altri termini, bisognerebbe stimare la capacità delle azioni di capacitazione di migliorare non solo la performance in senso stretto delle unità organizzative, ma anche la loro capacità di produrre un impatto positivo sui beneficiari/destinatari finali delle azioni di politica economica e dei progetti. Come rimarcano Gordon e Chadwick (2007), il valore delle «azioni di capacity building dipende dal valore dell’impatto che risulta dal cambiamento di pratiche e comportamento delle organizzazioni». In altri termini, il termine di riferimento fondamentale dell’efficacia di tali azioni dovrebbe sempre essere l’impatto sui beneficiari/destinatari finali.
5. L’ultima considerazione sulla necessità di prestare maggiore attenzione ai risultati “esterni” delle unità organizzative pubbliche che sono interessate da azioni di capacity building è particolarmente pertinente al contesto italiano per due ordini di motivi:
• le lezioni dell’esperienza del Sistema di Misurazione della Performance (SMP) applicato alla PA italiana sulla scorta della “riforma Brunetta” del 2009 e della “riforma Madia” del 2017 evidenziano, in modo plastico, la forte focalizzazione del SMP sui risultati “interni” (rispetto ai quali, di fatto, sono tarati i sistemi di incentivi al personale della PA);
• gli stessi Piani di Rigenerazione Amministrativa (PRigA) che sono stati elaborati dalle Autorità di Gestione dei Programmi 2021-2027 cofinanziati dai Fondi Strutturali, sulla scorta di Linee Guida elaborate dall’Agenzia per la Coesione Territoriale (soppressa a seguito del c.d. “decreto Fitto” del 23 Febbraio scorso), sembrano troppo sbilanciati su obiettivi diretti di miglioramento della performance organizzativa. [5]

*************

[1] Gordon J., Chadwick K. (2007), Impact assessmentof capacity building and training: assessment framework and two case studies; ACIAR Impact Assessment Series Report No. 44; ACIAR – Australian Government; Canberra, p. 11.
[2] I livelli valutativi di riferimento del modello di Kirkpatrick sono: (i) reazione alla formazione, (ii) apprendimento, (iii) cambiamento del comportamento dei formati e (iv) risultati dell’organizzazione.
Su questo modello si vedano: Kirkpatrick D. (1994). Evaluating training programs: the four levels. San Francisco: Berrett-Koehler; Kirkpatrick D. (1996). Revisiting Kirkpatrick’s four-level-model. Training & Development, No. 1, 54-57.
[3] Si vedano: AusAID (2006); Staged Capacity Building Model: A Staged Apporach to Assess, Plan and Monicot Capacity Building; Australian Government, Canberra; Kotvojs F. (2009), Development Framework for Evaluating Capacity Development Initiatives in International Development; Australasian Evaluation Society Conference, Canberra.
A titolo di completezza si segnala che UNDP parla di “punti di entrata” (“points of entry”) delle attività di capacity building e tratta solo tre dei quattro “punti di entrata” richiamati sopra, trascurando i networks. In merito, si vedano: UNDP (2008a); Capacity Development. Practice Note, New York; UNDP (2008b); Capacity Assessment. Practice Note, New York.
[4] Le “catene logiche”, come dimostra la vastissima letteratura internazionale sul tema, possono essere rappresentate graficamente in vario modo, ma si fondano sempre sull’idea che si possa definire una “catena di risultati” (“results chain”) che lega le risorse investire in un progetto (o in un programma complesso) e gli impatti finali (si veda la figura 3). Come viene chiarito dagli esperti della W.K. Kellog Foundation, ciò che ovviamente conta non è tanto la rappresentazione grafica, ma il processo logico di formulazione e di validazione della “results chain”. Un aspetto chiave di ogni “logic model” è, infatti, la “causalità” della logica di intervento del progetto (in altri termini, ogni evento o azione avrà sempre un effetto causale su altri eventi/risultati).

Figura 3 – Le “catene logiche” di progetti e programmi complessi di sviluppo socio-economico

Sulle “catene logiche”, oltre ai contributi richiamati in figura 3, si vedano:
W.K. KELLOG FOUNDATION (1998), Evaluation Handbook, Battle Creek, Michigan.
W.K. KELLOG FOUNDATION (2004), Logic Model Development Guide, Battle Creek, Michigan.
[5] Questo contributo è un “work in progress” elaborato nell’ambito del progetto di ricerca del Centro Studi Funds for Reforms Lab “Le politiche e i fondi dell’UE nella programmazione 2021-2027”.