«The greatest danger for evaluators
in times of turbulence
is not the turbulence.
It is to act with yesterday’s logic and criteria»
Michael Q. PATTON [1]

Monitoraggio e valutazione dei Programmi cofinanziati dai Fondi Strutturali e dei Recovery Plan

La valutazione non ha solamente la funzione di rendere conto dell’operato dei policy-makers, ma ha anche e soprattutto la funzione di contribuire a migliorare i processi decisionali pubblici. L’Italia, com’è ben noto, è un late comer per quanto riguarda la valutazione sistematica delle politiche pubbliche e la conseguente formulazione di politiche basate sull’evidenza (evidence-based policies). [2]
E’ altrettanto noto che una spinta poderosa verso la formulazione di evidence-based policies è giunta, sin dagli anni Novanta, dalla normativa comunitaria sui Fondi Strutturali e sugli interventi di sviluppo rurale che, com’è giusto che sia, dedica ampia parte del Regolamento “generale” sui Fondi (Regolamento sulle Disposizioni Comuni) e anche di quelli specifici per ciascuno Fondo alla sorveglianza, al controllo e alla valutazione dei Programmi Operativi (PO), dei Programmi di Sviluppo Rurale e dei singoli interventi.
Anche il Reg. (UE) 2021/241 che disciplina il Dispositivo per la Ripresa e la Resilienza – il principale dispositivo di spesa incluso nel piano strategico Next Generation EU, alla base dei Recovery Plan – riserva la dovuta attenzione ai temi della sorveglianza e della valutazione. [3]
Nel caso di specie, la valutazione – in particolare la valutazione in itinere – è più rilevante che mai.
Per spiegare la particolare rilevanza della valutazione in itinere bisogna richiamare le stringenti regole dell’articolo 24 del Reg. (UE) 2021/241 concernenti i pagamenti delle sovvenzioni e dei prestiti accordati agli Stati:
• questi potranno presentare richieste di pagamento (fino a due volte all’anno) solo dopo aver raggiunto i “traguardi” e gli “obiettivi” indicati nel Recovery Plan (a tale riguardo si evidenzia che con un linguaggio tanto aulico e pomposo, quanto poco chiaro l’art. 2 del Regolamento definisce “traguardi” e “obiettivi” le misure dei progressi compiuti verso la realizzazione di una riforma o di un investimento, «intendendo per “traguardi” i risultati qualitativi e per “obiettivi” i risultati quantitativi»);
• la Commissione valuta se i “traguardi” e gli “obiettivi” siano stati conseguiti in maniera soddisfacente. Nel caso di valutazione positiva «la Commissione adotta, senza indebito ritardo, una decisione di esecuzione che autorizza l’erogazione del contributo finanziario». Nel caso di valutazione negativa, «il pagamento della totalità o di parte del contributo finanziario […] è sospeso». [4]

Questo è un aspetto delicato fin qui ampiamente trascurato nel dibattito italiano. L’impressione è che sia i vari operatori economici, sia molti osservatori non abbiano ben compreso che richieste di pagamento ed erogazione dei contributi a valere del Dispositivo di Ripresa e Resilienza seguono meccanismi ben diversi da quelli dei Fondi Strutturali. Per gli interventi cofinanziati dai Fondi (e, mutatis mutandis, per gli stessi Programmi Operativi), fondamentalmente, si possono definire tre step:
• la concessione di un anticipo a fronte della decisone pubblica di ammissione a beneficio di un progetto;
• l’erogazione di una o più tranche intermedie sulla base di predefiniti Stati di Avanzamento Lavori;
• l’erogazione del saldo finale (dopo la verifica della regolare chiusura degli interventi e il completamento dei controlli).

Nel caso degli interventi dei Recovery Plan, invece, non si segue il meccanismo per “anticipi” e “rimborsi” che caratterizza i Fondi Strutturali. Infatti, non solo viene richiesto che essi siano regolarmente completati e poi collaudati, ma si richiede parimenti che essi producano degli impatti socio-economici (valutati rigorosamente).
La valutazione, pertanto, avrà una funzione di accountability nei confronti dei contribuenti pubblici, avrà una funzione fondamentale per un miglioramento progressivo delle scelte di policy e, non ultimo, sarà anche cruciale per stabilire il raggiungimento o meno di “traguardi” e “obiettivi” dei Piani e, quindi, per stabilire l’eleggibilità o meno delle richieste di pagamento degli Stati.
Per esplicitare ancora più chiaramente quest’ultimo punto si richiamano le differenze fra output-based contract e value-based contract, facendo riferimento al dibattito che, fortunatamente, si sta ampliando e arricchendo di contributi anche in Italia, su esternalizzazione di servizi di cura e altri servizi di pubblica utilità e processi di creazione di valore da parte della Pubblica Amministrazione (PA). Questo dibattito muove dalla crescente diffusione di meccanismi di esternalizzazione della produzione di servizi pubblici in cui il rimborso dei fornitori non è commisurato alle “forniture”, bensì all’impatto generato (l’esempio più noto ne sono i Social Impact Bonds (SIBs) che, negli anni, ho trattato più volte sul blog e che sono ancorati a clausole “pay-by-results”). [5]

Mutatis mutandis, lo stesso vale per i rimborsi degli interventi dei Piani Nazionali di Ripresa e Resilienza (PNRR), che sono assimilabili a progetti basati su logiche “pay-by-results”. Mentre nel caso dei contratti di forniture di servizi tradizionali si procede al semplice controllo del rispetto dei termini contrattuali della fornitura (numero di “pezzi” forniti) e della “compliance” delle forniture (specifiche tecniche e funzionalità, ad esempio, delle varie tipologie di mascherine protettive), nel caso dei value-based contract basati su logiche “pay-by-results”, vanno definite (e chiaramente riportate nei contratti stessi) delle procedure di valutazione rigorose, in quanto è sulla base della valutazione degli impatti socio-economici che verranno rimborsati o meno i fornitori (nel caso dei PNRR i beneficiari finali). [6]

Alcune considerazioni critiche sul “quadro di valutazione della ripresa e resilienza”

Alla luce delle considerazioni di cui sopra, era ampiamente lecito attendersi, quantomeno fra gli allegati al Reg. (UE) 2021/241, una definizione più rigorosa di “traguardi” e “obiettivi” e, soprattutto, una lista di indicatori di realizzazione e di risultato pertinenti (con riferimento a ciascuna della sei priorità di policy – aree di intervento di pertinenza europea, come recita l’articolo 3 – coperte dal Dispositivo per la Ripresa e la Resilienza).
Così non è.
Negli articoli 29 e 30 del Regolamento vi sono degli espliciti rifermenti al “quadro di valutazione della ripresa e resilienza”.
Gli stessi articoli, tuttavia, evidenziano che la Commissione ha tempo fino al 31.12.2021 per rilasciare degli Atti delegati (regolamenti di esecuzione) inerenti a:
• gli indicatori comuni da utilizzare per riferire sui progressi e ai fini del monitoraggio e della valutazione del Dispositivo (v. art. 29);
• gli elementi di dettaglio del “quadro di valutazione” al fine di illustrare i progressi dell’attuazione dei Piani (v. art. 30).

La mancanza, al momento, di una lista di indicatori comuni non sarà certamente di aiuto in sede di finalizzazione del PNRR italiano. In attesa che il Governo Draghi porti all’attenzione dei due rami del Parlamento e dell’opinione pubblica il PNRR che presenterà alla Commissione, si può solo auspicare che questo riservi ben altra attenzione alla scelta degli indicatori da inserire, dal momento che il PNRR che era stato approvato dal Consiglio dei Ministri nella notte del 12 Gennaio 2021 era in merito assolutamente carente.
Uno degli approcci metodologici più accreditati per la formulazione e la valutazione di progetti e programmi di spesa complessi – l’approccio di quadro logico – si fonda su delle “catene logiche” in cui:
• le realizzazioni (output) e i risultati attesi (outcome) si pongono su piani logici diversi (come spiegato in varie linee guida internazionali e nel manuale di Federico Bussi, i risultati indicano «cosa i beneficiari saranno in grado di fare, di sapere o di saper fare grazie alle attività del progetto» e, quindi, sono ben diversi dagli output materiali e immateriali di un progetto);
• gli indicatori di realizzazione vanno associati in modo pertinente alle realizzazioni e gli indicatori di risultato ai risultati attesi. [7]

Quest’ultima potrebbe sembrare una considerazione tautologica ed invece, nei fatti, non lo è, in quanto sia per i progetti sia per i programmi complessi accade sovente che gli indicatori di risultato siano incompleti (non si indica in modo puntuale su quali destinatari si debbano misurare certi risultati, come si misurano e altri aspetti ineludibili per definire un buon indicatore) e, quel che è peggio, si usano degli indicatori di realizzazione per misurare i risultati attesi.
Come ha rimarcato in un pregevole contributo di analisi il Forum Disuguaglianze Diversità (ForumDD) queste carenze metodologiche caratterizzano anche il PNRR approvato il 12 Gennaio u.s..
In conclusione di questo post non si può che sottoscrivere quanto rimarcato nel contributo del ForumDD appena citato, ossia che «un numero assai elevato di progetti al momento manca di indicare i risultati attesi o, ancor più grave, confonde questi con le realizzazioni dei progetti stessi – ad esempio: numero di imprese o volume di investimenti finanziati, edifici costruiti o rigenerati, numero di progetti finanziati, anziché cosa si voglia cambiare con quelle realizzazioni, che sia utile a imprese, cittadinanza e/o lavoro». [8]

******

[1] Patton ha coniato questo aforisma a partire da quello molto noto, attribuito a Peter Drucker, secondo il quale in tempi di forte turbolenza, i principali rischi non sono legati alla turbolenza stessa, ma alla tendenza, piuttosto comune, a continuare ad agire con le stesse logiche seguite in precedenza.
Cfr. PATTON M.Q. (2020), Evaluation Criteria for Evaluating Transformation Implications for the Coronavirus Pandemic and Global Climate Emergency, ‘American Journal of Evaluation’. DOI: 10.1177/1098214020933689
[2] Ho avuto l’onore e il piacere di presentare in parte delle considerazioni critiche su formulazione e valutazione del Piano Nazionale di Ripresa e Resilienza nel corso del seminario (online) organizzato dall’Associazione Italiana di Valutazione (AIV) “Il Piano Nazionale di Ripresa e Resilienza e il ruolo della valutazione” che si è tenuto lunedì 29 Marzo fra le 11.00 e le 13.00 (seminario promosso dai coordinatori del Gruppo Tematico “Valutazione Politiche e Programmi Comunitari” Simona Cristiano, Virgilio Buscemi e Fabrizio Tenna). La registrazione dell’evento è disponibile al seguente link:
https://valutazioneitaliana.eu/2021/03/13/hilary-term-aiv-registrazione-webinar/
Sull’importanza della valutazione delle politiche pubbliche si rimanda a due pregevoli manuali in Italiano: LIPPI A. (2007), La valutazione delle politiche pubbliche, Il Mulino, Bologna; MARTINI A., SISTI M. (2009); Valutare il successo delle politiche pubbliche, Il Mulino, Bologna.
[3] Anche se evidenziato a più riprese su questo blog, per facilitare nell’analisi eventuali nuovi lettori, si ricorda che gli Stati Membri per accedere alle ingenti risorse del Dispositivo per la Ripresa e la Resilienza dovranno presentare, al più tardi entro il 30.04.2021, degli articolati programmi pluriennali che per brevità vengono indicati con l’anglismo Recovery Plan (in Italiano Piani Nazionali di Ripresa e Resilienza – PNRR). Alle ore 8.00 del 10 Aprile il Governo italiano non ha ancora presentato ai due rami del Parlamento il Documento di Economia e Finanza (DEF) e neanche il PNRR.
Sui PNRR si rimanda a: BONETTI A. (2021), Next Generation EU e i Piani Nazionali di Ripresa e Resilienza, Centro Studi FUNDS FOR REFORMS LAB, Policy Brief 1/2021, 2.02.2021; SERVIZIO STUDI DEL SENATO (2021), Il Dispositivo per la Ripresa e Resilienza, 11.02.2021.
[4] Analogamente alle fasi di valutazione dei Programmi Operativi cofinanziati dai Fondi Strutturali, si possono individuare tre fasi di valutazione dei PNRR, quantunque da non interpretare esattamente allo stesso modo e che sono tutte a carico della Commissione:
• una fase di valutazione preliminare dei Piani, ossia una autentica valutazione di merito che sarà effettuata dalla Commissione stessa (e, a seguire, anche dal Consiglio ECOFIN) sulla base di criteri di pertinenza, efficacia, efficienza e coerenza presentati in modo molto dettagliato nell’art. 19 del Regolamento;
• valutazione in itinere del grado di raggiungimento dei “traguardi” e degli “obiettivi” (ricordando che questa è fondamentale per l’erogazione dei contributi agli Stati e che, inoltre, il Regolamento dispone che la Commissione presenti al Parlamento Europeo e al Consiglio una relazione annuale in merito all’attuazione e che entro il 20 Febbraio 2024 elabori una valutazione indipendente);
• valutazione ex post. La Commissione, come richiesto dall’art. 32 dovrà elaborare una valutazione ex post indipendente entro il 31.12.2028.
In merito va aggiunto che, nel corso del seminario dell’AIV del 29.03.2021 richiamato sopra, Virgilio Buscemi e gli altri promotori hanno giustamente rimarcato con preoccupazione che, stando al Regolamento, la valutazione sarà responsabilità soltanto della Commissione. Oggettivamente sarebbe stato preferibile che il Regolamento indicasse anche delle responsabilità dirette degli Stati in ordine alla valutazione in itinere. Ciò detto, è anche vero che sarebbe auspicabile che il nostro Governo, anche se non previsto dal Regolamento, decidesse autonomamente di definire un articolato sistema di valutazione in itinere del PNRR e dei suoi progetti.
A tale riguardo si ricorda che a fianco del Dispositivo per la Ripresa e la Resilienza opererà uno strumento ad hoc inserito, così come il Dispositivo, nella rubrica 2 del Quadro Finanziario Pluriennale 2021-2027 – lo Strumento di sostegno tecnico (gestito dalla DG Riforme della Commissione Europea) – che, inter alia, ha la funzione di sostenere gli Stati in articolati processi di capacity building. Sarebbe auspicabile che il Governo italiano prendesse in considerazione l’ipotesi di accedere ai contributi dello Strumento di sostegno tecnico anche per definire un sistema di valutazione ad hoc del PNRR.
[5] Un progetto di pubblica utilità finanziato tramite i Social Impact Bond e, quindi, informato a clausole “pay-by-result” dovrà produrre un impatto sociale significativo. Questa è la ratio di tali progetti, che porta a identificarli come strumenti con un rendimento “finanziario” proporzionale al loro rendimento “sociale”.
Come scrive magistralmente Pasi in un contributo pubblicato nel 2015 sul portale del progetto “SecondoWelfare”, ‹‹un simile meccanismo poggia su un cambiamento importante rispetto alle logiche negoziali classiche della pubblica amministrazione: la stazione appaltante (cioè il settore pubblico) si impegna a pagare solo a fronte di determinati outcomes e non appena sulla base di outputs (o peggio ancora inputs) certificati in una qualche maniera››.
Cfr. PASI G. (2015), Saving cost bond: se la revisione della spesa diventa investimento sociale. Qualche osservazione sparsa sull’utilizzo dello strumento nel nostro Paese, SecondoWelfare, 28.08.2015.
Nella figura che segue provo a riassumere gli effetti principali dell’introduzione dei principi alla base dei SIBs sulle politiche pubbliche.

 

[6] Si ricordi che Social Value Italia – la cui missione «è quella di promuovere in Italia la cultura la pratica della misurazione del ‘valore sociale’» – Associazione Italiana di Valutazione, Assobenefit, Fondazione per la Finanza Etica, Forum per la Finanza Sostenibile e Torino Social Impact hanno lanciato durante l’inverno una petizione affinchè «la valutazione di impatto entri nei processi amministrativi del Next Generation EU».

Si segnala anche che la rilevanza degli strumenti della finanza a impatto «per rendere la spesa pubblica più efficace nel raggiungimento di risultati ambientali e sociali e per attrarre maggiori risorse finanziarie, coinvolgendo il settore privato rispetto agli obiettivi di sostenibilità dell’Agenda 2030» anche nell’ambito del PNRR è stata rimarcata, a più riprese, nei mesi scorsi, da Giovanna Melandri, presidente dei think-and-do tank Human Foundation e Social Impact Agenda per l’Italia in diversi articoli pubblicati, inter alia, sulla rivista online VITA e sull’inserto ‘Buone Notizie’ del Corriere della Sera. Si veda, per tutti, la Memoria presentata nel corso dell’Audizione presso la Commissione XII Affari sociali della Camera dei Deputati, a firma di Giovanna Melandri e Filippo Montesi.

[7] Oltre al manuale di Federico Bussi (“Progettare in partenariato. Guida alla conduzione dei gruppi di lavoro con il metodo GOPP”), per degli approfondimenti sul c.d. “approccio di quadro logico” si rimanda a due pregevoli Manuali in Italiano: ROSSI M. (2004), I progetti di sviluppo. Metodologie ed esperienze di progettazione partecipativa per obiettivi, F. Angeli, Milano; STROPPIANA A. (2009), Progettare in contesti difficili. Una nuova lettura del Quadro Logico, F. Angeli, Milano.
[8] Si veda il report “Perché il Piano Nazionale Ripresa e Resilienza divenga strategia-paese” del Forum DD, il cui principale pensatore è l’economista Fabrizio Barca, che è stato a lungo a capo dell’attuale Agenzia per la Coesione Territoriale ed è stato anche Ministro per la Coesione territoriale nel Governo Monti.
Un altro punto di vista critica molto interessante inerente alla formulazione del PNRR approvato il 12 Gennaio è stato avanzato da Massimo Rossi nel recente contributo “Pianificazione e programmazione al tempo del Covid-19” (Scienza e Pace Magazine, 2.03.2021).
Molte critiche si possono avanzare anche in merito ai termini, per ora alquanto incompleti con cui sono trattati la questione dei processi di rendicontazione della spesa e delle relative procedure di controllo (è plausibile vengano rilasciati degli Atti delegati da parte della Commissione). Ma questa è una storia buona per il nuovo post da pubblicare il prossimo 20 Aprile.