‘For social challenges that cannot easily identify and aggregate social challenges and correlate them to cost savings, the Pay-For-Success model’s effectiveness is more difficult to demonstrate and has to be structured differently’
V. Kasturi Rangan & Lisa A. Chase [1]

Le difficoltà metodologiche nell’applicare l’approccio contro-fattuale alla valutazione dei Social Impact Bonds

Il dibattito sulla valutazione degli strumenti di “impact investing”, come accennavo nel precedente post “Alcune note sull’importanza della valutazione dei Social Impact Bonds” sta trascurando quanto la struttura articolata di questi strumenti renda piuttosto problematica l’applicazione di metodologie di valutazione riconducibili all’analisi contro-fattuale.
Questo è particolarmente vero nel caso dei Social Impact Bonds (SIBs), strumenti alquanto complessi sotto il profilo gestionale, operativo e finanziario.
In termini di governance, i SIBs sono caratterizzati dal coinvolgimento di più operatori nell’ideazione, nella gestione e, non ultimo, nel finanziamento di progetti di pubblica utilità (i SIBs puntano ad ampliare il novero dei potenziali finanziatori privati, attraverso il coinvolgimento di investitori filantropici e di capitalisti “pazienti” e/o “orientati all’utilità sociale”). Si tratta, quindi, di progetti caratterizzati da elevati “costi di transazione” e che potrebbero essere condizionati, in sede di attuazione, da significativi problemi di coordinamento.
In termini operativi, stante l’individuazione di un target di beneficiari ben definito, il raggiungimento di risultati significativi per le condizioni di vita di individui in molti casi in condizioni di autentica indigenza, o comunque di forte disagio sociale, richiede:
• l’attivazione di più servizi di sostegno (nel caso del SIB applicato per combattere la recidiva degli ex detenuti del carcere di Peterborough, era stato previsto, fra gli altri, la fornitura di una sistemazione abitativa al momento dell’uscita dal carcere secondo l’approccio “housing first”; servizi di supporto ad hoc per ex detenuti con problemi di salute mentale; servizi di orientamento professionale e formativi; la creazione di opportunità di impiego);
• il coinvolgimento di più operatori specializzati (lo Special Purpose Vehicle/progetto The One* Service che ha dato corso operativo al primo SIB sperimentato a Peterborough ha coinvolto come organizzazione promotrice Social Finance UK e, sul campo, quattro diverse charities: Ormiston Trust, St Gilles Trust, YMCA e SOVA). [2]
Sul piano finanziario, come discusso nel precedente post, si tratta di strumenti di finanza strutturata in cui la remunerazione sia dei fornitori di servizi sia degli investitori è legata al raggiungimento (totale o parziale) dei risultati quantificati inizialmente.

Una rigorosa valutazione di impatto dei risultati, pertanto, non è cruciale solo per apprendere dalle “lezioni dell’esperienza” e migliorare progressivamente le politiche pubbliche, ma anche per “completare” il modello finanziario alla base di questo particolare forma di partenariato pubblico privati. Tuttavia, sono richiesti molteplici accorgimenti nell’applicazione dei metodi più accreditati di valutazione di impatto contro-fattuale che affondano le radici nell’applicazione alle scienze sociali di metodi usati in esperimenti clinici controllati e randomizzati (Randomized Control Trial – RCT), a causa dei seguenti fattori:
• la complessità dello strumento e dei progetti da esso sostenuti (progetti multi-dimensionali, così come sono multi-dimensionali i problemi che vengono affrontati);
• il particolare gruppo target (individui in condizione di forte svantaggio sociale) che, in genere, è oggetto degli interventi;
• la stessa natura dei benefici. Un aspetto sovente trascurato concerne il fatto che i benefici che si raggiungono vengono fortemente a dipendere non solo da condizioni di contesto e qualità dei servizi, ma anche dall’effort degli stessi beneficiari. Nel momento in cui si avviano progetti di recupero sociale di homeless con problemi di alcolismo (come nel caso del SIB lanciato nel 2012 dalla Greater London Authority) il loro successo verrà fortemente a dipendere anche dalla forza di volontà dei beneficiari di dare una svolta positiva alla loro vita e dalla loro capacità di non ricadere in condizioni di dipendenza (“effort”). Si tratta di una variabile “nascosta” la cui incidenza è davvero difficilmente valutabile e che acuisce fortemente il problema generale dell’influenza sui Randomized Control Trial delle c.d. “relazioni spurie” (riconducibile all’esistenza di fattori non considerati e/o poco misurabili e, quindi, non controllati).

Alcune note sul disegno di valutazione dei Social Impact Bonds

Nel momento in cui si ragiona su come applicare metodologie di valutazione contro-fattuale, è facilmente comprensibile come alcune criticità di ordine generale di tali metodologie risultino acuite nel caso di progetti che hanno come target principale soggetti in condizioni di forte svantaggio.
L’approccio controfattuale, oltre che richiedere l’applicazione di complesse tecniche di analisi statistiche ed econometriche, richiede parimenti una attenta formulazione iniziale del c.d. “disegno di valutazione”.
Gli elementi imprescindibili su cui prestare più attenzione sono:
• definire un campione di beneficiari (gruppo target) chiaramente identificato – e per il quale siano ben mappati sia la domanda di servizi specifica, sia il gap di offerta dei servizi socio-assistenziali – ma anche accessibile (si pensi a quanto possa essere difficile “avvicinare” e trattare costantemente un campione selezionato di senza fissa dimora che dormono in strada);
• individuare puntualmente i parametri statistici del campione dei beneficiari degli interventi (quali età, condizioni socio-economiche, anni per i quali si è sofferto di una certa malattia o di una data condizione di disagio, altri);
• selezionare un campione di potenziali beneficiari che abbiano gli stessi parametri statistici del primo campione (indicato come campione dei “trattati”), ma che non beneficeranno degli interventi (“gruppo di controllo”);
• garantire che ambedue questi campioni siano sufficientemente ampi (e rappresentativi delle popolazioni statistiche da cui sono tratti) affinchè i risultati siano statisticamente significativi;
• fare in modo che sia tutti i “trattati”, sia tutti i “controlli” completino il loro diverso percorso (il trattamento e il “non trattamento”) restando per tutta la durata degli interventi in gruppi separati. Come chiarito magistralmente da Alberto Martini et al. «al fine di ottenere stime corrette dell’effetto, è indispensabile che gruppo sperimentale e gruppo di controllo restino tali per l’intera durata dell’esperimento: cioè è importante evitare che i membri del gruppo dei trattati smettano di ricevere il trattamento da un lato, e dall’altro che i membri del gruppo di controllo ricevano un trattamento simile». [3]

Stante il fatto che a questi accorgimenti metodologici se ne devono aggiungere molti altri per ottenere risultati valutativi “robusti” e accettati da tutti i portatori di interesse, è intuitivo come il rispetto solamente di questi criteri di campionamento risulta quanto mai difficile quando i progetti interessano soggetti problematici come i senza fissa dimora, gli alcolisti o immigrati economici e rifugiati [4]. Nel caso di progetti sostenuti dai SIBs a favore di individui in condizioni di marginalità e deprivazione:
• fra i “fattori di confondimento” – elementi che potrebbero produrre dei mutamenti delle condizioni dei beneficiari a prescindere dai servizi di supporto – vanno annoverati fattori legati alla loro storia personale difficilmente ricostruibili nel caso di tali individui (è naturale che nel caso di ex detenuti, ex alcolisti e così via sarà particolarmente delicato ricostruire il pregresso della loro vita – su cui è naturale attendersi un loro certo riserbo – e capire come il background abbia inciso sulla condizione di disaggio e possa incidere sul percorso di recupero sociale);
• per i gruppi target di questo tipo di progetti è particolarmente problematico ricostruire un campione di “controlli” che abbiano realmente caratteristiche “simili” a quelle dei “trattati” (semplicemente per il fatto che non è proprio semplice ricostruire il loro percorso di vita e, sovente, si fatica a rilevare anche dati anagrafici di base dei potenziali beneficiari, quali l’età). Inoltre, è particolarmente elevato il rischio che l’integrità del “disegno di valutazione” venga compromessa da soggetti beneficiari che per vari motivi si sottraggono al “trattamento”;
• per i progetti di questo tipo va sempre messo in conto l’applicazione di processi più o meno impliciti di “scrematura” dei soggetti trattati, per cui le organizzazioni erogatrici dei servizi tendono a selezionare quei soggetti potenzialmente più performanti nel percorso di recupero sociale (fenomeni di “cream skimming” a discapito di quelli più deboli).

Nel caso della misurazione dell’impatto dei SIBs, quindi, la formulazione del “disegno di valutazione” – parte integrante del progetto generale – richiede particolari accorgimenti metodologici per tenere conto della natura multi-dimensionale dei progetti e, soprattutto, delle condizioni di particolare disagio dei beneficiari. Non a caso, in una Guida sui SIBs del think tank The Young Foundation vi è un autentico algoritmo per la valutazione della fattibilità e della potenziale efficacia di progetti finanziati mediante SIBs, basato su sette domande. [5] Due di queste concernono proprio la valutazione:
• gli impatti sociali possono essere quantificati?
• un numero sufficienti di individui beneficierà degli interventi?

*************

[1] Kasturi Rangan V.; Chase L.A.; The Payoff of Pay-For-Success, Stanford Social Innovation Review, Fall 2015, p. 39

[2] Il Ministero della Giustizia britannico e Social Finance UK hanno definito uno Special Purpose Vehicle / programma di intervento – The One* Service – che, di fatto, costituisce il quadro strategico di riferimento delle attività di diverse organizzazioni “service providers”. Queste organizzazioni operano sulla base di un contratto che fa riferimento al Programma The One* Service e che, quindi, le costringe a lavorare in stretto coordinamento.

[3] Cfr. Martini A., Mo Costabella L., Sisti M.; Valutare gli effetti delle politiche pubbliche. Metodi e applicazioni al caso italiano, Collana Materiali FORMEZ, 2016, p. 74.
[4] Un altro aspetto trascurato è l’importanza di una piena condivisione delle “metriche” di successo. Bisognerà infatti definire delle “metriche” per gli outcomes che siano riconosciute come significative da operatore pubblico, investitori privati e da operatori che forniranno i servizi socio-assistenziali.
[5] Le sette domande elaborate dagli esperti di The Young Foundation sono:
1. si tratta di interventi preventivi e non ci sono sufficienti fondi pubblici disponibili?
2. gli interventi hanno un impatto rilevante?
3. gli impatti sociali possono essere quantificati?
4. un numero sufficiente di individui beneficierà degli interventi?
5. per la PA si potrà registrare un significativo risparmio dei costi?
6. la riduzione prevista della spesa pubblica per interventi “curativi” di problematiche sociali potrà più che compensare i “costi di transazione” e i costi operativi dei progetti finanziati tramite SIBs?
7. vi è effettivamente interesse da parte del Governo per la sperimentazione dei SIBs?
Cfr. Mulgan G.; Reider N.; Aylott M.; Bo’sher L.; Social Impact Investment: the Challenge and Opportunities of Social Impact Bonds; The Young Foundation, London, 2011.