Luci e ombre della valutazione delle politiche sociali

In Italia si parla diffusamente di valutazione degli interventi e delle politiche sociali da circa un ventennio e oggi la maggior parte delle esperienze di promozione della programmazione, concorso, finanziamento, gara in questo campo, sono accompagnate sistematicamente da indicazioni per la stesura di progetti corredate dalla richiesta di realizzare un disegno di valutazione, o, quantomeno, (spesso con molta confusione concettuale), dalla richiesta di identificare gli indicatori (di processo e di risultato) sui quali si baserà la valutazione.

Prima di entrare nel merito di tale prassi evidenziandone pregi e difetti, mi preme ricordare la strada che ha condotto a queste pratiche, che fin dalla prima metà degli anni ‘90 non erano quasi per nulla adottate.

L’idea di lavorare in un’ottica progettuale e programmatoria (e pertanto, implicitamente anche valutativa), fa per la prima volta capolino nel settore sociale alla fine degli anni ’70: infatti è in questi anni che in un “pionieristico” lavoro dell’Irs su Servizi sociali, realtà e riforma, si afferma che “i progetti diventano al tempo stesso il modo di fare e di attuare un programma … sono gli elementi di traino con i quali costruire il sistema alternativo dei servizi” (Bassanini et al., 1977).

Sono però ancora necessari alcuni di anni perché tale intuizione si trasformi in effettiva prassi, al punto da contemplare la valutazione come processo cruciale per definire gli esiti di progetti e programmi, infatti le prime esperienze di valutazione vera e propria di interventi e politiche sociali (Tonon Giraldo, 2005) penso che si possano far risalire ai primi anni ‘90, quando inizia a consolidarsi a livello professionale, l’innovazione (o moda come qualcuno provocatoriamente ipotizzava) di “lavorare per progetti” (Scortegagna, 1992).

In quel contesto veniva assunta l’idea di progetto sociale, coerente con l’etimologia del termine: dal latino proicere, gettare avanti (Agnoletto, 1996).

Il progetto sociale viene pertanto inteso: “non solo come cruciale strumento per la realizzazione di azioni innovative ma anche come opportunità di costruire un “pensiero anticipatore”, previsivo di situazioni possibili per situazioni complesse e determinate”. In questo quadro fa logicamente capolino anche l’idea che i risultati del lavoro “per progetti” debbano essere “verificati e monitorati” (in quegli anni il termine valutazione nel nostro settore era ancora assai poco usato).

Di fatto è nella seconda metà degli anni ‘90 che l’idea di valutare prende corpo in tutta la sua potenzialità valoriale, infatti emerge l’esigenza di costruire significato intorno ai propri interventi e conseguentemente, motivazione e riconoscimento fra gli operatori, come è ben esemplificato in un articolo di Agnoletto del 1996 intitolato “Ottica preventiva e valutazione degli interventi”; inoltre emerge la necessità di dare ai decisori elementi di giudizio per promuovere lo sviluppo delle politiche sociali “anticipate” dai progetti.

Parallelamente, come è noto, al di là del settore sociale la seconda metà degli anni ‘90 è quella in cui si sviluppa più in generale una cultura della valutazione delle politiche pubbliche anche nel nostro paese; infatti è in questo periodo che compaiono molti articoli sulla valutazione in particolare all’interno del quadro di riferimento dell’analisi delle politiche pubbliche, che porteranno, nel ’97, alla nascita dell’AIV e della RIV (Rassegna Italiana di Valutazione).

In quegli stessi anni, nello specifico settore sociale, le cosiddette leggi di settore (285/97 su infanzia e adolescenza, 45/99 su dipendenze, 40/99 su immigrazione, ecc.) e i finanziamenti ad esse legati, rappresentano gli atti che danno una fondamentale spinta nella direzione di una valutazione continua e sistematica dei progetti sperimentali e promozionali legandoli a specifici piani di intervento (regionali, locale o a livello di Provincia o Asl) che sono soggetti a finanziamento. È un momento di svolta perché il lavoro per progetti e la valutazione che ne è parte integrante vengono valorizzati ed inseriti all’interno della programmazione delle politiche sociali.

La L.285/97 è quella che maggiormente cura l’aspetto metodologico della progettazione e valutazione, più che con il dettato legislativo, che è un po’ generico e “pretenzioso” (cfr l’art. 9 della L.285/97), con i due manuali attuativi della legge che fanno chiarezza su che cosa significhi progettare, monitorare, verificare e valutare. In particolare nel secondo manuale (AA.VV., 2000) si prevede un sistema multilivello di valutazione dei progetti e dei piani che propone di coinvolgere attivamente, anche nella fase valutativa, sia il singolo soggetto che progetta e gestisce l’intervento, sia le Province che coordinano i piani infanzia ed adolescenza territoriali, sia le Regioni che hanno funzioni di governo complessivo di tale processo.

Parallelamente, sul fronte della valutazione di politiche sperimentali, è di questi anni la valutazione, condotta da un pool di istituti di ricerca (Irs, Fondazione Zancan, Censis) della sperimentazione nazionale del reddito minimo di inserimento, che rappresenta una prima esperienza cruciale (seppur abortita, perché mai pubblicata integralmente dal Ministero committente) nella direzione di valutare programmi importanti, e di usare la valutazione per fornire suggerimenti per la possibile messa a regime di iniziative sperimentali (Mesini, 2004; Mesini & Ranci Ortigosa, 2002; Ranci Ortigosa & Mesini, 2004).

Analogamente, con lo svilupparsi di forme di politiche sociali sempre più proiettate verso una gestione esternalizzata dei servizi, emerge l’esigenza, da parte dell’ente locale che ha la titolarità delle politiche sociali territoriali, di valutare la qualità dei progetti gestiti dal privato sociale, pertanto si sviluppano nuove funzioni valutative su questo fronte, coniugando esigenze di rendicontazione dei costi ad analisi della qualità degli interventi che considerano anche il punto di vista dei cittadini utenti e di altri stakeholder significativi (anche attraverso carte dei servizi, bilanci sociali, ecc.).

Con il nuovo secolo, dopo la L.328/00 il Piano di zona si costituisce come strumento di programmazione degli interventi sociali di un territorio. In questo nuovo quadro programmatorio i principali attori della programmazione sociale e conseguentemente “committenti” della costruzione e valutazione dei programmi e progetti divengono, per il territorio, i comuni associati, che coordinano il sistema di servizi integrati ed interventi sociali di ciascun territorio e che affiancano il livello di governo superiore (Regione) nell’assolvimento delle funzioni valutative.

Costruire i progetti e poi valutarne i risultati e i processi è dunque cruciale per lo sviluppo delle politiche previste nei piani sociali di zona, è funzione essenziale di governo del sistema integrato dei servizi sociali di un territorio.

Oggi la progettazione sociale e la valutazione (che ne è parte integrante) passano non solo da Regioni e Piani di zona, ormai diffusi nella quasi totalità delle regioni italiane, ma anche da altri strumenti di programmazione che li affiancano e li integrano (contratti di quartiere, patti territoriali, bandi europei, bandi di Regioni, bandi di fondazioni, ecc.). Tali strumenti insistono sulla valutazione come funzione fondamentale per mantenere nella programmazione delle politiche sociali quell’ottica strategica che fin dagli albori del lavoro per progetti è stata ritenuta cruciale per evitare i rischi (sempre presenti nel nostro campo) di limitare l’intervento ad una logica di semplice tamponamento delle urgenze per certi versi “suicida” (De Ambrogio et al., 2007).

Come a tutti i professionisti che a vari livelli operano nel nostro settore è infatti noto, mantenere nel corso di questi anni un’ottica valutativa in senso proprio e pertanto progettuale e strategica è stato un faticoso processo di crescita oggi particolarmente irto di ostacoli.

Oggi infatti, di fronte alla fluidità e incertezza del contesto di crisi non solo socioeconomica ma anche istituzionale che investe il settore delle politiche pubbliche, e sociali in particolare, sempre più soggette a tagli, gli attori della programmazione sociale e della valutazione, che ne è parte integrante, si trovano spesso a dimenticare il percorso di crescita culturale che si è sviluppato nell’ultimo ventennio e a rinunciare a percorsi progettuali virtuosi o a considerarli come adempimento burocratico e passaggio strumentale e obbligato per accedere a risorse.

In questo quadro chi ha una visione strategica delle politiche sociali sa che diviene oltremodo cruciale, proprio per fronteggiare i rischi che la crisi propone, la capacità di programmare servizi e politiche sociali secondo un’ottica valutativa. Ciò significa infatti riconoscere e valorizzare risultati conseguiti, punti di forza e criticità degli interventi e pertanto orientare correttamente le risorse disponibili e resistere a pressioni rivolte a tagliare indiscriminatamente.

Da qui l’esigenza di sviluppare e rinforzare fra gli addetti ai lavori le competenze e prassi di valutazione dei progetti, proprio per incrementare le capacità di vedere i risultati di tali complesse esperienze e valorizzarle e migliorarle nell’ottica anche di una loro maggiore visibilità per possibili riproposizioni ed estensioni.

Sistema generale di governance dell’attività di valutazione

Nel campo sociale sono molteplici le funzioni di valutazione esercitate, a diversi livelli di responsabilità.

La Tabella 1 si propone di sintetizzare i piani e i livelli di valutazione coinvolti nel settore precisando anche gli attori coinvolti e citando uno o due esempi in letteratura, relativi a ciascuno dei livelli considerati.

Come si può notare si illustra che nel settore sociale le unità di analisi della valutazione sono diverse a seconda del ruolo che si ricopre nel sistema di interventi e politiche.

Tabella 1. Che cosa si valuta nel settore sociale

Che cosa si valuta nel settore sociale? I CASI GLI INTERVENTI SERVIZI I PROGETTI SPERIMENTALI IL LAVORO SOCIALE LE POLITICHE
(I PIANI)
Per quale ragione si valuta? Per fornire migliori risposte alle esigenze individuali Per offrire risposte omogenee efficienti ed efficaci Per riconoscerne l’efficaciae la estensibilità Per apprenderne il valore, le criticità e riorganizzarlo Per offrire al territorio le migliori risposte possibili ai bisogni sociali
Quale la governance della valutazione? Singoli professionisti I vertici delle organizzazioni che gestiscono servizi I progettisti (autovalutazione) e/o i finanziatori Autovalutazione dei professionisti o valutazione dei dirigenti degli enti preposti Regioni, Enti locali
Un esempio in letteratura Gori, 2003Bertotti & De Ambrogio, 2003 Stame et al., 2010 Ghetti & Guidetti,2013 De Ambrogio, 2007 Ranci & Mesini, 2000Ciucci, 2008

Gori, 2011

Gli operatori con funzioni di case-manager valutano i casi, ovvero i bisogni delle persone che richiedono un servizio/prestazione, al fine di fornire le risposte più adeguate alle esigenze dei cittadini; i responsabili e coordinatori dei soggetti gestori valutano i servizi e gli interventi sociali da loro erogati, al fine di offrire risposte omogenee ed efficaci alla cittadinanza; i progettisti, in un’ottica auto valutativa e/o i finanziatori, valutano i progetti sperimentali, per riconoscerne l’efficacia in termini anche di sostenibilità e possibilità di estensione e messa a regime; i dirigenti e gli stessi professionisti (in un’ottica autovalutativa) valutano il lavoro sociale, per apprenderne il valore, incentivarlo, riorientarlo e riorganizzarlo; infine i soggetti con responsabilità di governo (Regioni, Enti Locali), valutano le politiche sociali, spesso analizzando gli strumenti di pianificazione (piani sociali regionali, piani sociali di zona), al fine di riconoscere i risultati delle politiche, le loro criticità e identificare strategie per offrire al territorio le migliori risposte possibili ai bisogni sociali.

Ovviamente via via che ci si sposta sulle colonne di destra della tabella (lavoro, politiche) aumenta la complessità della valutazione che necessita comunque assai spesso di informazioni ed opinioni provenienti anche dalle colonne di sinistra (casi, interventi, progetti).

Quale che sia il livello valutativo all’interno del quale ci si colloca, dal punto di vista metodologico va detto che negli ultimi anni la capacità di valutazione nel campo sociale ha fatto sensibili passi avanti. Come testimoniano gli esempi citati nell’ultima riga della Tabella 1, con maggiore frequenza che in passato capita di avere a che fare con valutazioni multilivello (ovvero che tengono conto dei giudizi di promotori, committenti, gestori, destinatari ed altri stakeholder dei progetti), dove si affronta e in alcuni casi si supera l’illusione di trovare indicatori sintetici e “magici” (che da soli spieghino tutto) oppure ci si scontra e si tenta di superare l’altrettanto illusoria ossessione degli indicatori enciclopedici secondo la quale per valutare correttamente bisogna rilevare tutto ciò che accade intorno ad un progetto, senza predefinire criteri selettivi di giudizio. Inoltre in alcune buone prassi recenti va prendendo corpo un’idea di valutazione come processo di comunicazione virtuoso e perciò attento anche alle modalità comunicative evitando di incappare nella trappola della valutazione come processo sanzionatorio di attribuzione di un potere forte su soggetti più deboli (De Ambrogio, 2014).

Temi e ambiti delle valutazioni realizzate in campo sociale, metodi e tecniche impiegate

Date le caratteristiche di questo contributo concentro ora la attenzione sull’ultima colonna della Tabella 1, ovvero sulla valutazione delle politiche sociali, in particolare quella esercitata dalle Regioni, per illustrare temi, ambiti, metodi e tecniche della valutazione nel sociale.

A questo scopo mi avvalgo di alcuni risultati di una indagine che ho condotto in sede Irs con i colleghi Mesini e Pasquinelli (De Ambrogio et al., 2009) a fine 2009 che, anche se meriterebbe oggi qualche aggiornamento, ritengo comunque ancora valida in termini di spaccato sulle pratiche valutative delle politiche sociali nel nostro paese.

Tale ricerca ha inteso esplorare le diverse pratiche valutative realizzate da alcune Regioni (e dalla Provincia Autonoma di Bolzano) in un arco temporale di 5 anni, sia sulla programmazione che su progettazioni specifiche, evidenziandone punti di forza e criticità oltre che i principali fattori ostacolanti il loro sviluppo.

La Tabella 2 sintetizza i principali ambiti valutativi delle Regioni intervistate.

La valutazione della programmazione e delle azioni di sistema registra esperienze diverse, come si vedrà analiticamente più oltre, e spazia da attività di valutazione della governance dei Piani di Zona, a monitoraggi della spesa sociale e dei relativi flussi di finanziamento, per arrivare ad analisi delle forme di gestione e delle funzioni di accesso ai servizi e di sportello sociale.

Sono molto eterogenee anche le pratiche valutative realizzate dalle amministrazioni interpellate su azioni relative a specifici ambiti tematici. Prevalgono le valutazioni relative all’infanzia e all’adolescenza, segue l’area della non autosufficienza, più limitati gli interventi per favorire l’inclusione sociale dei soggetti deboli.

All’interno di questi tre ambiti tematici risulta differente il focus dell’analisi, talora rappresentato da politiche e/o programmi a valenza regionale, talaltra da progetti e servizi più circoscritti e a valenza locale.

Infanzia e adolescenza sono gli ambiti dove è più diffusa l’attività di valutazione. Un impulso importante in questa direzione è stato dato dalla L.285/97, con i relativi rapporti regionali di valutazione. Questa legge ha inaugurato un nuovo tipo di attenzione nei confronti della valutazione, come parte integrante delle funzioni regionali di governo degli interventi.

Con riferimento alla non autosufficienza, le esperienze vanno dal monitoraggio e la valutazione di politiche, quali l’assegno di cura e la prima dote, alla valutazione del sistema di strutture residenziali rivolte ad anziani non autosufficienti, al monitoraggio della programmazione e rendicontazione economico-finanziaria delle risorse per la non autosufficienza. Da segnalare anche le analisi di customer satisfaction realizzate per esempio su servizi di assistenza domiciliare (SAD) e sull’utilizzo di strutture rivolte ad anziani e disabili.

Infine, molto eterogenee sono anche le attività realizzate nell’ambito della povertà e inclusione sociale. Si va dalla valutazione di politiche/programmi di lotta alla povertà a carattere regionale, alla valutazione dello stato di attuazione di programmi di Cittadinanza Solidale, ormai a regime, alla valutazione di buone pratiche nella lotta alla marginalità sociale, fino al monitoraggio reiterato di specifici fondi dedicati a interventi di lotta alla povertà.

Tabella 2. Ambiti tematici delle principali pratiche valutative realizzate negli ultimi 5 anni (Irs, 2009)

Valutazione di programmazione e gestione generale delle politiche sociali e di azioni di sistema Regioni
La governance dei Piani di Zona Puglia, Toscana, FVG, Sardegna, Piemonte, Lombardia, Liguria, Pr. BZ
Valutazione flussi di finanziamento Puglia, Toscana, ER, FVG, Liguria
Forme di gestione Veneto, ER, Lombardia
Accesso e sportelli sociali ER, Liguria
Stato di attuazione dei Piani di Zona (monitoraggio ex ante o a consuntivo) Sicilia, Marche, Basilicata, ER
Altro (professioni sociali, carte dei servizi, ecc.) Puglia, FVG, Campania
Valutazione di politiche progetti e azioni specifiche Regioni
Famiglia e minori Puglia, Toscana, ER, FVG, Pr. MI, Piemonte, Marche, Lombardia, Liguria, Pr. BZ
Fasce deboli (anziani, disabili) Puglia, Toscana, ER, FVG, Pr. MI, Sardegna, Piemonte, Marche, Lombardia, Liguria, Pr. BZ
Povertà ed inclusione sociale ER, FVG, Sardegna, Sicilia, Piemonte, Lombardia, Liguria, Basilicata

L’interesse da parte delle amministrazioni coinvolte nei confronti delle attività di valutazione e monitoraggio di politiche ed interventi è riscontrabile anche considerando gli strumenti di rilevazione dei dati a loro disposizione. La maggior parte delle Regioni coinvolte sono dotate di un sistema informativo, seppure caratterizzato da diversi livelli di complessità ed alimentati da differenti flussi informativi.

Definito in termini generali lo scenario, ricco ed eterogeneo incontrato nelle esperienze regionali, analizzo ora maggiormente in dettaglio le esperienze.

Sono due i principali fronti su cui si sviluppano le funzioni valutative:

  • la valutazione della programmazione e gestione generale delle politiche sociali e delle azioni di sistema, che si realizza ormai, nella quasi totalità del nostro paese, attraverso i piani di zona;
  • la valutazione di politiche progetti e azioni specifiche (infanzia, non autosufficienza, povertà, ecc.).

La valutazione della programmazione e gestione generale delle politiche sociali e delle azioni di sistema

Si parla da alcuni anni di “valutare i piani di zona” (Avanzini & De Ambrogio, 2003) ma dalla ricognizione emerge che, al di là di molte buone intenzioni e di esperienze varie e articolate, spesso a carattere sperimentale e frammentato, non esistono esperienze di tal fatta compiute, complete e sistematiche.

Il panorama emergente risulta comunque ricco e denota da un lato un interesse ed un investimento verso questo campo crescente da parte delle Regioni contattate, dall’altro anche una frequente scarsa distinzione tra monitoraggi e processi valutativi in senso proprio.

Nell’ambito dei Piani di zona si individuano i seguenti campi di valutazione:

  • La valutazione della governance, ossia dei ruoli e dei processi partecipativi al governo delle politiche sociali dei territo Rispetto a questi in genere si riscontra una regia degli uffici di piano e modalità quali i tavoli politici, i tavoli tecnici, i tavoli tematici, ecc.
  • La valutazione dei documenti di Piano, ossia la valutazione di quanto è scritto materialmente nei piani di zona e che si intende realizzare nel corso del triennio in ciascun specifico territo
  • Il monitoraggio e la valutazione dell’implementazione dei Piani, ossia il grado di realizzazione (in itinere ed ex post) delle azioni previste dai piani e la loro effi
  • Il monitoraggio e la valutazione di flussi di finanziamento, ossia delle risorse materiali di cui il piano di zona dispone o che il piano di zona può attrarre all’interno del proprio territorio.
  • L’analisi delle forme di gestione dei servizi sociali territoriali ossia delle forme istituzionali o organizzative (consorzi, aziende speciali, istituzioni, unioni fra comuni, ) e delle forme di mercato o quasi mercato che i territori hanno scelto per governare e gestire il sistema integrato dei servizi.
  • Il monitoraggio e la valutazione delle funzioni di accesso/sportelli sociali ossia delle modalità con cui si è interpretata la funzione di segretariato sociale e di porta unitaria di accesso promossa dalla L.328 (e ripresa dalla quasi totalità delle leggi regionali) come livello essenziale per la realizzazione del sistema integrato di servizi social

Secondo quanto dichiarato dalle Regioni le finalità prioritarie per le quali si realizzano tali valutazioni sono assai differenti, come è precisato dalla Figura 1.

Figura 1. Finalità delle esperienze di valutazione dei PdZ

4.1

Nella maggior parte dei casi quindi si valuta per fornire o aggiornare indicazioni programmatorie, in altri essenzialmente per un fine rendicontativo. In ulteriori casi per una sorta di “adempimento” in coerenza con le proprie linee guida programmatiche, in altri infine per individuare strategie di miglioramento.

Complessivamente si rileva che il fine maggiormente condiviso è quello del miglioramento delle politiche e degli interventi, passando sia attraverso una modalità di apprendimento (learning) da parte degli attori che realizzano o beneficiano della valutazione, sia attraverso atti di rendicontazione (accountability) rivolti a soggetti istituzionali che “hanno diritto di sapere” come si sono realizzate azioni e progetti per i quali si sono fatti pubblici investimenti.

Apprendimenti generati

Secondo quanto dichiarato dai referenti regionali intervistati nel corso della ricerca, le esperienze

valutative hanno consentito di realizzare risultati tangibili e apprendimenti negli attori.

In primo luogo si è riconosciuto che le valutazioni hanno consentito di costruire strumenti e metodologie di lavoro. Per esempio la messa a sistema di un processo di valutazione in itinere basato su un set di indicatori di performance e di processo o lo sviluppo della capacità di governance delle comunità locali.

Inoltre i responsabili di alcune esperienze hanno evidenziato che la valutazione ha permesso la ricostruzione delle condizioni istituzionali in cui si sono sviluppate le attività di programmazione a livello territoriale, sottolineando la presenza o assenza di conformità dei Piani di zona con le indicazioni metodologiche delle Linee guida regionali.

Secondo altri la valutazione ha consentito la realizzazione di percorsi formativi mirati, e la promozione e sviluppo dei processi di partecipazione.

Molte sono state anche le affermazioni secondo le quali la valutazione ha favorito la costruzione di conoscenze, per esempio attraverso la realizzazione di Rapporti annuali, fotografie aggiornate sullo stato di attuazione dei Piani Sociali di Zona, oppure attraverso l’Individuazione di un nomenclatore comune dei servizi, o infine grazie alla individuazione del punto di vista degli operatori in merito a strumenti e modalità operative individuate dagli Ambiti distrettuali per favorire la loro partecipazione alla costruzione e realizzazione dei Piani di zona.

Non sono mancate naturalmente anche le difficoltà e gli ostacoli che Regioni e i territori hanno incontrato nella realizzazione delle esperienze, tuttavia su queste, poiché investono la generale funzione valutativa e non esclusivamente il campo della valutazione della programmazione, ci soffermeremo più oltre.

La valutazione di politiche progetti e azioni specifiche

Nell’ambito di politiche progetti e programmi specifici le aree di valutazione emerse dalla ricerca sono prevalentemente tre: l’infanzia e l’adolescenza, l’area della non autosufficienza e in misura più contenuta gli interventi per l’inclusione sociale.

Se però osserviamo, nei diversi ambiti, il tipo di azioni intraprese e i risultati prodotti, colpisce quanto sia incerto e sottile il confine che divide la valutazione dal monitoraggio. Spesso gli interventi di “valutazione” di cui si parla costituiscono in realtà azioni di monitoraggio: un dare conto di ciò che viene realizzato, in termini di volumi di attività, utenza servita, costi sostenuti e così via. Solo in alcuni casi ci troviamo di fronte ad azioni valutative vere e proprie, basate su confronti orientati ad evidenziare i risultati raggiunti, con la formulazione di giudizi.

Sono in particolar modo due i confronti su cui oggi c’è elevata sensibilità e attenzione:

  • il confronto tra spesa sostenuta e attività realizz La ripartizione delle risorse assorbe nelle regioni molto lavoro e attenzioni. Una valutazione che offra elementi attendibili sui livelli di “efficienza” della spesa sostenuta dai territori costituisce un ambito di ricerca importante;
  • il confronto tra l’utenza dei servizi e il fabbisogno di assistenza, i tassi di copertura, il divario tra chi accede al sistema dei servizi e chi vi rimane fuori, le tendenze future in questa direzione.

Tuttavia molti degli interventi valutativi condotti riguardano dimensioni di analisi che ancora non contemplano questi confronti. Pur nella preziosa offerta informativa che viene prodotta, i monitoraggi danno conto di quanto viene realizzato, ma dicono poco o nulla sul grado di raggiungimento di determinati risultati attesi, gli effetti netti generati, la qualità delle prestazioni fornite.

Apprendimenti e difficoltà

Le azioni di valutazione di politiche programmi e progettualità specifiche hanno portato ad un significativo aumento delle conoscenze sulle performance di servizi ed interventi. Tuttavia, e in linea con il prevalente approccio di monitoraggio delle attività, i risultati producono molta descrizione e pochi “giudizi”. Nella maggioranza dei casi il risultato delle analisi è infatti di carattere prettamente ricognitivo.

Prevalgono per esempio i riscontri legati alla ricostruzione del quadro di spesa, del flusso di domanda, della governance dei progetti.

Le “Relazioni sociali” redatte da alcune Regioni, esemplificano questo orientamento prevalentemente descrittivo, e ancora solo in parte funzionale per circoscritti segmenti di intervento all’espressione di giudizi e alla validazione o ridefinizione delle politiche.

Gli esiti delle valutazioni raramente hanno portato a una ridefinizione delle misure o dei progetti, a una correzione dei relativi regolamenti e così via.

Aree di criticità e spunti di prospettiva

Una lettura trasversale delle esperienze richiamate, sia relative alla programmazione e gestione generale delle politiche sociali, sia relative a progettazioni e azioni specifiche, induce ad alcune considerazioni di insieme sulle tendenze in atto in materia di valutazione delle politiche sociali a livello regionale e locale.

Le Regioni sono, in parecchie esperienze, gli enti realizzatori della valutazione, ovvero coloro che si assumono la responsabilità del processo e del giudizio valutativo; in altri casi sono invece enti promotori di attività valutative che devono essere realizzate da altri, come soggetti istituzionali a cui è stato formalmente attribuito tale compito (ad esempio gli Ambiti sociali). Si delinea pertanto un doppio ruolo della Regione, presente sia come diretto realizzatore di valutazioni, sia come soggetto che indirizza altri livelli di governo verso la pratica valutativa, assumendo una funzione, in quest’ultimo caso, di orientamento e supporto.

L’interesse verso la valutazione è pertanto duplice, e si pone sia per trarre indicazioni in merito alla propria funzione di governo che per promuovere ed indirizzare le attività valutative dei livelli di governo territoriali.

La valutazione segue le diverse fasi dell’implementazione delle azioni di programmazione. Può essere ex ante (per es. la valutazione dei documenti di piano), in itinere (per es. il monitoraggio delle progettualità) o ex post o meglio di risultato (per es. quella relativa ai percorsi seguiti dall’utenza e ai relativi esiti) a seconda delle finalità che si propone.

Sono molti gli ostacoli che l’analisi delle esperienza regionali ha messo in evidenza. Tra questi quelli che più ricorrono riguardano:

  • il rapporto con i territori. Le difficoltà dichiarate risultano molto legate alla interazione con il livello locale: disomogeneità, scarsa sensibilità nei confronti di processi visti come un adempimento, come semplice debito informativo, richiamano la necessità di un investimento sul rapporto, sottovalutato, tra centro e periferia;
  • lo stato di attuazione. L’ostacolo rappresentato dalla disomogeneità nella gestione e attuazione di interventi, soprattutto se nuovi, rappresenta un problema soprattutto in relazione al fatto di condurre gradualmente i livelli assistenziali e tariffari dei servizi verso una maggiore omogeneità;
  • i tempi. Anche la sfasatura temporale tra i tempi della valutazione e i tempi della decisione viene segnalata spesso, per esempio nei ritardi nella gestione delle procedure connesse alla gestione dei servizi da parte degli Ambiti territoriali, oltre alla gestione della misura in base a criteri estremamente differenzia

L’analisi congiunta delle esperienze esaminate, con le difficoltà segnalate, ci permette di evidenziare alcuni campanelli di allarme, rischi che le Regioni e anche il livello di governo territoriale comuni, comuni associati, asl, ecc.) corrono nello svolgimento della loro funzione valutativa, che, un po’ provocatoriamente, presentiamo sotto forma di “sindromi” che si possono manifestare nelle valutazioni delle politiche sociali.

Sindrome del monitoraggio fine a se stesso

Si manifesta quando la valutazione si limita a descrivere ma non esprime giudizi su punti di forza e criticità e pertanto non dà suggerimenti migliorativi.

La frequente presenza di questa sindrome merita qualche riflessione ulteriore.

La Figura 2 distingue tra valutazioni intese come azioni fondate su una comparazione di informazioni orientate all’espressione di un giudizio, e monitoraggi intesi come analisi di quanto viene realizzato, un dare conto dell’esistente. La figura intreccia questa distinzione con quella tra iniziative effettuate saltuariamente e azioni stabilizzate nel tempo.

I due quadranti in grigio concentrano attualmente su di sé il maggior numero di iniziative, particolarmente quello in basso a destra. La sfida che si pone per gli anni futuri riguarda il passaggio verso azioni di valutazioni reiterate nel tempo. Le numerose azioni di monitoraggio hanno infatti bisogno di spostarsi verso la parte superiore destra della mappa, verso azioni valutative in senso proprio, se si vuole arrivare a esprimere giudizi sullo sviluppo e sugli esiti dei servizi e delle politiche, sul rapporto tra costi sostenuti e risultati raggiunti, sui livelli di qualità erogata.

Ogni sforzo valutativo ha inoltre bisogno di sistematicità nel tempo, per fornire un quadro capace di dire se politiche e servizi hanno prodotto delle modifiche nella direzione voluta.

Fig. 2. Rapporto tra monitoraggio e valutazione in relazione al grado di reiterazione*

4.2

Sindrome “accademica”

La si ritrova quando la valutazione, anche se approfondita e curata (e pubblicata), non si traduce in atti programmatori di indirizzo, spesso perché è “sfasata” rispetto ai tempi della programmazione.

Esito delle valutazioni, in questi casi, sono spesso pubblicazioni pregevoli ma tardive, che non riescono quindi ad incidere tempestivamente sulle decisioni programmatorie.

Sindrome “populista”

Si manifesta quando la valutazione è usata non tanto in riferimento ai suoi contenuti ma come mezzo strumentale e pertanto pretestuoso per enfatizzare la promozione di processi partecipativi, spesso vuoti di contenuto.

Sindrome del “fai da te”

È presente quando si fanno ricerche valutative del tutto simili ma ignorando che altri (altre Regioni o altri territori) si stanno ponendo gli stessi problemi contemporaneamente. Ciascun ente investe dunque tempo ed energie a costruire la propria specifica scheda, il proprio specifico questionario ecc., originale certo, ma che, non tenendo conto delle esperienze pregresse, può cadere in errori già commessi da altri e soprattutto non rende comparabili le informazioni raccolte.

Sindrome del “tieni per te”

Si manifesta quando interessanti valutazioni vengono dimenticate o gelosamente conservate in qualche cassetto, vanificandone la portata comunicativa presso i possibili decisori ai vari livelli di governo. Questa disattenzione nei confronti della restituzione dei risultati, quantomeno a chi ha fornito le informazioni di base, genera pesanti ricadute nei confronti dei territori, che si sentono sempre meno coinvolti e motivati a raccogliere informazioni. Informazioni la cui qualità, tempestività e completezza peggiora sempre di più.

Suggerimenti e raccomandazioni per l’esercizio di una efficace funzione valutativa nel settore sociale

La ricerca presentata e le considerazioni fin qui svolte hanno fatto emergere che la valutazione delle politiche sociali è una prassi che, pur con luci ed ombre, va sviluppandosi Questa attività ha portato a un aumento complessivo delle informazioni disponibili e delle conoscenze su come vanno le cose, anche se non si può ancora parlare di una prassi consolidata di vera valutazione delle politiche stesse.

La strada per far crescere il potenziale valutativo ha pertanto davanti a sé sfide importanti, ed è in questa direzione che propongo alcuni suggerimenti e raccomandazioni per l’esercizio di una efficace e corretta funzione valutativa dai livelli di governo regionale e locale.

Il primo suggerimento, in particolare in un momento di crisi quale quello che stiamo attraversando, è di investire in valutazione. Valutare servizi e politiche sociali ha bisogno di tempo, investimenti stabili, reiterazione nella raccolta dati, sistematicità. La valutazione richiede da questo punto di vista un posto stabile nella definizione delle politiche, con risorse dedicate. Pena la parzialità dei risultati, la loro superficialità, la loro scarsa ricaduta sui processi decisionali.

Un secondo suggerimento è quello di investire sul confronto (a livello regionale e territoriale) fra oggetti analoghi e nelle stesse aree di intervento. Esiste infatti un forte disallineamento tra le diverse esperienze, anche nei medesimi ambiti: ognuna segue priorità, metodi, approcci propri. In particolare per quanto riguarda il confronto fra Regioni, su aree tematiche omogenee, potrebbe invece aiutarle a posizionarsi, a identificare aree di criticità e di eccellenza. Nel contesto di livelli essenziali e uniformi di assistenza, la definizione di criteri omogenei che guidino le valutazioni regionali è pertanto oggi un’operazione più che auspicabile.

Un terzo suggerimento è di ancorare le valutazioni alle decisioni programmatorie, facendo in modo che le esperienze valutative affianchino e sostengano la programmazione, fornendo informazioni e giudizi utili a decidere come sviluppare i programmi e le politiche sociali.

Il quarto suggerimento è di valorizzare i diversi livelli di governo come attori attivi di valutazione. Per le regioni non si tratta di valutare i territori considerandoli come semplici oggetti di valutazione, ma di valutare con i territori, giacché le informazioni ed i giudizi che provengono da tali livelli di governo sono fonte fondamentale di valutazione per il livello regionale oltre che per gli attori locali. La valutazione viene così ad assumere, nel nostro campo, una sorta di approccio “frattale” nel quale “dal livello più micro (l’intervento sul caso) a quello intermedio (un progetto territoriale) a quello più macro (la politica sociale di una regione) gli attori adottano gli stessi criteri e gli stessi principi metodologici e: “i livelli valutativi si alimentano vicendevolmente attraverso la trasmissione di dati, opinioni, documentazioni” (De Ambrogio et al., 2007).

Infine, l’ultimo suggerimento è di avvicinare i sistemi informativi alle valutazioni. Cartelle sociali e sistemi informativi sociali oggi producono molta attività di monitoraggio, di quantificazione dei volumi di attività, ma ancora poca “valutazione”, intesa come espressione di un giudizio.

Si ha la sensazione che la mole di informazioni prodotte “schiacci” i sistemi sulla descrizione delle attività, togliendo spazio per un’analisi in grado di connettere informazioni diverse tra loro, di fare confronti, di interpretazioni.

Come usare i sistemi informativi sociali per fare valutazione? Al riguardo giocano diversi elementi, il principale dei quali è forse il darsi obiettivi misurabili. Finché i sistemi informativi vengono usati solo a descrivere l’esistente, sarà difficile capire se l’esistente sta andando nella direzione voluta. Da questo punto di vista la valutazione implica un esercizio di esplicitazione e messa a fuoco degli obiettivi e delle reali priorità di una politica o di una rete di servizi (Pasquinelli & Stea, 2008).

In conclusione mi preme ricordare che, come ho anche già anticipato, oggi in questo settore, quanto e più che in altri, i potenziali promotori di valutazione si trovano spesso ad un bivio, nel quale decidere se rilanciare, pur nel mutato contesto, processi di valutazione orientati allo sviluppo e miglioramento del sistema, oppure rinunciarvi, perché le ridotte risorse e la perdurante incertezza non consentirebbero effettivi sviluppi e pertanto il valutare viene percepito come un’azione frustrante e poco produttiva.

Chi, come me, da diversi anni conduce attività di accompagnamento alla valutazione di interventi e politiche sociali e di valutazione vera e propria, si trova pertanto in questa fase ad affrontare una profonda sofferenza; da un lato gli attori (in particolare quelli meno consapevoli) tendono a ridurre gli investimenti verso la direzione valutativa, considerando tali funzioni opzionali e dunque, in fase di risparmio, come le prime da tagliare; dall’altro, a causa della crisi stessa constato che aumentano le esigenze di valutazione perché è la crisi stessa che provoca perdita di senso, ostacoli, conflitti, atteggiamenti depressivi, tutte tendenze che una valutazione attenta può contribuire a contenere e superare.

A fronte di un processo lento ma continuo, che negli ultimi anni nel settore ha prodotto esperienze, conoscenze e buone prassi valutative, il rischio che il nostro sistema di servizi sociali sta attraversando in questo momento storico è stato ben illustrato recentemente da Remo Siza, il quale afferma che: “il rischio è che al sistema di interventi e servizi alla persona sia attribuita esclusivamente una funzione assistenziale, sostenuta da risorse scarse, una funzione marginale, di gestione passiva delle condizioni più drammatiche in termini di povertà, di non autosufficienza, o di disabilità grave, che affianca e integra le politiche del lavoro, ma con una differente logica, senza alcuna illusione sulla possibilità di recuperare e integrare realmente queste aree di popolazione. In questo modo il welfare… si costruisce per scivolamento verso l’assistenzialismo, …. Poiché lascia alle politiche sociali solo lo spazio per una gestione passiva del disagio” (Siza, 2012).

Credo pertanto che chi a diversi livelli è attore consapevole di valutazione nel campo sociale è importante che si adoperi per fronteggiare in qualche modo tale tendenza, infatti il rilancio della valutazione nel sociale, seppur con i vincoli oggi presenti, è in questo momento opportuno e cruciale, proprio perché il sistema è soggetto a tagli di risorse che ne mettono in discussione la sua stessa identità promozionale e preventiva e di soddisfazione dei diritti di cittadinanza, e pertanto ne minacciano la sopravvivenza.

Credo infatti che oggi per promuovere un welfare efficace e sostenibile sia importante operare mantenendo alta la tensione valutativa. Occorre insistere in questa direzione perché viceversa l’abbandono di un’ottica valutativa comporterebbe il rinunciare di fatto ad assumere una visione strategica, oggi ancora più importante di ieri perché le risorse sono calate e vanno pertanto razionalizzate e integrate. Una eventuale rinuncia alla valutazione significherebbe, in altre parole, lasciare il sistema di interventi e servizi sociali alla deriva, rinunciando di fatto ad una funzione consapevole di governo di tale sistema.

Ugo De Ambrogio

Presidente dell’Irs (Istituto per la Ricerca Sociale); docente di Progettazione sociale all’Università di Milano Bicocca, Analista Transazionale Didatta e Supervisore specializzato nel campo Organizzativo

udeambrogio@irsonline.it

Questo Paper è stato presentato alla Espanet Conference “Sfide alla cittadinanza e trasformazione dei corsi di vita: precarietà, invecchiamento e migrazioni”

Università degli Studi di Torino, Torino, 18 – 20 Settembre 2014

Questo contributo è stato pubblicato su A. Vergani (a cura di) Prove di Valutazione: libro bianco sulla valutazione in Italia, Milano, Franco Angeli 2014

Riferimenti bibliografici

Agnoletto D. Ottica preventiva e valutazione degli interventi. Prospettive Sociali e Sanitarie. 2, 1996

Avanzini K, De Ambrogio U. Valutare i Piani di zona. Prospettive Sociali e Sanitarie. 10, 2003

AA.VV. Il calamaio e l’arcobaleno. Istituto degli Innocenti, Firenze, 2000

Bassanini M, Lucioni C, Pietroboni F, Ranci Ortigosa E. Servizi sociali: realtà e riforma. Il Mulino, Bologna, 1977

Bertotti T, De Ambrogio U. La valutazione dei minori segnalati dall’autorità giudiziaria, per i quali è richiesta l’indagine sociale. In De Ambrogio U (Ed): Valutare gli interventi e le politiche sociali. Carocci Faber, Roma, 2003

Ciucci F. Valutazione delle politiche e dei servizi sociali. Partecipazione, metodo, qualità. Franco Angeli, Milano, 2008

De Ambrogio U (Ed). Valutare gli interventi e le politiche sociali. Carocci Faber, Roma, 2003

De Ambrogio U. La valutazione partecipata della qualità come processo relazionale generativo. Prospettive Sociali e Sanitarie. 14, 2004

De Ambrogio U, Bertotti T, Merlini F (Eds). L’assistente sociale e la valutazione. Carocci Faber, Roma, 2007

De Ambrogio U. Valutare gli esiti dell’Intervento professionale: un percorso possibile. In De Ambrogio U, Bertotti T, Merlini F (Eds): L’assistente sociale e la valutazione. Carocci Faber, Roma, 2007

De Ambrogio U, Mesini D, Pasquinelli S. Le esperienze regionali di valutazione. Prospettive Sociali e Sanitarie.17 18, 2009

De Ambrogio U, Dessi C, Ghetti V. Progettare e valutare nel sociale metodi ed esperienze. Carocci Faber, Roma, 2013

Gori C. Valutare i bisogni degli anziani in assistenza domiciliare. In De Ambrogio U (Ed): Valutare gli interventi e le politiche sociali. Carocci Faber, Roma, 2003

Gori C (Ed). La riforma dei servizi sociali in Italia. L’attuazione della legge 328 e le sfide future. Carocci, Roma, 2004

Gori C (Ed). Come cambia il welfare lombardo, una valutazione delle politiche regionali. Maggioli; Rimini, 2011

Ghetti V, Guidetti C. Esperienze di valutazione. In De Ambrogio U, Dessi C, Ghetti V (Eds): Progettare e valutare nel sociale metodi ed esperienze. Carocci Faber, Roma, 2013

Lanzara FG. La progettazione come indagine: modelli cognitivi e strategie di azione. Rassegna Italiana di Sociologia. 27: 3, 1985

Mesini D. Come valorizzare e proteggere i risultati di una valutazione in un contesto politico turbolento? Rassegna Italiana di Valutazione. Sezione monografica 8(30). Franco Angeli, Milano, 2004

Mesini D, Ranci Ortigosa E. Il RMI nel primo biennio di sperimentazione: luci e ombre della sua realizzazione. L’Assistenza Sociale. n. 3/4, Ediesse, Roma, luglio-dicembre 2002

Pasquinelli S, Stea S. Decidere senza scegliere. Prospettive Sociali e Sanitarie.16, 2008

Ranci Ortigosa E, Mesini D. Il Reddito Minimo di inserimento. In Gori C (Ed): La riforma dei servizi sociali in Italia. L’attuazione della legge 328 e le sfide future. Carocci, Roma, 2004

Scortegagna R. Lavorare per progetti: moda o novità. Animazione Sociale. 1: 75 ss, 1992

Siza R. Il progressivo scivolamento delle politiche sociali verso l’assistenza. Prospettive Sociali e Sanitarie. 9: 1-2, 2012

Stame N, Lo Presti V, Ferrazza D. Segretariato sociale e riforma dei servizi: percorsi di valutazione. Franco Angeli, Milano, 2010

Tonon Giraldo S. Progetto. In Dal Pra Ponticelli M (Ed): Dizionario di Servizio Sociale. Carocci Faber, Roma, 2005

Lascia un commento