Sou aquí: inici » 4. Formulació d'un projecte amb la Teoria del Canvi » 4.6. L'avaluació del projecte

4.6. L'avaluació del projecte

Sens dubte l’avaluació és una de les parts més importants de les polítiques públiques i és, a la vegada, una de les més oblidades. Malauradament, al nostre país no és gaire freqüent trobar avaluacions de projectes que vagin més enllà de la descripció de les actuacions realitzades i algun recull estadístic dels registres de les intervencions (dades sobre els usuaris dels serveis, dades de satisfacció, etc.). Segurament, una de les raons per les quals succeeix això, és la manca de planificació d’aquest procés. Durant el procés de disseny de les actuacions, sovint no es prepara el camp per a l’avaluació i, arribats al final del projecte, sorgeix la necessitat d’avaluar, però llavors no es tenen a l’abast les eines suficients ni, probablement, els recursos.

Volem posar l’èmfasi en el fet que l’avaluació no ha de ser el moment final del projecte, sinó que ha de ser un procés que ha d’acompanyar tot el desenvolupament del projecte.

I és així perquè

l’avaluació és, més enllà d’una eina de rendiment de comptes o de justificació de subvencions, una eina d’aprenentatge que contribueix a millorar la qualitat, en termes d’eficàcia i eficiència, de les actuacions.

L’avaluació ha de servir als responsables de les polítiques públiques, tant polítics com tècnics, per dotar-se de les eines que els capacitin prou per millorar les seves actuacions, les seves pràctiques professionals, i també els processos de presa de decisions al voltant de les intervencions que desenvolupen.

Una de les estratègies que contribueixen a fer que l’avaluació permeti la generació d’aquest coneixement tan útil, és aquella que procura incloure en tot el procés d’avaluació a tots els actors significatius del projecte, els quals garantiran la cobertura d’interessos, de judicis i preocupacions.

En aquest sentit, un procés d’avaluació ha d’informar essencialment de:

  • els canvis que han introduït les polítiques en la problemàtica que motivava la intervenció, és a dir, dels resultats o dels impactes,
  • els canvis que cal fer en les polítiques perquè aquestes millorin,
  • els canvis que promou l’avaluació envers els professionals i les organitzacions.

Per poder obtenir aquesta informació, es pot recórrer a diferents tipus d’avaluacions. Segons Ivalua, hi ha cinc tipus d’avaluacions segons l’enfocament:

Avaluació de necessitats: serveix per conèixer la problemàtica o la necessitat i per saber si aquesta justifica l’existència de projecte. Si el projecte és nou, aquesta avaluació es pot assimilar al procés de diagnosi de les polítiques. En canvi, si el projecte ja funciona es pot considerar una avaluació en si i pot ajudar a ajustar el problema als canvis detectats si la problemàtica ha canviat.

Avaluació del disseny: serveix per valorar si el projecte està ben dissenyat i és adequat per a la intervenció. Ajuda a saber si la teoria del canvi està ben formulada, si les hipòtesis són plausibles, raonables i factibles, etc.

Avaluació del procés o implementació: s’analitza si el projecte fa realment el que estava previst en el disseny. L’avaluació de la implementació permet valorar l’assoliment dels objectius operatius del projecte i com estan funcionant les activitats i els processos de treball dissenyats al projecte. És molt idoni en els projectes nous fer aquesta avaluació en els moments inicials, ja que permet corregir possibles desviacions o errades de disseny. Si es fa en combinació amb l’avaluació d’impacte, també pot ser interessant si es detecten impactes positius per corroborar que són deguts al programa i, en cas contrari, permet veure si hi ha hagut errors en la implementació.

Avaluació de l’impacte: es tracta de saber si la intervenció ha assolit els objectius principals que es proposava i si s’han produït canvis en la situació inicial. La clau d’aquesta avaluació és saber quins dels canvis que s’han produït són atribuïbles a la intervenció. L’avaluació d’impacte requereix que el projecte estigui més o menys madur, que ja s’hagi desenvolupat fins al final i que la seva teoria del canvi estigui ben descrita.

Avaluació d’eficiència o econòmica: aquesta avaluació pretén mesurar la relació entre els impactes del projecte i els seus costos, per valorar si és adequat. Serveix per justificar la intervenció en termes econòmics.

El quadre següent ens mostra la correspondència entre els diferents tipus d’avaluació i els diferents components de la teoria del canvi, on es pot veure on centren l’enfocament els diferents tipus d’avaluació:

i11.jpg

Font: Ivalua.

També es poden classificar les avaluacions segons el moment en què es realitzen:

  • Avaluació exante: es fa abans d’implementar l’actuació, en la fase de disseny, i consisteix a analitzar si la intervenció és necessària i possible. Aquesta avaluació pot afavorir la futura avaluació i també facilita que els objectius i la teoria del programa estiguin ben formulats i siguin més realistes.
  • Avaluació intermèdia: es fa mentre el programa ja està en marxa i tot funciona, i normalment es fa una avaluació d’implementació.
  • Avaluació expost: és una anàlisi restrospectiva (un cop implementat el projecte) i es poden fer tot tipus d’avaluacions. La informació que es treu permet orientar canvis en el disseny, en la implementació, si el projecte encara és actiu, o bé orientar el disseny de noves intervencions.

Per aprofundir en tots aquests tipus d’avaluació, us recomanem consultar les guies que Ivalua ha publicat, ja que són molt útils per clarificar conceptes i veure de quina manera es poden aplicar.

Al marge dels tipus d’avaluacions, és important tenir en compte altres trets que poden ser interessants del procés d’avaluació:

  • El caràcter pràctic de l’avaluació: l’avaluació ha d’emetre judicis de valor (això està bé o malament, anem bé o malament) i recomanacions de canvi.
  • El caràcter polític: l’avaluació és promotora de canvi perquè revisa els fonaments de la política amb els diferents agents responsables de la presa de decisions.
  • El seu caràcter analític i valoratiu: l’avaluació ha d’incloure quatre nivells d’anàlisi i valoració: informacions i fets, interpretació-anàlisi, judicis-valoracions i recomanacions.
  • El seu caràcter sistemàtic: l’avaluació ha de basar-se en una avaluació recopilació i anàlisi sistemàtica de la informació generada.

4.6.1. Disseny de l'avaluació

Un cop coneixem els diferents tipus d’avaluació i els seus trets principals, el pas següent és dissenyar el procés d’avaluació. Recordem que és tant important dissenyar i seleccionar les millors intervencions com comprovar i avaluar que estem assolint o no, els objectius que perseguíem per generar canvi, transformar o millorar la situació inicial que ens ha motivat a intervenir. Per aquesta raó,

cal dissenyar l’avaluació en la fase de disseny del projecte, i això implica establir uns criteris bàsics d’avaluació, així com tenir en compte els aspectes que descrivim a continuació.

Decidir el tipus d’avaluació que farem: en principi tots els tipus d’avaluacions que hem citat són interessants de realitzar, ja que aporten informació important per al procés de les polítiques de joventut, però és cert que no totes són viables o possibles: aquí, com en altres fases, entren en joc els recursos, tant econòmics, com tècnics, així com la necessitat o la pertinència.

Cal decidir quina avaluació fem en relació amb el que necessitem saber del projecte i de la nostra capacitat de realitzar-la 1).

Identificar les preguntes d’avaluació: cal formular una o algunes grans preguntes d’avaluació, que ens indiquin el que voldrem saber sobre el projecte, a partir del procés d’avaluació. A partir d’aquestes grans preguntes, ens podem anar formulant altres preguntes d’avaluació més específiques. Com abans esmentàvem, si hem formulat la teoria del canvi i hem considerat les diferents hipòtesis, aquestes esdevenen les fonts de les preguntes d’avaluació. Per tant, les preguntes d’avaluació tenen a veure amb saber si aquestes condicions s’han acomplert. Ivalua, a la seva guia introductòria sobre l’avaluació de les polítiques públiques (Blasco, 2009) hi ha una llista de les possibles preguntes per a cada tipus d’avaluació que es poden aprofitar com a exemples, però

és molt important que les preguntes d’avaluació responguin veritablement a allò que qui fa l’avaluació vol conèixer.

Disseny del procés metodològic: és la fase de recopilació de la informació. Aquesta fase també s’ha de planificar, ja que és una de les més costoses. A banda de produir els informes (fonts primàries) o consultar la documentació d’altres que servirà per respondre preguntes d’avaluació (fonts secundàries), caldrà dissenyar processos de caire qualitatiu i participatiu, per poder obtenir la informació necessària per respondre a les preguntes d’avaluació.

Si utilitzem tècniques qualitatives i participatives, s’aconsegueixen valoracions consensuades amb tots els actors involucrats amb el projecte. Per això, cal que incorporem l’avaluació en els espais on els diferents actors participaran.

Hi ha un catàleg ampli de tècniques de recerca que poden ser útils pels processos d’avaluació. L’Observatori Català de la Joventut va publicar, l’any 2011, una guia de tècniques i eines d’anàlisi per a la diagnosi i l’avaluació de les polítiques de joventut que ens poden ajudar en aquest sentit (Observatori Català de la Joventut 2011).

Anàlisi: la fase següent és la fase d’anàlisi de la informació recollida. És la part més tècnica del procés, ja que requereix l’ús d’eines i de capacitats analítiques que ens permetin interpretar la informació i extreure’n conclusions. Bàsicament, però,

es tracta d’un procés que, a partir de la informació extreta del treball de camp, ha de respondre a les preguntes d’avaluació.

Cal tenir en compte que, si el projecte incorpora la participació de les persones joves i els diferents agents involucrats, en aquesta fase d’anàlisi també cal incorporar la seva visió sobre la informació recollida.

Aquestes fases són les que haurem de tenir en compte i dissenyar per a l’avaluació, però hem de saber que hi ha un altre pas en l’avaluació. Es tracta de la realització de l’informe d’avaluació. Aquest informe es fa al final del procés i cal tenir-lo en compte en el disseny del projecte, ja que es necessita temps per redactar-lo i per contrastar-lo amb els agents que han participat en el projecte.

En aquest informe quedarà registrat tant el procés realitzat com, sobretot, les conclusions extretes sobre el projecte (el seu funcionament, els seus resultats, la seva eficiència econòmica, etc.) i les recomanacions de canvi per a la seva millora i/o reformulació, si escau. Aquest informe és una documentació bàsica per a la comunicació del projecte, així com per a l’aprenentatge professional i organitzacional.

Un possible guió per a l’informe de l’avaluació del projecte és el següent:

  • Presentació
  • Objectius de l’avaluació (preguntes)
  • Descripció del procés metodològica
  • Informe dels resultats de l’avaluació
  • Conclusions, recomanacions de canvi o elements de millora

Finalment, insistim en el fet que és necessari que la planificació de l’avaluació consideri la temporització de la seva implementació; això vol dir tant en els moments de recollida i tractament de la informació com en el moment de la redacció de l’informe final.

<< Inici

1) Es constata, per l’experiència, que l’avaluació d’impacte i l’econòmica són les més complicades de realitzar, ja que requereixen una complexitat técnica i metodològica elevada i un ús de recursos elevat. Podem recomanar que les avaluacions d’implementació i de disseny, juntament amb la de necessitats, són les més viables de realitzar sobre els projectes per a joves.