Avaluar polítiques de promoció de la salut és tant difícil com apassionant. Demostrar que una intervenció ha modificat prou les coses com per que la decisió més saludable sigui ara més fàcil de prendre, és un repte de dimensions considerables.
I és que, en promoció de la salut, demostrar aquesta causalitat implica explorar fins a quin punt podem atribuir a la intervenció avaluada la responsabilitat de modificar els factors i processos que condicionen la presa de decisions de les persones: l’entorn proper, les condicions de vida, els sistemes de creences i de valors, etc.
L’anàlisi de la literatura especialitzada descriu un ampli consens al respecte de que, quan es tracta d’explorar aquesta causalitat, el més convenient és analitzar la diferència estadística que s’observa entre un grup de tractament i un grup de comparació adequadament constituït. És a dir, analitzar la deferència entre el que ha passat després d’implementar la intervenció (amb un grup de tractament) i el que hauria passat en absència de la mateixa (amb un grup de comparació que representa l’escenari contrafactual).
Ara bé, també és molta la producció científica que revela que no sempre és possible utilitzar aquest tipus d’aproximacions per explorar aquesta qüestió, i no serem els primers en afirmar que aquesta és una circumstància especialment rellevant quan es tracta d’avaluar programes de promoció de la salut (Nebot, 2007).
I es que, si bé per a iniciatives relacionades amb la prevenció de la malaltia prenen sentit els models d’avaluació experimental o quasi-experimentals, sòlids i repetibles, construïts sobre línies de base, tests i grups de control; per a programes de promoció de la salut es fan necessaris models d’avaluació més flexibles, rics i profunds; sensibles al context, a les connexions i les sinergies; que considerin la globalitat com quelcom més que la suma de les parts (Stead, Hastings, & Eadie, 2002).
En primer lloc, perquè no sempre és possible utilitzar aproximacions basades en la lògica contrafactual per explorar la qüestió de la causalitat. En circumstàncies metodològiques i/o contextuals adverses (ex. manca d’unitats d’assignació suficients per permetre tests de diferència estadística entre el grup de tractament i el de control) l’anàlisi de la causalitat presenta tantes problemàtiques que el paradigma del disseny experimental o quasi experimental es probable que no es pugui implementar de forma pertinent (Ravaillon, 2009).
Però en segon lloc, i potser més important, perquè sovint en l’àmbit de la promoció de la salut les lògiques de causa-efecte operen sota la influència de relacions molt complexes. Mentre que les aproximacions clàssiques a la inferència causal es basen en una combinació constant (un resultat particular va sempre precedit d’una intervenció particular) o una relació dosi-reacció també constant, les intervencions en promoció de la salut es defineixen com un procés polític i social orientat a generar un major i millor protagonisme i apoderament de les persones a partir d’un enfocament sistèmic i ecològic.
En circumstàncies d’aquesta complexitat, difícilment es pot estimar de forma creïble què hauria passat en absència d’una intervenció en particular. O dit d’una altra manera, en la mesura que sense aquesta intervenció l’entorn hagués estat del tot diferent, pot resultar del tot impossible copsar aquesta complexitat des de la lògica d’un únic contrafactual.
Davant d’això, hem de celebrar que exemples ben recents obrin el camí a la salut pública per avaluar les seves intervencions des de models d’impacte basats en la raonabilitat i no l’anàlisi d’un escenari contrafactual.
Els models basats en l’anomenada Avaluació realista (Pawson & Tilley, 1997) o els models basats en l’Anàlisi de la contribució (Mayne, 2001, 2008, 2012), proporcionen constructes que basant-se en l’anàlisi detallat de la lògica de les intervencions, permeten una aproximació de tall qualitatiu a les preguntes bàsiques de l’avaluació d’impacte: Ha aconseguit la intervenció canviar les coses? Quines circumstàncies han estat necessàries o suficients per causar l’efecte esperat? Quines altres circumstàncies han jugat un paper destacat en l’obtenció dels efectes observats?
El seu valor essencial resideix en la capacitat que tenen de reduir la incertesa sobre la contribució que la intervenció està fent als resultats observats, a través d'una millor comprensió de perquè aquest s'han produït (o no) així com del paper que han jugat altres factors en la seva consecució.
A diferència dels models experimentals o quasi-experimentals, aquests no persegueixen l’obtenció d’una proba definitiva. Més aviat són models que ens conviden a articular una línia de raonament que, sobre la base d’una evidència i un raonable marge de confiança, permetin concloure si el programa ha contribuït de forma important (o no) als resultats que s’han documentat.
És cert que la seva lògica no permet quantificar l’efecte net de les intervencions. Però tot i així, sembla que estan cridats a encarnar una proposta força raonable des de la que impulsar avaluacions d’impacte en promoció de la salut quan, per alguna de les raons esmentades més amunt, no es consideri adequat l’abordatge basat en l’anàlisi d’un escenari contrafactual.
Referències
Mayne, J. (2001). Addressing attribution through contribution analysis: using performance measures sensibly. Canadian Journal of Program Evaluation, 16(1), 1–24.
Mayne, J. (2008). Contribution analysis: An approach to exploring cause and effect. ILAC Brief, 16, 1–4.
Mayne, J. (2012). Contribution analysis: Coming of age? Evaluation, 18(3), 270-280. doi:10.1177/1356389012451663
Nebot, M. (2007). Evaluación en salud pública. Gaceta sanitaria, 21(2), 95.
Pawson, R., & Tilley, N. (1997). Realistic evaluation. London: Sage.
Ravaillon, M. (2009). Evaluating Three Stylized Intervention. The International Initiative for Impact Evaluation (3ie), Working Paper 4(2), 258-271.
Stead, M., Hastings, G., & Eadie, D. (2002). The challenge of evaluating complex interventions: a framework for evaluating media advocacy. Health Education Research, 17(3), 351.
