1
INTRODUCCIÓN A LAS PERSPECTIVAS SOCIOCULTURALES, EPISTEMOLÓGICAS Y METODOLÓGICAS DE LA EVALUACIÓN DE LOS PROGRAMAS Y PROYECTOS SOCIALES.1
Lics. Débora Yanco2 y Cecilia Ros3
Artículo publicado en el libro “Viviendo Redes. Experiencias y estrategias para fortalecer la trama social”. Elina Dabas compiladora. Editorial CICCUS, 2006.
Este trabajo aborda la evaluación de los proyectos y programas sociales desde distintas perspectivas. Por un lado, examina a la evaluación como práctica sociocultural analizando sus funciones principales a partir del concepto de “construcción de cultura de evaluación”. En segundo lugar, propone reflexionar acerca de la pertinencia de concebir a los objetos de la evaluación desde una mirada epistemológica relacionada con los Sistemas Complejos. Se exponen asimismo un conjunto de problemáticas metodológicas vinculadas con la evaluación respecto de las que consideramos que en la actualidad hay un escaso consenso. Por último, se describen algunas pautas para encuadrar un modelo integral de evaluación que sintetice los aportes principales de las distintas perspectivas presentadas.
Que es evaluar
La planificación y programación de programas/proyectos sociales ha involucrado crecientemente la necesidad de la evaluación, como un componente indispensable. Los requerimientos de los entes que dirigen y/o financian las políticas han contribuido a generar dicha necesidad; y el interés de ir conociendo las modificaciones que se van produciendo en los problemas que se abordan llevaron progresivamente a que se convierta en un área de especialización en sí misma.
1 Este documento sintetiza el material utilizado en distintas clases y cursos acerca de las Perspectivas Epistemológicas y Metodológicas de la evaluación de programas; dictados por las autoras, ambas especialistas en Metodología de la Investigación y miembros de FUNDARED. Las primeras versiones del mismo corresponden al año 2001.
2 Vicepresidenta de FUNDARED - Prof. Titular Int. de Metodología de la Investigación en la Lic. en Educación Física y Trabajo Social de la Universidad Nacional de Lanús - Prof. Adjunta Int. de la Cátedra de Metodología de la Investigación Psicológica II. Facultad de Psicología UBA. - Profesora Titular Interina de la Cátedra de Formulación y Evaluación de Proyectos de la Lic. en Educación Física de la Universidad Nacional de Lanús. Coordinadora gral. de la Residencia de Salud Mental del GCBA.
3 Docente Universitaria de Grado en el área de Metodología de la Investigación (Prof. Regular UNLa, y Adjunta Regular Fac. Psicología-UBA). Docente de Posgrado (U.N. Comahue, UNLa, U.N.E.R.). Investigadora en temas de Salud, Subjetividad y Trabajo (Fac. Psicología UBA y UNLa). Evaluadora de Proyectos.
2
La evaluación es una práctica capaz de analizar la calidad y los alcances de las acciones emprendidas en los programas sociales. Los enfoques más tradicionales, centran la cuestión de la evaluación en su capacidad de dictaminar acerca de la medida en que las actividades realizadas aportan significativamente al logro de los resultados. Es decir, si las mismas, han sido, en definitiva, factores claves, esenciales para su producción, o bien han sido un puro accidente (Cohen y Franco, 1997). Posteriormente, encuentra mayor desarrollo en la literatura una función complementaria: aquella que caracteriza las acciones evaluativas desde su potencialidad de describir y difundir tecnologías sociales, es decir los procesos que las distintas comunidades, organizaciones y equipos de trabajo desarrollaron para alcanzar los resultados esperados y así poder ser utilizados en otras experiencias similares.
Con el fin de ilustrar algunos de las ideas desarrolladas en este capítulo presentaremos un ejemplo al que haremos referencia en sucesivas oportunidades:
EJEMPLO PARA EL ANÁLISIS:
En una ciudad con alta densidad poblacional de la República Argentina se desarrolla hace 6 años un programa tendiente a mejorar la accesibilidad de los adolescentes al sistema de salud. Las entidades que lo llevan adelante son 20 centros de salud distribuidos en toda la ciudad, pero con mayor presencia en barrios con población de bajo nivel socioeconómico.
El año pasado este programa cambia su equipo de coordinación central el que se propone antes de diseñar el nuevo plan de trabajo, realizar una evaluación de lo actuado en estos años. Entre otras, como dimensiones centrales para encarar la evaluación propusieron:
a.- analizar las razones por las cuales los jóvenes no concurrían regularmente a consultas de salud;
b.- evaluar los perfiles de género de la participación de los adolescentes en actividades de promoción de la salud (sabían a través de actividades de monitoreo que cuando participaban lo hacían sólo las mujeres y fundamentalmente cuando quedaban embarazadas),
c.- describir los problemas y logros que identifican en la gestión cotidiana del programa tratando de vincularlos con algunas dimensiones de análisis (caracterización de la población objetivo, dinámica institucional, dinámica comunitaria, etc.),
d.- intentar reconstruir una descripción de las necesidades de la población destinataria cuando el programa comenzó y tratar de analizar su evolución, y sus necesidades y problemáticas actuales. (se espera que esto último permita analizar en qué medida las acciones de salud que se fueron desarrollando se fueron adaptando a las distintas situaciones).
3
En el transcurso del diseño de la evaluación, surgió una inquietud adicional planteada por el nuevo equipo de conducción: conocer las interacciones que en estos años se han llevado adelante entre los equipos locales de los centros de salud, y un programa socioeducativo que se desarrolla desde hace 3 años en la gran mayoría de las escuelas medias de la zona, cuyo propósito era mejorar la retención escolar de los adolescentes. El leif motiv que guió la introducción de esta dimensión de análisis ha sido:”no olvidar: la población objetivo de ambos programas es la misma, los adolescentes del barrio, y la información asistemática dice que los estamos abordando por separado y de manera desarticulada”.
Para llevar a cabo la evaluación se convocó a los principales sectores y actores intervinientes para que participaran del diseño de la misma (equipo de salud, adolescentes que asisten al programa, etc).
Es a partir de esta propuesta que los equipos de trabajo utilizan un espacio quincenal de una hora y media, durante dos meses, en cada entidad local para cumplir este objetivo.
Ya sea en su función de analizar procesos, resultados, o impactos 4, el concepto de evaluación incluye dos componentes, a nuestro juicio ineludibles, como lo son la “disposición al cambio de perspectiva en relación a la cotidianeidad” y la “necesidad de valoración”.
Veamos la primera de estas ideas: la evaluación requiere que los actores de un programa o proyecto 5 puedan hacer un alto y cambiar transitoriamente su ubicación para observar de otra manera aquello que habitualmente se encuentra naturalizado o pasa desapercibido. Esto supone posicionarse en otro nivel de análisis que permita generar una distancia saludable con la perspectiva cotidiana. Distancia que no significa ajenidad, o extrañeza sino un compromiso de re examinar6 la realidad.
Quizás sea pertinente aclarar a esta altura, que la idea de evaluación no se contrapone sino que se complementa con la idea de "seguimiento permanente", el que apunta a garantizar la mejora de la gestión del programa. Se trata de dos momentos tanto diferentes como complementarios e indispensables. Así, las instancias de monitoreo o seguimiento hacen referencia a una posición reflexiva frente a la práctica misma que permite realizar el análisis del día a día de las experiencias,
4 Véase una reflexión interesante acerca de los diferentes usos de estos términos en Niremberg, et. al.(2000)
5 el uso indistinto de programa o proyecto no significa negar las diferencias de nivel de integración que hay entre ambos. Sino, que consideramos que a escala más grande o más pequeña, valen los comentarios aquí expuestos para ambos casos.
6 Santos Guerra (1990) utiliza una expresión interesante cuando considera que "lo que está aparentemente visible no resulta tan evidente para los protagonistas o para los que están acostumbrados a las rutinas de una determinada práctica. Para hacer visible lo cotidiano... es
4
detectar posibles errores en el acontecer cotidiano y modificar a tiempo su devenir. Mientras que, en cualquier terreno, evaluar implica necesariamente aportarle a una experiencia un cambio en la perspectiva de observación.
En el ejemplo presentado en el cuadro 1 podemos observar claramente este cambio de perspectiva al observar el tipo de dimensiones que se incluyen en la evaluación. Por ejemplo, los actores del programa de salud deciden historizar y volver a considerar si las necesidades y características de la población objetivo son las mismas que desde se inició el programa.
Por su parte, la Valoración, se encuentra presente (directamente o a través de sinónimos) en la mayoría de las definiciones de evaluación, entre las que podemos citar:
“Proceso permanente de indagación y valoración de la gestión del programa para generar conocimiento y aprendizaje que alimente la toma decisiones”
Siempro-Unesco (1999)
“Actividad programada de reflexión sobre la acción, basada en procedimientos sistemáticos de recolección, análisis e interpretación de información, con la finalidad de emitir juicios valorativos fundamentados y comunicables sobre las actividades, resultados e impacto de esos proyectos o programas, y formular recomendaciones para tomar decisiones que permitan ajustar la acción presente y mejorar la acción futura”.
Niremberg, Brawerman, Ruiz. (2000)
“La evaluación es el proceso de identificar, obtener y proporcionar información útil y descriptiva acerca del valor y el mérito de las metas, la planificación, la realización y el impacto de un objeto determinado, con el fin de servir de guía para la toma decisiones, solucionar los problemas de responsabilidad y promover la comprensión de los fenómenos implicados”.
Stufflebeam, (1995)
“Evaluar es fijar el valor de una cosa. para hacerlo se requiere de un procedimiento mediante el cual se compara aquello a evaluar respecto a un criterio o patrón determinado”
Cohen y Franco (1997)
Aunque el concepto de valoración emerge como un denominador común, da lugar, a su vez, a las más profundas diferencias entre los autores. Ocurre que, la referencia al otorgamiento de valor, inaugura preguntas como las siguientes: ¿qué se evalúa?; ¿con qué parámetros se evalúa? Y, en ese caso, ¿quién los fija?; ¿desde qué posicionamiento ético y epistemológico?, etc. Si lo pensamos
preciso – dice - profundizar en la reconstrucción de la realidad a través de métodos que tengan
5
bien, seguramente alguna vez nos hicimos estas preguntas cuando hemos participado como sujetos “evaluados” en innumerables situaciones escolares, académicas o profesionales. En el análisis de la problemática de la evaluación de los proyectos sociales, estas inquietudes no dejan de estar presentes.
En el ejemplo presentado es posible que los distintos sectores y actores se hayan preguntado cuándo una acción del programa puede ser considerada pertinente, oportuna y eficaz. Por ejemplo, qué lugar se dará en la evaluación a datos relativos a la cantidad de jóvenes que participan de las actividades de promoción de salud, si ése era un indicador válido o debían priorizar otros, vinculados a la capacidad del centro de convertirse en referente de otras instituciones de la zona, etc. O sea desde qué criterios e indicadores se valorarán las acciones.
La cultura de la evaluación
Los principales debates en torno a la temática de la evaluación han estado centrados en polémicas de orden aparentemente metodológico, por ejemplo, en términos de falsas elecciones entre tratamientos de datos con mayor peso de aspectos cuali o cuantitativos; o de procesos o resultados. Han estado menos centrados en la discusión de las condiciones culturales, político-institucionales y organizacionales que están presentes en la evaluación y que determinan amplias facetas de su cotidianeidad. Junto a otras, este grupo de temáticas pueden agruparse bajo el concepto de "cultura de evaluación".
Así, temas como por ejemplo, las modalidades en que surge la "demanda" de evaluación en un programa determinado, los cuestionamientos acerca de a quiénes y para qué están destinados los resultados de las evaluaciones, la implicancia que para un programa o institución tiene ubicarse en proceso de evaluación, etc. encuentran poco peso en las discusiones y sin embargo son cada día más relevantes.
Comentemos algunas de las dimensiones que consideramos significativas para analizar la “construcción de cultura de evaluación”:
La “demanda” 7 de evaluación constituye uno de los tópicos que merece ser nombrado. ¿Cómo se origina la demanda de evaluación?, ¿cuántos de sus objetivos iniciales son explícitos para todos los
sensibilidad para captarla” (el resaltado es nuestro).
7 Es decir, la manera como se estructura la necesidad de evaluar. Por ejemplo, si estaba pautada desde los inicios de un proyecto, si surge como oportunidad a posteriori o mediando su desarrollo, etc.
6
sectores implicados en la misma? y ¿cuánto de esta intencionalidad inicial se sostiene a lo largo del proceso? ¿Es posible hablar de "construcción de la demanda de evaluación"?
Este programa se desarrollaba hace 6 años en la jurisdicción. Nunca había atravesado un proceso de evaluación sistemática. Entonces, fue necesario crear un clima de evaluación, poder trasmitir qué beneficios podría traer evaluar y también a muy posible que esto trajera cambios. Evidentemente, la propuesta inicial de la nueva coordinación no ha sido suficiente para que el proceso de evaluación se ponga en funcionamiento. Ha sido necesario que ella misma negocie entre los distintos sectores los diversos significados que ellos daban al inminente proceso de evaluación. La idea inicial de evaluación se ha ido armando poco a poco en demanda complejizada, más rica y donde los distintos actores tenían construido algún objetivo a lograr.
Asociado a lo anterior, cobra cada vez más relevancia la interrogación acerca del sentido de la difusión de los avances parciales y resultados finales de la evaluación:
¿a quiénes están destinados los resultados de las evaluaciones de los programas?;
los destinatarios de los programas, ¿juegan algún papel en este proceso?,
¿qué acciones se preveen desde el inicio y durante todo el proceso de la evaluación
para garantizar un óptimo aprovechamiento de los resultados?
¿los resultados de la evaluación sirven sólo para cumplir con una formalidad y garantizar una continuidad en el financiamiento8,o se planifica su utilización orientada a diversos interlocutores, los que han sido denominados “audiencias” (Tiana Ferrer, A.1999)
En el ejemplo que estamos analizando, nos preguntaríamos si se ha planificado con quiénes se van a compartir los resultados de la evaluación, si está previsto qué temas se difundirán con quiénes en los distintos niveles. Porque, no es lo mismo la necesidad de información de los equipos coordinadores del programa, que la de los profesionales de cada centro, o la que pueden aprovechar los directores de las escuelas de la zona de referencia de cada centro de salud y la que puede utilizar la comisión directiva del club del barrio que está siempre tratando de convocar a los mismos jóvenes que el centro de salud. Pero todos tienen derecho a recibir información de la evaluación.
Por último, convengamos que es conocida la imagen de la evaluación como “penalizadora”, es frecuente la expresión: "nos van a venir a evaluar". Entonces, es importante advertir que ningún evaluador desarrollará correctamente su tarea si no tiene en cuenta que esta imagen será un componente de la realidad, y determinará sus prácticas. Diseñar estrategias para que la cultura penalizadora no supere a la cultura productiva es parte de la planificación de todo proceso de evaluación ya que el mismo se introduce necesariamente en el conflicto
8 Cuando hablamos de financiamiento no debe relacionarse exclusivamente con un subsidio externo o ad hoc para el programa. Aún cuando los trabajadores del programa sean personal estable, igual se está decidiendo “financiar” o no el
7
institucional, aborda las cuestiones de poder, de estima personal y profesional, e influye en las relaciones interpersonales de los miembros que participan de una u otra manera de los programas evaluados.
Como es de suponer, la idea de evaluar no ha sido planteada sin costos políticos para la nueva coordinación. Los primeros pasos de la instalación de la idea han estado centrados en una etapa de sensibilización, es decir, implicó ir contraponiendo las distintas visiones que existen acerca de lo que es evaluar y, sobre todo tratando de neutralizar el peso de la asociación de la evaluación con el castigo, la ajenidad, etc.
Las funciones de la evaluación
Existe diversidad de opiniones acerca del sentido y la función de la evaluación en el campo social. En principio podemos identificar un mito, presente en la tradición de evaluación de programas que consiste en su asociación exclusiva con su función instrumental (Tiana Ferrer, A. 1999), es decir con la utilización de los resultados para la orientación en los procesos de toma de decisiones. El mito consiste en la creencia acerca de la relación mecánica entre resultados de la evaluación y toma de decisiones, ignorando que la mayoría de las veces, esta información es un ítem más entre argumentaciones políticas y presupuestarias, por sólo nombrar las más relevantes.
Tiana Ferrer (1997) ha analizado con agudeza la ingenuidad de sostener en el centro de la escena a esta función instrumental como exclusiva. Es más, son frecuentes las críticas que apuntan a caracterizar la escasa incidencia que las evaluaciones han tenido en la toma de decisiones a la que hace referencia el término “instrumental”. En este sentido, las hipótesis que se han esgrimido hasta el presente son:
-
Que las evaluaciones han estado mal diseñadas, por ende es responsabilidad de los evaluadores que no han sabido captar la información relevante y oportuna.
-
Que las evaluaciones se han desarrollado a destiempo. Por ejemplo, cuando los programas ya habían concluido y, por lo tanto no han servido para reorientar las acciones. Esto supone haber tomado esa función, instrumental, como la única posible.
programa cuando se evalúa que es importante que sigan haciendo lo mismo que hasta ahora y de la misma manera que, cuando se decide reorientar las prácticas.
8
-
Que la conducción del programa no se comprometiera activamente en la evaluación y, sea vista o como algo persecutorio o de otra manera, como algo burocrático y formal, como un requisito a cumplir y, por ende, luego, no da valor a sus resultados.
Dicho autor insiste con esta idea: la relación entre evaluación y toma de decisiones es más compleja que lo que cree la concepción instrumental ya que aquello que se obtiene como producto de las evaluaciones es sólo “uno” de los factores que inciden en la toma de decisiones. Es más, la "evidencia empírica" desempeña un lugar secundario y, a veces más que para tomar decisiones se utiliza para justificar decisiones ya tomadas.
Es así que a esta tradicional función instrumental se agrega otra función: la iluminativa que consiste en “iluminar la concepción que una determinada comunidad tiene de una parcela de la realidad (...) aportando información relevante y elementos de reflexión acerca de la misma” (Tiana Ferrer, 1999) La función iluminativa aporta en gran medida a la construcción de cultura evaluativa y abre un campo de acciones que buscan diversos fines:
•
La democratización y accesibilidad a la información, a partir de la incorporación en carácter de “audiencias” 9 de distintos sectores implicados en el desarrollo del programa o sus efectos.
•
La sensibilización de la comunidad acerca de determinados problemas y acerca de la manera en que determinadas organizaciones inciden o intervienen para darles respuesta.
•
La puesta en evidencia de lo ineficaz de algunas prácticas y la eficacia de otras, a partir de la descripción de tecnologías sociales apropiadas y no apropiadas.
Esta concepción supera la idea "cortoplacista", pensada “para un solo usuario” de la visión instrumental. La concepción instrumental y la iluminativa son hoy en día pensadas como complementarias.
En el ejemplo presentado, se espera que el resultado de la evaluación aporte al mejoramiento de ese programa. En este caso, esto se da por sentado debido a que fue planteado por la misma coordinación. Pero ha ocurrido en otros casos que cambios de gestión, cambios en las decisiones políticas o presupuestarias, etc. no permitan su influencia directa. A pesar de ello, si la evaluación ha previsto desde su concepción la función iluminativa, se espera que los resultados de estas experiencias sean conocidos por los equipos que coordinan los aspectos psicológicos en las escuelas o regiones y puedan informarse acerca de la situación de sus alumnos vistos desde otra perspectiva que no sea la escolar. También puede ser útil para que, cuando en otras jurisdicciones o regiones, se proceda a diseñar abordajes comunitarios con los adolescentes se sepa qué maneras de trabajar han sido útiles y en qué condiciones se han desarrollado
9
La cuestión a evaluar
Habiendo analizado algunos de los aspectos que conforman a la evaluación como una práctica socio cultural, es importante realizar algunas breves reflexiones acerca de “aquello” que se evalúa. La pregunta acerca de “qué evaluar” nos introduce en la formas de entender o delimitar el objeto 10 o cuestión a evaluar y, por ende, en el paradigma o perspectiva epistemológica sobre el cual se soporta dicho recorte.
Evaluación y Complejidad
"el pensamiento que aisla y separa tiene que ser reemplazado por el pensamiento que distingue y une. El pensamiento disyuntivo y reductor debe ser reemplazado por un pensamiento complejo, en el sentido original del término complexus: lo que está tejido bien junto." (Morin, 1999).
Al igual que en las demás actividades relacionadas con la producción de información, como por ejemplo, la científica; el planteo epistemológico adquiere singular relevancia en el proceso de evaluación. Aquí se definen, entre otras cosas, las características 11 que se le atribuirán al objeto y sus diversas "lógicas causales", es decir la manera a partir de la cual, los sujetos suponen que acontecen los eventos, fenómenos y procesos relativos a las actividades sociales. Esta perspectiva ontológica y epistemológica, orienta, tanto la presentación de las preguntas iniciales para encarar la evaluación, como su diseño metodológico.
Rolando García (1994) afirmaba que todo objeto tiene al menos un mínimo de complejidad. Pero en sus conferencias suele aclarar que esta característica, sin embargo, no debe considerarlo como inabordable. De lo contrario, se denominaría "complicación". La complejidad, puede y debe ser inteligida, es decir, captada para su comprensión. Impulsa al científico o al evaluador a producir un giro en su manera de entender las entidades que analiza, las relaciones internas de sus componentes y las relaciones que mantiene con otros objetos también complejos con los que comparte ciertos contextos.
Esta inteligibilidad está sostenida en la posibilidad de los sujetos de analizar los fenómenos o procesos sociales, de pensarlos a partir de la identificación de los distintos planos de análisis que los componen y de las particulares relaciones que se establecen entre dichos planos.
9 Todas las personas y grupos que tienen intereses legítimos en algún proceso determinado de la evaluación.
10 No entraremos aquí en la discusión entorno al sujeto-objeto, aunque señalamos que nuestra posición al respecto se inscribe en una perspectiva que podemos denominar dialéctica, por oposición a una visión positivista de dicha relación.
11 Características “ontológicas”, en tanto entidad que es posible de ser analizada.
10
“Casi por definición, los sistemas verdaderamente complejos escapan a una descripción completa y detallada. Cuando hemos de describir algo, el dilema con que nos encontramos es el que existe entre la sencillez, que es uno de los requisitos previos de la comprensión, y la necesidad de tener en cuenta numerosos aspectos de un sistema complejo. (...) Es posible intentar una vía de salida a tal dilema mediante una descripción jerárquica: se describe el sistema mediante una familia de modelos, cada uno de los cuales se ocupe de su comportamiento mirado desde un nivel de abstracción distinto”. (Mesarovic y Macko , 1969)
Es importante, a esta altura, aclarar que el abordaje de la complejidad no se encuentra en directa relación con la extensión, cobertura o alcance del programa que se esté evaluando. En este sentido, por ejemplo, que sean “pocas o numerosas” las instituciones o grupos (escuelas, centros de salud, comunidades o instituciones participantes) que se incorporan como unidades de observación para evaluar un programa, ésto, no determina la complejidad del objeto de estudio o evaluación, sólo define el tamaño del universo y, eventualmente la muestra. La definición ontológica es previa.
Si retornamos al ejemplo que estamos comentando vemos que es posible identificar distintos planos desde los que se podrá encarar este objeto de análisis como complejo: los adolescentes, los equipos técnicos, los equipos docentes, las familias, los centros de salud, los barrios, etc. (ver cuadro 2.-)
Desde un punto de vista epistemológico, Edgar Morin (1997), plantea que "será necesario, finalmente, ver si hay un modo de pensar, o un método, capaz de estar a la altura del desafío de la complejidad. No se trata de retomar la ambición del pensamiento simple de controlar y dominar lo real. Se trata de ejercitarse en un pensamiento capaz de tratar, de dialogar, de negociar con lo real”. En un enfoque que incorpora la complejidad, se trata de superar las formas lineales y planas de pensar:
Lineales, en el sentido de aquellas que siguen la lógica “única causa – único efecto”. Analizar los procesos sociales y, en particular, los programas o proyectos, desde una perspectiva distinta, significa la necesidad de redefinir, -como se señala más adelante-, la lógica causal que los modelos tradicionales de la planificación establecían entre entre inputs y outputs y, entre metas y resultados incorporando también como componente tanto los contextos como los procesos (Stufflebeam,1995). Castro y Chaves, por su parte, plantean al respecto que "en la producción de los impactos de los programas sociales inciden un conjunto de factores, condiciones y relaciones internas y externas al programa que contribuyen a modificar la situación de la población beneficiaria y su contexto" (Castro y Chaves en SIEMPRO - UNESCO 1999).
11
Plana, vista como aquella que piensa que en el abordaje de un fenómeno social hay un único nivel de análisis. Nos detendremos unos párrafos en esta discusión.
La linealidad se vería reflejada en expresiones como las siguientes: “los adolescentes no concurren al centro de salud porque no les importa su salud, porque los padres no les enseñan estas cosas, por ende la única salida sería “educarlos” a ellos y, eventualmente a sus padres”.
El pensamiento plano supone incluir en el análisis un solo nivel: el del adolescente y sus características actuales sin pensar en los contextos en los que se organizó esa propuesta, y también, por otro lado, sin incorporar la indagación acerca de las distintas experiencias que ese grupo ha tenido en su historia en lo referente al cuidado de su salud.
Al pensar las determinaciones o incidencias en términos lineales, generalmente se apela a una representación causal de las relaciones entre ciertos aspectos o condiciones, como operando en un único plano – horizontal -. Sin embargo, al introducir la posibilidad de diversos estratos o planos de análisis lo que aparecía como causalidad abstracta y externa, puede comprenderse como condicionamientos resultantes de un proceso histórico, en cuyo caso es necesario incluir otros niveles del problema o situación a evaluar.
Por ejemplo, otros niveles pueden estar dados por la manera que las instituciones de salud se proponen abordar a esta población, el lugar que tiene la relación entre las distintas instituciones de la comunidad para vincular los diversos temas tratados por distintos sectores, el contexto comunitario, etc.
Juan Samaja (1993) ha contribuido notablemente a hacer posible en el terreno metodológico este desafío al proponer que el objeto de estudio puede ser expresado como un “Sistema de Matrices de Datos”. Cada plano o “nivel de integración” del objeto (en nuestro caso las experiencias de participación, los adolescentes, los equipos, es decir los diferentes planos desde donde podemos mirar el objeto con su complejidad) supone un recorte particular del mismo que, sin embargo, guarda con los otros relaciones constructivas (unos niveles devienen de otros) y regulativas (ciertos niveles actúan como contextos determinantes de los ya formados), en un movimiento de génesis y estructura que permite la integración de los estratos y da entidad al objeto como complejo, reintegra la totalidad.
Lo anterior está ejemplificado en el cuadro Nro. 2 en el que se grafican las relaciones entre los niveles.
Veremos cómo cada una de las acciones que se desarrollan en el centro de salud han sido construidas a partir de la acción de sus miembros, (relaciones constructivas) pero esto no es suficiente para garantizarlas. Es necesario advertir que desde los niveles de integración más altos se ejercen funciones de regulación, de determinación, que nos
12
explican el contexto de ocurrencia de los procesos y fenómenos que estamos analizando (relaciones regulativas).
En definitiva, el abordaje de la complejidad está en estrecha relación con la capacidad del analista de identificar cuáles, entre sus componentes, serán entidades importantes para estudiar, sus conexiones internas y su posible estructuración jerárquica; es decir, el objeto resultará de un fundado “campo de experiencia”.
Para cerrar este tema que presentamos someramente en este texto es importante señalar que el evaluador identifica, -en función de las preguntas centrales que guíen su evaluación y de las dimensiones principales que haya seleccionado- cuál de los planos va a constituirse en nivel central, es decir, “el mirador” desde donde va a observar la realidad. No es la misma la perspectiva que se tiene del problema si nos paramos desde el plano de análisis: adolescentes, que si nos paramos desde el centro de salud. En el primer caso, el centro de salud, o el barrio, serán los contextos relevantes de ese nivel central.
El abordaje de los objetos desde la perspectiva de la complejidad conlleva las discusiones metodológicas vigentes. La oposición cuantitativa-cualitativa como un atributo que describe el tipo de evaluación, pobló en las últimas décadas del siglo XX las discusiones tanto en los círculos ligados a este área como a la investigación en general. Sin embargo, empieza en los ’90 a perder potencia.
La asociación de “lo cuantitativo” a lo “objetivo”, estuvo soportada sobre la medición – a través del análisis estadístico de la información - y la experimentalidad – a partir del control de las variables y sus relaciones – como garantías de confiabilidad y validez de los resultados.
Por su parte, “lo cualitativo”, aparecía asociado a lo “subjetivo”, reconociéndose en esta posición, su capacidad heurística para comprender o analizar procesos, y tramas profundas.
Hoy, asumir ambas perspectivas como paradigmas opuestos, supone necesariamente tomar partido en una paradoja que no es tal 12. Sí, reconocerlas como formas diversas de producir y/o analizar información, acorde a las necesidades de la cuestión a evaluar. Es posible, incluso hacerlas “dialogar” – triangulando información, en lugar de oponerlas. La combinación entre distintas tipologías de información permite configurar el "objeto" analizándolo desde una perspectiva multidimensional. Esto nos lleva a la cuestión de qué aspectos del programa o proyecto van a ser objetos de evaluación . "Se trata más bien de reflexionar acerca de su utilidad y de los beneficios y costos de integrarlos en el diseño evaluativo que se plantee. ( ) esta combinación permite la consecución de objetivos múltiples atendiendo tanto a los procesos como a los resultados del programa, enriquece los hallazgos evaluativos...." (Nirenberg y otros, 2000).
12 Véase un desarrollo exhaustivo de los modelos de complementariedad cuali-cuanti en Bericat, E. (1998).
13
Por último, podremos referir que, la perspectiva de la complejidad no introduce demasiadas novedades en el uso de cada técnica en particular (de muestreo, de diseño de instrumentos, de identificación y uso de fuentes) sino, en cómo la información derivada de las mismas, es seleccionada, relacionada. En este sentido, las diversas técnicas se combinan de una manera apropiada, considerándose complementarias en la medida en que permiten, tanto relevar distintos planos o aspectos del objeto, como observar los mismos aspectos desde distintas perspectivas.
Tipos de evaluación o formas de delimitar la cuestión a evaluar
Son diversas las formas en que se agrupan las perspectivas de evaluación. Una de ellas las divide según sus fines u objetivos:
a.- Evaluaciones de Metas o Resultados
b.- Evaluaciones de Impacto
c.- Evaluaciones de Procesos
Cada una de las anteriores responde a objetivos diferentes y también abre preguntas o plantea problemas distintos:
a.- Las evaluaciones de Metas o Resultados ponen en relación al planteamiento inicial de los objetivos y sus metas con el cumplimiento efectivo de los mismos. Es decir, pone en relación al programa consigo mismo, en un tiempo 1 y en un tiempo 2. Un tipo de evaluación ineludible en cualquier intervención.
Algunos autores consideran que la mayor dificultad en este tipo de evaluaciones está en que gran parte de los proyectos no poseen desde el inicio metas claras y explícitas. En general, suelen tener propósitos u objetivos definidos, pero no se ha llegado al nivel de definición de metas, por lo que se ven dificultados niveles de precisión mínimos en la evaluación.
Otro límite de la evaluación de resultados es que se centra fundamentalmente en el cumplimiento de las acciones planificadas, sin hacer foco en las modificaciones operadas en el problema y la población atendida. Puede darse el caso de que todas las acciones del proyecto se hubieran concretado pero, sin embargo, por errores de planificación, de estrategia o de gestión, aquellos cambios esperados en la población no se vean efectivizados. Es decir, que las acciones se hayan
14
cumplido; no supone, necesariamente, que los cambios esperados en la población hayan tenido lugar. En este sentido, es que la evaluación de resultados debe ser complementada con la de impacto.
En definitiva, volviendo al ejemplo .- podemos saber que se han cumplido todas las acciones planteadas por el programa: difusión de información, convocatoria, trabajo con clubes e iglesias, tal como lo planteaban sus objetivos iniciales. Pero esto, ¿ha traído aparejado, concretamente, una mejora sensible en la accesibilidad al sistema de salud por parte de los adolescentes? Han cambiado las percepciones de salud, han ido en el último período de tiempo a alguna consulta, se verifica un aumento en la consulta adolescente? Estas últimas dos preguntas nos introducen en el siguiente tipo de evaluación.
b.- Las evaluaciones de Impacto, por su parte, analizan los cambios que son posibles de observar en la población destinataria del proyecto a partir de las acciones de éste.
El hecho de que la población haya cambiado de situación respecto al problema, no quiere necesariamente decir que se deba estrictamente a las acciones del proyecto. Según el tipo de práctica social en la que estemos insertos es posible que distintos proyectos, programas o acciones aisladas converjan a modificar la situación.
La evaluación del impacto permite conocer entonces, “en qué medida se alcanzaron o no los objetivos propuestos, qué cambios se han producido en la población objetivo y cuáles son sus efectos secundarios”
El análisis de las definiciones de la evaluación de impacto arroja la necesidad de destacar dos dimensiones del problema que, aunque en algunas propuestas teóricas aparecen relacionadas, no mantienen una asociación necesaria.
Nos referimos, por un lado, al interés de la evaluación del impacto, en términos de los cambios que se observen en la población destinataria en torno al/los problemas por los que se desarrolló el proyecto; es decir, a la evaluación de “en cuánto” o “cómo” se modificó el problema. Por el otro, se habla del impacto neto; es decir, encontrar la manera de saber si esas modificaciones son "estrictamente" resultado de las acciones del proyecto y no de otras.
Una de las dificultades que plantea este aspecto de la evaluación es que requiere conocer cabalmente, o, al menos, a partir de indicadores semejantes, la situación inicial (llamada “línea de base”) en que se encontraba la población objetivo antes de la implementación del programa, para poder ser comparada con la situación actual (o estado final) – luego de que dicho programa se ha implementado -. Esto no resulta de fácil aplicación en el caso de problemas sociales, por diversas razones entre las que podemos nombrar:
15
•
como ya anticipamos, la complejidad de los problemas que se abordan no siempre permite controlar – es decir, aislar y ponderar – el peso de una gran cantidad de variables que definen las prácticas sociales, debido a sus múltiples intercurrencias. La convergencia de varios programas paralelos con impacto también en la misma población y, en ocasiones, sobre el mismo problema, no siempre permite aislar, como adelantáramos, el peso de estas acciones, respecto de otras.
•
la escasa sistematización de la información secundaria a nivel nacional y/o provincial, atenta contra comparaciones retrospectivas de largo plazo.
Sulbrandt (1993) afirma que este tipo de evaluación es útil cuando: a.- interesa conocer qué logros se están obteniendo con un programa; b.- se quieren poner a prueba nuevas estrategias para resolver una situación-problema; c.- se pretende comparar programas diversos, que poseen objetivos semejantes.
Si bien existen diferentes diseños para hacer posible dicha comparación: “modelo antes-después”, “series temporales” , “modelo sólo después con Grupo de Comparación” 13; los primeros requieren necesariamente de un conocimiento previo sobre el problema, “medible” desde indicadores semejantes; mientras que el tercer modelo plantea dificultades de índole ética difíciles de excluir, ya que supone la existencia de un grupo poblacional semejante al que no se le aplica el programa – aunque, en rigor, lo necesita igual que el grupo destinatario del proyecto -.
c.- Las evaluaciones de Procesos suponen especificar la secuencia de pasos y relaciones entre los insumos y los productos del programa. Intenta realizar una descripción de las tecnologías sociales que se han elaborado para alcanzar los productos.
Según Sulbrandt (1993) uno de los aspectos críticos de este tipo de evaluación reside en que los procesos que se evalúan, en general, se asocian más con aspectos técnico-instrumentales del programa que con aspectos organizacionales, sociales o culturales ligados al mismo.
El autor citado introduce la noción de "modelo integral" para la evaluación de programas sociales con la intención de superar la lógica lineal y posibilitar la incorporación de dispositivos de evaluación capaces de trabajar con proyectos que se han desempeñado con metas dinámicas y que
16
se enriquecen con el tiempo, recuperando los procesos como logros específicos de las acciones desarrolladas.
En el caso del programa analizado sería interesante sistematizar y difundir un dispositivo que se ha creado a partir de las acciones del programa y que ha servido para llegar a cada vez más adolescentes con información. Era un taller de radio armado en el que participaban adolescentes que a su vez, invitaban a otros adolescentes a armar notas, reportajes, etc. sobre problemas de salud.
En el mismo sentido, una publicación conjunta UNESCO - SIEMPRO (1999) refuerza estas ideas cuando, en el marco de una advertencia respecto del uso acrítico de las evaluaciones de impacto en este tipo de programas, considera que "...la utilización de relaciones causales solamente puede resultar en encadenamientos lineales y mecánicos capaces de hacer perder de vista la incidencia de factores del contexto, lo que llevaría a imputar al programa, impactos que no se derivan exclusivamente de su ejecución".
Incorporar a la descripción no sólo la lógica de los resultados, sino la de las acciones que posibilitaron llegar a los mismos: esto es, los procesos, permite distinguir qué experiencias son interesantes de repetir, y qué estrategias deben modificarse, en qué condiciones es que se han logrado los mayores impactos, etc. De manera contraria, opera la perspectiva de los inputs y outputs, sin posibilitades de "abrir la famosa caja negra".
Desde la perspectiva de la evaluación de programas en el campo socio - educativo, Stufflebeam (1995) aportó un modelo que ha intentado en su momento recuperar las bondades de otras propuestas existentes.
En principio, destaca la necesidad de incluir sistemáticamente la evaluación del contexto: incluyendo la población objeto, la valoración de las necesidades de la población y relacionarlas con los objetivos que el programa plantea. Permite delimitar el marco de implementación del proyecto.
La evaluación de entrada se asemeja a lo que en otros modelos de evaluación se hace referencia con estudios de pre o factibilidad, es decir, analizar las alternativas comparando, inclusive distintas propuestas.
La evaluación del proceso que apunta a perfeccionar la planificación y los procedimientos del programa. La misma según el autor "es una fuente de información vital para interpretar los resultados de la evaluación del producto”
17
La evaluación del producto determina hasta qué punto se han satisfecho las necesidades del grupo atendido. También “debe ocuparse ampliamente de los efectos del programa, deseados y no deseados “
Diversos criterios de evaluación/valoración
Como ya anticipamos, la evaluación supone emitir juicios valorativos, fruto de la comparación, por una parte, con un parámetro (deseable, previsto), comparación contra estándares; y, por otra, con uno mismo, en el tiempo.
Se podrían resumir estas diversas formas de comparación con la siguiente nomenclatura: a.- criterio normativo, para referirnos a la comparación entre lo propuesto o esperado y lo logrado o alcanzado; b.- criterio sincrónico, en cuyo caso la comparación es entre lo alcanzado y lo que han alcanzado otras entidades comparables, o bien, c.- criterio diacrónico, relativo a la comparación entre un antes y un después, es decir, el mismo objeto a lo largo del tiempo, analizando su avance en relación a un punto de partida singular.
Veamos esto en el ejemplo citado:
Criterio normativo: desde organismos internacionales se espera que para este tipo de poblaciones la tasa de consulta de los adolescentes en centros de salud se estima en un X % en relación a la de la población adulta e infantil.
Criterio sincrónico: la tasas de consulta de éste centro de salud está por encima o por debajo de la media de los centros de salud que participan del programa. O la tasa de consulta de este programa jurisdiccional está muy por debajo de la otra jurisdicción con realidades socio- económicas y culturales semejantes.
Criterio diacrónico: Se esperaba aumentar las consultas de salud en un “x” % en relación al punto de inicio del programa.
Es deseable que este último criterio tranversalice los procesos de evaluación; aunque sólo se puede implementar efectivamente en aquellos casos en los que ha sido factible la obtención de datos previos, es el antes y el después.
En este sentido, la evaluación incluye una dimensión temporal en la medida que implica la comparación de determinada situación entre, al menos, dos momentos o tiempos. En la evaluación de programas sociales se supone que entre esos momentos intervino una acción o conjunto de acciones que son las que se quieren medir.
18
Ahora bien, existen muchas formas de incluir el Antes y el Después. En múltiples ocasiones, los datos tomados globalmente, como conjuntos resumidos mediante algún indicador que agrupa su desempeño en un cierto tiempo, puede llevar a falsos resultados. Por eso las estadísticas globales, los promedios, no alcanzan como medidas de evaluación. Se pueden estar promediando situaciones muy extremas y no permitir una riqueza en el análisis de, por ejemplo, para qué tipo de poblaciones, situaciones, etc. sirve este programa, y para cuáles no. ¿por ejemplo, impacta más entre los sujetos, instituciones, grupos que comenzaron más desfavorecidos o, entre los que ya tenían otras capacidades?
Un criterio subsidiario al anterior consiste en que la mirada del antes y el después tenga en cuenta el punto de partida (el Antes) pero de cada quién y no del conjunto global. Volcado esto a la evaluación de un proyecto cualquiera, lo que para unos no significa un avance, para otros puede ser un éxito del proyecto. Entonces, se torna relevante la valoración de los alcances que ha tenido el proyecto no en términos absolutos sino en términos relativos a cada situación.14
Sugerencias para mejorar los procesos de evaluación
•
Superar la falsa dicotomía entre autoevaluación y evaluación externa. Es posible encontrar, como proponen Niremberg y otros (2000), formas de hacer participar a los actores que conforman el programa o proyecto junto a agentes externos al mismo, bajo un modelo de evaluación mixta.
•
Incluir información proveniente de distintos actores, sin minimizar los saberes profesionales. Existe una gama de posibilidades para hacer intervenir las “voces” de los diversos actores que componen un programa. Desde que constituyan fuentes de información, hasta que participen en el diseño e interpretación de la información (evaluación participativa). (ver cuadro Nro. 3 al final del capítulo). Cuando ésto no está presente, quedan excluidos los aspectos valorativos, motivacionales, culturales que se encuentran presentes en las actitudes y estrategias que desarrollan los actores beneficiarios para el aprovechamiento de los productos del programa. Entre otras cosas, esto se asocia a una construcción ontológica del beneficiario como un actor abstracto y uniforme. Ahora bien, la inclusión o exclusión de las perspectivas de los actores en las evaluaciones también tiene su contracara. Mientras que en un extremo opinan que las percepciones de los diversos actores representan "la verdad" (modelo empirista ingenuo de análisis de la realidad social), el otro extremo
19
propone no incluirlas pensando que no operan ni como medios ni como resultados en la comprensión, apropiación, y uso de las acciones que implementan los programas.
•
Asumir el carácter permanente y sistemático de la evaluación. No sólo en la perspectiva de monitoreo de acciones, sino de evaluación de procesos. Otorgando a la evaluación un lugar paralelo y en intersección con la implementación y no sólo como un momento inicial o final de un programa.
•
Inscribirla en un proceso de aprendizaje institucional. La evaluación busca también analizar si el desarrollo del programa ha favorecido el mejoramiento de las capacidades preexistentes generando aprendizajes efectivos. Se torna necesario que la evaluación no tenga sólo fines de control de gestión, sino también redunde en conocimiento comunicable entre los actores involucrados, de manera tal que se transforme en una herramienta de monitoreo permanente, con contenido significativo para sus prácticas cotidianas.
“La evaluación del futuro estará destinada, más que a controlar y castigar, a permitir un aprendizaje a partir de errores, omisiones y dificultades encontradas en la ejecución de las políticas y programas” (Sulbrandt, op.cit., pág. 346)
La institucionalización de la evaluación en todos los niveles implicados en un programa debe dejar de ser un horizonte lejano, para formar parte de la propia implementación del mismo.
•
Generar información relevante; orientada a los beneficiarios. Esto requiere del reconocimiento de audiencias diversas, de sus intereses y relaciones; así como de la difusión de los resultados.
Cuesta superar el momento en el que toda información parece ser necesaria y relevante. Pero, es posible establecer la relevancia en la medida que no se pierdan de vista los objetivos del programa, los fines de la evaluación y las audiencias a las que la misma está dirigida.
•
Es importante que la evaluación incluya los resultados; es importante saber si el programa ha sido exitoso. Pero es igualmente importante conocer los procesos; los
14 Este criterio se trata de aplicar en todos los casos en los que ha sido factible obtener información confiable de la
20
aspectos que lo favorecieron, para poder reproducirlos análogamente en otros programas o en otra población, así como los que lo obstaculizaron, para buscar alternativas a los mismos.
•
Reproducir – en lo posible - la complejidad de la situación a evaluar a partir del reconocimiento de los niveles presentes. Resulta poco rico, analizar objetos complejos desde la perspectiva de modelos lineales y deterministas. Sulbrandt afirma:
“No se trata de preguntarse sólo por el qué se ha logrado, sino también por el cómo y por qué se han logrado los resultados obtenidos” (op.cit., pág. 336)
•
En directa relación con el punto anterior, es recomendable la utilización de múltiples herramientas complementarias de evaluación. Esto requiere un equilibrio entre información cuali y cuantitativa.
Nuestra concepción de evaluación no descarta los números ni las representaciones y valoraciones. Decide ponerlas en confrontación para ver si nos dicen lo mismo o algo distinto de la realidad. Lo distinto, en este sentido, puede ser contrapuesto, o puede ser complementario. Lo contrapuesto no entendido como un error, sino como una descripción que quizás permita entender varios actos, interpretar conductas y procesos de la cultura de las comunidades, instituciones, etc.
•
Combinar la mirada panorámica con la mirada microscópica
La panorámica permite describir las tendencias básicas de las implementación de los programas, aparecen las recurrencias más típicas, las modalidades más frecuentes, las innovaciones y obstáculos más importantes.
La mirada microscópica, permite observar esas tendencias transcurriendo, en proceso, en cada caso.
“Resultados obtenidos:
La escuela media n° “XX” ha recibido hace tres años una cantidad importante de textos de diversos tipos para equipar y actualizar la biblioteca institucional. También ha recibido un conjunto de documentos que trasmiten propuestas de trabajo para gestionar y estimular el uso de los textos.
situación al ingreso.
21
En la actualidad, esta escuela tiene un índice de préstamos a domicilio de su biblioteca institucional que se encuentra levemente por encima de la media nacional pero, por debajo de la media provincial.
Cualquiera de las dos cifras son bajas si se compara con lo que se establece como parámetro externo, es decir desde las autoridades académicas de referencia fruto de investigaciones realizadas a nivel de toda Latinoamérica.
El director de esa escuela se muestra disgustado con el nivel de préstamos. "Los chicos no leen lo suficiente, con la biblioteca que tienen... Usan los libros fundamentalmente para trabajar en las clases. En época de exámenes se nota un aumento de los chicos que se llevan los libros a casa. Ahora, lo que es cierto, sacan muchísimos más libros que los chicos del colegio de la otra cuadra, según me contaba su directora el otro día en una reunión de distrito".
La vicedirectora sostiene que ha habido un avance notable en el uso de los libros y en la utilización del sistema de préstamos a domicilio. "Hace algunos años, eran contadas con los dedos de las manos las ocasiones que los chicos lo utilizaban, ahora no estamos en la situación ideal pero, avanzamos mucho. El hecho que haya más libros y más actualizados ha ayudado mucho."
La bibliotecaria dice que no da abasto, que trabaja todo el tiempo y vive corriendo a los alumnos para que devuelvan los libros y que lo hagan en buen estado. "En la escuela que yo estaba antes, los alumnos ni pasaban por la biblioteca. Acá yo veo que se quieren llevar los libros, siempre me vienen a buscar para que abra la biblioteca".
La profesora de Lengua y Literatura comenta que existe un desaprovechamiento de la biblioteca por parte de los alumnos. Cuando ella estudiaba, era otra cosa, había más amor por la literatura. "Ahora todo es la computación y la televisión. Yo no veo que se lleven muchos libros de la biblioteca".
Un grupo de alumnos plantea que "leen un montón para las materias, pero no en las casas porque no tienen tiempo". Algunos trabajan, otros cuidan a sus hermanos, o sino, deben hacer las ejercitaciones diarias para cumplir con las materias. Aunque aclaran que la biblioteca tiene muy lindos y buenos libros y que no los sacan mucho de la misma para llevarlos a casa.
Etc....etc....etc...
En función de estos resultados, los investigadores concluimos...”
22
Bibliografia
Alvira Martín, (1996) Metodología de la evaluación de programas. Cuadernos Metodológicos. Centro de Investigaciones Sociológicas. Madrid.
BID – EVO (1997) Evaluación: una herramienta de gestión para mejorar el desempeño de los proyectos. Oficina de evaluación – EVO-BID.
Bericat, E. (1998) La integración de los métodos cuantitativo y cualitativo en la investigación social. Significado y medida. Ed. Ariel. Sociología. Barcelona.
CEPAL, (1999) Metodología para el análisis de la gestión de Programas Sociales. Serie Políticas Sociales Nro. 25. pág 61 y ss
Cohen E. y Franco R. (1997) Evaluación de proyectos sociales. Siglo veintiuno editores. 4ª. edición. México
Mesarovic y Macko, (1969). Fundamentos de una teoría científica de los sistemas jerárquicos. En “Las estructuras jerárquicas”. L. Whyte et al (eds), American Elsevier, New York, E.E.U.U.
Morin, Edgard. (1997) Introducción al pensamiento complejo. Gedisa Editorial. España
Nirenberg, O., Brawerman J., Ruiz, V. (2000) Evaluar para la transformación. Innovaciones en la evaluación de programas y proyectos sociales. Paidós, Buenos Aires.
Pichardo Muñiz, A. (1993) Evaluación del Impacto Social. Ed. Humanitas. Buenos Aires
Samaja, Juan. (1993) Epistemología y Metodología. Elementos para una teoría de la investigación científica. Parte III. Eudeba, Bs. As.
Santos Guerra, Miguel
•
(1995) La evaluación: un proceso de diálogo, comprensión y mejora. Ediciones Aljibe.
•
(1990) Hacer visible lo cotidiano. Teoría y práctica de la evaluación cualitativa de los centros escolares. Akal Universitaria, Madrid.
Siempro-Unesco (1999) Gestión integral de Programas sociales orientada a Resultados. Fondo de Cultura Económica, México.
Stufflebeam, D. y Shinkfield, A. (1995) Evaluación sistemática. Guía teórica y práctica. Ediciones Paidós. Barcelona
Sulbrandt,J. (1993) La evaluación de los programas sociales. Una perspectiva crítica de los modelos usuales. En “Pobreza, un tema impostergable”. Bernardo Klisberg (compilador). CLAD-FCE-PNUD.
Tiana Ferrer, A. (1997) Tratamiento y usos de la información en evaluación. En Serie Documentos - Vol. 1. - Programa Evaluación de la Calidad de la Educación. Cumbre Iberoamericana. Bs. As.
INTRODUCCIÓN A LAS PERSPECTIVAS SOCIOCULTURALES, EPISTEMOLÓGICAS Y METODOLÓGICAS DE LA EVALUACIÓN DE LOS PROGRAMAS Y PROYECTOS SOCIALES.1
Lics. Débora Yanco2 y Cecilia Ros3
Artículo publicado en el libro “Viviendo Redes. Experiencias y estrategias para fortalecer la trama social”. Elina Dabas compiladora. Editorial CICCUS, 2006.
Este trabajo aborda la evaluación de los proyectos y programas sociales desde distintas perspectivas. Por un lado, examina a la evaluación como práctica sociocultural analizando sus funciones principales a partir del concepto de “construcción de cultura de evaluación”. En segundo lugar, propone reflexionar acerca de la pertinencia de concebir a los objetos de la evaluación desde una mirada epistemológica relacionada con los Sistemas Complejos. Se exponen asimismo un conjunto de problemáticas metodológicas vinculadas con la evaluación respecto de las que consideramos que en la actualidad hay un escaso consenso. Por último, se describen algunas pautas para encuadrar un modelo integral de evaluación que sintetice los aportes principales de las distintas perspectivas presentadas.
Que es evaluar
La planificación y programación de programas/proyectos sociales ha involucrado crecientemente la necesidad de la evaluación, como un componente indispensable. Los requerimientos de los entes que dirigen y/o financian las políticas han contribuido a generar dicha necesidad; y el interés de ir conociendo las modificaciones que se van produciendo en los problemas que se abordan llevaron progresivamente a que se convierta en un área de especialización en sí misma.
1 Este documento sintetiza el material utilizado en distintas clases y cursos acerca de las Perspectivas Epistemológicas y Metodológicas de la evaluación de programas; dictados por las autoras, ambas especialistas en Metodología de la Investigación y miembros de FUNDARED. Las primeras versiones del mismo corresponden al año 2001.
2 Vicepresidenta de FUNDARED - Prof. Titular Int. de Metodología de la Investigación en la Lic. en Educación Física y Trabajo Social de la Universidad Nacional de Lanús - Prof. Adjunta Int. de la Cátedra de Metodología de la Investigación Psicológica II. Facultad de Psicología UBA. - Profesora Titular Interina de la Cátedra de Formulación y Evaluación de Proyectos de la Lic. en Educación Física de la Universidad Nacional de Lanús. Coordinadora gral. de la Residencia de Salud Mental del GCBA.
3 Docente Universitaria de Grado en el área de Metodología de la Investigación (Prof. Regular UNLa, y Adjunta Regular Fac. Psicología-UBA). Docente de Posgrado (U.N. Comahue, UNLa, U.N.E.R.). Investigadora en temas de Salud, Subjetividad y Trabajo (Fac. Psicología UBA y UNLa). Evaluadora de Proyectos.
2
La evaluación es una práctica capaz de analizar la calidad y los alcances de las acciones emprendidas en los programas sociales. Los enfoques más tradicionales, centran la cuestión de la evaluación en su capacidad de dictaminar acerca de la medida en que las actividades realizadas aportan significativamente al logro de los resultados. Es decir, si las mismas, han sido, en definitiva, factores claves, esenciales para su producción, o bien han sido un puro accidente (Cohen y Franco, 1997). Posteriormente, encuentra mayor desarrollo en la literatura una función complementaria: aquella que caracteriza las acciones evaluativas desde su potencialidad de describir y difundir tecnologías sociales, es decir los procesos que las distintas comunidades, organizaciones y equipos de trabajo desarrollaron para alcanzar los resultados esperados y así poder ser utilizados en otras experiencias similares.
Con el fin de ilustrar algunos de las ideas desarrolladas en este capítulo presentaremos un ejemplo al que haremos referencia en sucesivas oportunidades:
EJEMPLO PARA EL ANÁLISIS:
En una ciudad con alta densidad poblacional de la República Argentina se desarrolla hace 6 años un programa tendiente a mejorar la accesibilidad de los adolescentes al sistema de salud. Las entidades que lo llevan adelante son 20 centros de salud distribuidos en toda la ciudad, pero con mayor presencia en barrios con población de bajo nivel socioeconómico.
El año pasado este programa cambia su equipo de coordinación central el que se propone antes de diseñar el nuevo plan de trabajo, realizar una evaluación de lo actuado en estos años. Entre otras, como dimensiones centrales para encarar la evaluación propusieron:
a.- analizar las razones por las cuales los jóvenes no concurrían regularmente a consultas de salud;
b.- evaluar los perfiles de género de la participación de los adolescentes en actividades de promoción de la salud (sabían a través de actividades de monitoreo que cuando participaban lo hacían sólo las mujeres y fundamentalmente cuando quedaban embarazadas),
c.- describir los problemas y logros que identifican en la gestión cotidiana del programa tratando de vincularlos con algunas dimensiones de análisis (caracterización de la población objetivo, dinámica institucional, dinámica comunitaria, etc.),
d.- intentar reconstruir una descripción de las necesidades de la población destinataria cuando el programa comenzó y tratar de analizar su evolución, y sus necesidades y problemáticas actuales. (se espera que esto último permita analizar en qué medida las acciones de salud que se fueron desarrollando se fueron adaptando a las distintas situaciones).
3
En el transcurso del diseño de la evaluación, surgió una inquietud adicional planteada por el nuevo equipo de conducción: conocer las interacciones que en estos años se han llevado adelante entre los equipos locales de los centros de salud, y un programa socioeducativo que se desarrolla desde hace 3 años en la gran mayoría de las escuelas medias de la zona, cuyo propósito era mejorar la retención escolar de los adolescentes. El leif motiv que guió la introducción de esta dimensión de análisis ha sido:”no olvidar: la población objetivo de ambos programas es la misma, los adolescentes del barrio, y la información asistemática dice que los estamos abordando por separado y de manera desarticulada”.
Para llevar a cabo la evaluación se convocó a los principales sectores y actores intervinientes para que participaran del diseño de la misma (equipo de salud, adolescentes que asisten al programa, etc).
Es a partir de esta propuesta que los equipos de trabajo utilizan un espacio quincenal de una hora y media, durante dos meses, en cada entidad local para cumplir este objetivo.
Ya sea en su función de analizar procesos, resultados, o impactos 4, el concepto de evaluación incluye dos componentes, a nuestro juicio ineludibles, como lo son la “disposición al cambio de perspectiva en relación a la cotidianeidad” y la “necesidad de valoración”.
Veamos la primera de estas ideas: la evaluación requiere que los actores de un programa o proyecto 5 puedan hacer un alto y cambiar transitoriamente su ubicación para observar de otra manera aquello que habitualmente se encuentra naturalizado o pasa desapercibido. Esto supone posicionarse en otro nivel de análisis que permita generar una distancia saludable con la perspectiva cotidiana. Distancia que no significa ajenidad, o extrañeza sino un compromiso de re examinar6 la realidad.
Quizás sea pertinente aclarar a esta altura, que la idea de evaluación no se contrapone sino que se complementa con la idea de "seguimiento permanente", el que apunta a garantizar la mejora de la gestión del programa. Se trata de dos momentos tanto diferentes como complementarios e indispensables. Así, las instancias de monitoreo o seguimiento hacen referencia a una posición reflexiva frente a la práctica misma que permite realizar el análisis del día a día de las experiencias,
4 Véase una reflexión interesante acerca de los diferentes usos de estos términos en Niremberg, et. al.(2000)
5 el uso indistinto de programa o proyecto no significa negar las diferencias de nivel de integración que hay entre ambos. Sino, que consideramos que a escala más grande o más pequeña, valen los comentarios aquí expuestos para ambos casos.
6 Santos Guerra (1990) utiliza una expresión interesante cuando considera que "lo que está aparentemente visible no resulta tan evidente para los protagonistas o para los que están acostumbrados a las rutinas de una determinada práctica. Para hacer visible lo cotidiano... es
4
detectar posibles errores en el acontecer cotidiano y modificar a tiempo su devenir. Mientras que, en cualquier terreno, evaluar implica necesariamente aportarle a una experiencia un cambio en la perspectiva de observación.
En el ejemplo presentado en el cuadro 1 podemos observar claramente este cambio de perspectiva al observar el tipo de dimensiones que se incluyen en la evaluación. Por ejemplo, los actores del programa de salud deciden historizar y volver a considerar si las necesidades y características de la población objetivo son las mismas que desde se inició el programa.
Por su parte, la Valoración, se encuentra presente (directamente o a través de sinónimos) en la mayoría de las definiciones de evaluación, entre las que podemos citar:
“Proceso permanente de indagación y valoración de la gestión del programa para generar conocimiento y aprendizaje que alimente la toma decisiones”
Siempro-Unesco (1999)
“Actividad programada de reflexión sobre la acción, basada en procedimientos sistemáticos de recolección, análisis e interpretación de información, con la finalidad de emitir juicios valorativos fundamentados y comunicables sobre las actividades, resultados e impacto de esos proyectos o programas, y formular recomendaciones para tomar decisiones que permitan ajustar la acción presente y mejorar la acción futura”.
Niremberg, Brawerman, Ruiz. (2000)
“La evaluación es el proceso de identificar, obtener y proporcionar información útil y descriptiva acerca del valor y el mérito de las metas, la planificación, la realización y el impacto de un objeto determinado, con el fin de servir de guía para la toma decisiones, solucionar los problemas de responsabilidad y promover la comprensión de los fenómenos implicados”.
Stufflebeam, (1995)
“Evaluar es fijar el valor de una cosa. para hacerlo se requiere de un procedimiento mediante el cual se compara aquello a evaluar respecto a un criterio o patrón determinado”
Cohen y Franco (1997)
Aunque el concepto de valoración emerge como un denominador común, da lugar, a su vez, a las más profundas diferencias entre los autores. Ocurre que, la referencia al otorgamiento de valor, inaugura preguntas como las siguientes: ¿qué se evalúa?; ¿con qué parámetros se evalúa? Y, en ese caso, ¿quién los fija?; ¿desde qué posicionamiento ético y epistemológico?, etc. Si lo pensamos
preciso – dice - profundizar en la reconstrucción de la realidad a través de métodos que tengan
5
bien, seguramente alguna vez nos hicimos estas preguntas cuando hemos participado como sujetos “evaluados” en innumerables situaciones escolares, académicas o profesionales. En el análisis de la problemática de la evaluación de los proyectos sociales, estas inquietudes no dejan de estar presentes.
En el ejemplo presentado es posible que los distintos sectores y actores se hayan preguntado cuándo una acción del programa puede ser considerada pertinente, oportuna y eficaz. Por ejemplo, qué lugar se dará en la evaluación a datos relativos a la cantidad de jóvenes que participan de las actividades de promoción de salud, si ése era un indicador válido o debían priorizar otros, vinculados a la capacidad del centro de convertirse en referente de otras instituciones de la zona, etc. O sea desde qué criterios e indicadores se valorarán las acciones.
La cultura de la evaluación
Los principales debates en torno a la temática de la evaluación han estado centrados en polémicas de orden aparentemente metodológico, por ejemplo, en términos de falsas elecciones entre tratamientos de datos con mayor peso de aspectos cuali o cuantitativos; o de procesos o resultados. Han estado menos centrados en la discusión de las condiciones culturales, político-institucionales y organizacionales que están presentes en la evaluación y que determinan amplias facetas de su cotidianeidad. Junto a otras, este grupo de temáticas pueden agruparse bajo el concepto de "cultura de evaluación".
Así, temas como por ejemplo, las modalidades en que surge la "demanda" de evaluación en un programa determinado, los cuestionamientos acerca de a quiénes y para qué están destinados los resultados de las evaluaciones, la implicancia que para un programa o institución tiene ubicarse en proceso de evaluación, etc. encuentran poco peso en las discusiones y sin embargo son cada día más relevantes.
Comentemos algunas de las dimensiones que consideramos significativas para analizar la “construcción de cultura de evaluación”:
La “demanda” 7 de evaluación constituye uno de los tópicos que merece ser nombrado. ¿Cómo se origina la demanda de evaluación?, ¿cuántos de sus objetivos iniciales son explícitos para todos los
sensibilidad para captarla” (el resaltado es nuestro).
7 Es decir, la manera como se estructura la necesidad de evaluar. Por ejemplo, si estaba pautada desde los inicios de un proyecto, si surge como oportunidad a posteriori o mediando su desarrollo, etc.
6
sectores implicados en la misma? y ¿cuánto de esta intencionalidad inicial se sostiene a lo largo del proceso? ¿Es posible hablar de "construcción de la demanda de evaluación"?
Este programa se desarrollaba hace 6 años en la jurisdicción. Nunca había atravesado un proceso de evaluación sistemática. Entonces, fue necesario crear un clima de evaluación, poder trasmitir qué beneficios podría traer evaluar y también a muy posible que esto trajera cambios. Evidentemente, la propuesta inicial de la nueva coordinación no ha sido suficiente para que el proceso de evaluación se ponga en funcionamiento. Ha sido necesario que ella misma negocie entre los distintos sectores los diversos significados que ellos daban al inminente proceso de evaluación. La idea inicial de evaluación se ha ido armando poco a poco en demanda complejizada, más rica y donde los distintos actores tenían construido algún objetivo a lograr.
Asociado a lo anterior, cobra cada vez más relevancia la interrogación acerca del sentido de la difusión de los avances parciales y resultados finales de la evaluación:
¿a quiénes están destinados los resultados de las evaluaciones de los programas?;
los destinatarios de los programas, ¿juegan algún papel en este proceso?,
¿qué acciones se preveen desde el inicio y durante todo el proceso de la evaluación
para garantizar un óptimo aprovechamiento de los resultados?
¿los resultados de la evaluación sirven sólo para cumplir con una formalidad y garantizar una continuidad en el financiamiento8,o se planifica su utilización orientada a diversos interlocutores, los que han sido denominados “audiencias” (Tiana Ferrer, A.1999)
En el ejemplo que estamos analizando, nos preguntaríamos si se ha planificado con quiénes se van a compartir los resultados de la evaluación, si está previsto qué temas se difundirán con quiénes en los distintos niveles. Porque, no es lo mismo la necesidad de información de los equipos coordinadores del programa, que la de los profesionales de cada centro, o la que pueden aprovechar los directores de las escuelas de la zona de referencia de cada centro de salud y la que puede utilizar la comisión directiva del club del barrio que está siempre tratando de convocar a los mismos jóvenes que el centro de salud. Pero todos tienen derecho a recibir información de la evaluación.
Por último, convengamos que es conocida la imagen de la evaluación como “penalizadora”, es frecuente la expresión: "nos van a venir a evaluar". Entonces, es importante advertir que ningún evaluador desarrollará correctamente su tarea si no tiene en cuenta que esta imagen será un componente de la realidad, y determinará sus prácticas. Diseñar estrategias para que la cultura penalizadora no supere a la cultura productiva es parte de la planificación de todo proceso de evaluación ya que el mismo se introduce necesariamente en el conflicto
8 Cuando hablamos de financiamiento no debe relacionarse exclusivamente con un subsidio externo o ad hoc para el programa. Aún cuando los trabajadores del programa sean personal estable, igual se está decidiendo “financiar” o no el
7
institucional, aborda las cuestiones de poder, de estima personal y profesional, e influye en las relaciones interpersonales de los miembros que participan de una u otra manera de los programas evaluados.
Como es de suponer, la idea de evaluar no ha sido planteada sin costos políticos para la nueva coordinación. Los primeros pasos de la instalación de la idea han estado centrados en una etapa de sensibilización, es decir, implicó ir contraponiendo las distintas visiones que existen acerca de lo que es evaluar y, sobre todo tratando de neutralizar el peso de la asociación de la evaluación con el castigo, la ajenidad, etc.
Las funciones de la evaluación
Existe diversidad de opiniones acerca del sentido y la función de la evaluación en el campo social. En principio podemos identificar un mito, presente en la tradición de evaluación de programas que consiste en su asociación exclusiva con su función instrumental (Tiana Ferrer, A. 1999), es decir con la utilización de los resultados para la orientación en los procesos de toma de decisiones. El mito consiste en la creencia acerca de la relación mecánica entre resultados de la evaluación y toma de decisiones, ignorando que la mayoría de las veces, esta información es un ítem más entre argumentaciones políticas y presupuestarias, por sólo nombrar las más relevantes.
Tiana Ferrer (1997) ha analizado con agudeza la ingenuidad de sostener en el centro de la escena a esta función instrumental como exclusiva. Es más, son frecuentes las críticas que apuntan a caracterizar la escasa incidencia que las evaluaciones han tenido en la toma de decisiones a la que hace referencia el término “instrumental”. En este sentido, las hipótesis que se han esgrimido hasta el presente son:
-
Que las evaluaciones han estado mal diseñadas, por ende es responsabilidad de los evaluadores que no han sabido captar la información relevante y oportuna.
-
Que las evaluaciones se han desarrollado a destiempo. Por ejemplo, cuando los programas ya habían concluido y, por lo tanto no han servido para reorientar las acciones. Esto supone haber tomado esa función, instrumental, como la única posible.
programa cuando se evalúa que es importante que sigan haciendo lo mismo que hasta ahora y de la misma manera que, cuando se decide reorientar las prácticas.
8
-
Que la conducción del programa no se comprometiera activamente en la evaluación y, sea vista o como algo persecutorio o de otra manera, como algo burocrático y formal, como un requisito a cumplir y, por ende, luego, no da valor a sus resultados.
Dicho autor insiste con esta idea: la relación entre evaluación y toma de decisiones es más compleja que lo que cree la concepción instrumental ya que aquello que se obtiene como producto de las evaluaciones es sólo “uno” de los factores que inciden en la toma de decisiones. Es más, la "evidencia empírica" desempeña un lugar secundario y, a veces más que para tomar decisiones se utiliza para justificar decisiones ya tomadas.
Es así que a esta tradicional función instrumental se agrega otra función: la iluminativa que consiste en “iluminar la concepción que una determinada comunidad tiene de una parcela de la realidad (...) aportando información relevante y elementos de reflexión acerca de la misma” (Tiana Ferrer, 1999) La función iluminativa aporta en gran medida a la construcción de cultura evaluativa y abre un campo de acciones que buscan diversos fines:
•
La democratización y accesibilidad a la información, a partir de la incorporación en carácter de “audiencias” 9 de distintos sectores implicados en el desarrollo del programa o sus efectos.
•
La sensibilización de la comunidad acerca de determinados problemas y acerca de la manera en que determinadas organizaciones inciden o intervienen para darles respuesta.
•
La puesta en evidencia de lo ineficaz de algunas prácticas y la eficacia de otras, a partir de la descripción de tecnologías sociales apropiadas y no apropiadas.
Esta concepción supera la idea "cortoplacista", pensada “para un solo usuario” de la visión instrumental. La concepción instrumental y la iluminativa son hoy en día pensadas como complementarias.
En el ejemplo presentado, se espera que el resultado de la evaluación aporte al mejoramiento de ese programa. En este caso, esto se da por sentado debido a que fue planteado por la misma coordinación. Pero ha ocurrido en otros casos que cambios de gestión, cambios en las decisiones políticas o presupuestarias, etc. no permitan su influencia directa. A pesar de ello, si la evaluación ha previsto desde su concepción la función iluminativa, se espera que los resultados de estas experiencias sean conocidos por los equipos que coordinan los aspectos psicológicos en las escuelas o regiones y puedan informarse acerca de la situación de sus alumnos vistos desde otra perspectiva que no sea la escolar. También puede ser útil para que, cuando en otras jurisdicciones o regiones, se proceda a diseñar abordajes comunitarios con los adolescentes se sepa qué maneras de trabajar han sido útiles y en qué condiciones se han desarrollado
9
La cuestión a evaluar
Habiendo analizado algunos de los aspectos que conforman a la evaluación como una práctica socio cultural, es importante realizar algunas breves reflexiones acerca de “aquello” que se evalúa. La pregunta acerca de “qué evaluar” nos introduce en la formas de entender o delimitar el objeto 10 o cuestión a evaluar y, por ende, en el paradigma o perspectiva epistemológica sobre el cual se soporta dicho recorte.
Evaluación y Complejidad
"el pensamiento que aisla y separa tiene que ser reemplazado por el pensamiento que distingue y une. El pensamiento disyuntivo y reductor debe ser reemplazado por un pensamiento complejo, en el sentido original del término complexus: lo que está tejido bien junto." (Morin, 1999).
Al igual que en las demás actividades relacionadas con la producción de información, como por ejemplo, la científica; el planteo epistemológico adquiere singular relevancia en el proceso de evaluación. Aquí se definen, entre otras cosas, las características 11 que se le atribuirán al objeto y sus diversas "lógicas causales", es decir la manera a partir de la cual, los sujetos suponen que acontecen los eventos, fenómenos y procesos relativos a las actividades sociales. Esta perspectiva ontológica y epistemológica, orienta, tanto la presentación de las preguntas iniciales para encarar la evaluación, como su diseño metodológico.
Rolando García (1994) afirmaba que todo objeto tiene al menos un mínimo de complejidad. Pero en sus conferencias suele aclarar que esta característica, sin embargo, no debe considerarlo como inabordable. De lo contrario, se denominaría "complicación". La complejidad, puede y debe ser inteligida, es decir, captada para su comprensión. Impulsa al científico o al evaluador a producir un giro en su manera de entender las entidades que analiza, las relaciones internas de sus componentes y las relaciones que mantiene con otros objetos también complejos con los que comparte ciertos contextos.
Esta inteligibilidad está sostenida en la posibilidad de los sujetos de analizar los fenómenos o procesos sociales, de pensarlos a partir de la identificación de los distintos planos de análisis que los componen y de las particulares relaciones que se establecen entre dichos planos.
9 Todas las personas y grupos que tienen intereses legítimos en algún proceso determinado de la evaluación.
10 No entraremos aquí en la discusión entorno al sujeto-objeto, aunque señalamos que nuestra posición al respecto se inscribe en una perspectiva que podemos denominar dialéctica, por oposición a una visión positivista de dicha relación.
11 Características “ontológicas”, en tanto entidad que es posible de ser analizada.
10
“Casi por definición, los sistemas verdaderamente complejos escapan a una descripción completa y detallada. Cuando hemos de describir algo, el dilema con que nos encontramos es el que existe entre la sencillez, que es uno de los requisitos previos de la comprensión, y la necesidad de tener en cuenta numerosos aspectos de un sistema complejo. (...) Es posible intentar una vía de salida a tal dilema mediante una descripción jerárquica: se describe el sistema mediante una familia de modelos, cada uno de los cuales se ocupe de su comportamiento mirado desde un nivel de abstracción distinto”. (Mesarovic y Macko , 1969)
Es importante, a esta altura, aclarar que el abordaje de la complejidad no se encuentra en directa relación con la extensión, cobertura o alcance del programa que se esté evaluando. En este sentido, por ejemplo, que sean “pocas o numerosas” las instituciones o grupos (escuelas, centros de salud, comunidades o instituciones participantes) que se incorporan como unidades de observación para evaluar un programa, ésto, no determina la complejidad del objeto de estudio o evaluación, sólo define el tamaño del universo y, eventualmente la muestra. La definición ontológica es previa.
Si retornamos al ejemplo que estamos comentando vemos que es posible identificar distintos planos desde los que se podrá encarar este objeto de análisis como complejo: los adolescentes, los equipos técnicos, los equipos docentes, las familias, los centros de salud, los barrios, etc. (ver cuadro 2.-)
Desde un punto de vista epistemológico, Edgar Morin (1997), plantea que "será necesario, finalmente, ver si hay un modo de pensar, o un método, capaz de estar a la altura del desafío de la complejidad. No se trata de retomar la ambición del pensamiento simple de controlar y dominar lo real. Se trata de ejercitarse en un pensamiento capaz de tratar, de dialogar, de negociar con lo real”. En un enfoque que incorpora la complejidad, se trata de superar las formas lineales y planas de pensar:
Lineales, en el sentido de aquellas que siguen la lógica “única causa – único efecto”. Analizar los procesos sociales y, en particular, los programas o proyectos, desde una perspectiva distinta, significa la necesidad de redefinir, -como se señala más adelante-, la lógica causal que los modelos tradicionales de la planificación establecían entre entre inputs y outputs y, entre metas y resultados incorporando también como componente tanto los contextos como los procesos (Stufflebeam,1995). Castro y Chaves, por su parte, plantean al respecto que "en la producción de los impactos de los programas sociales inciden un conjunto de factores, condiciones y relaciones internas y externas al programa que contribuyen a modificar la situación de la población beneficiaria y su contexto" (Castro y Chaves en SIEMPRO - UNESCO 1999).
11
Plana, vista como aquella que piensa que en el abordaje de un fenómeno social hay un único nivel de análisis. Nos detendremos unos párrafos en esta discusión.
La linealidad se vería reflejada en expresiones como las siguientes: “los adolescentes no concurren al centro de salud porque no les importa su salud, porque los padres no les enseñan estas cosas, por ende la única salida sería “educarlos” a ellos y, eventualmente a sus padres”.
El pensamiento plano supone incluir en el análisis un solo nivel: el del adolescente y sus características actuales sin pensar en los contextos en los que se organizó esa propuesta, y también, por otro lado, sin incorporar la indagación acerca de las distintas experiencias que ese grupo ha tenido en su historia en lo referente al cuidado de su salud.
Al pensar las determinaciones o incidencias en términos lineales, generalmente se apela a una representación causal de las relaciones entre ciertos aspectos o condiciones, como operando en un único plano – horizontal -. Sin embargo, al introducir la posibilidad de diversos estratos o planos de análisis lo que aparecía como causalidad abstracta y externa, puede comprenderse como condicionamientos resultantes de un proceso histórico, en cuyo caso es necesario incluir otros niveles del problema o situación a evaluar.
Por ejemplo, otros niveles pueden estar dados por la manera que las instituciones de salud se proponen abordar a esta población, el lugar que tiene la relación entre las distintas instituciones de la comunidad para vincular los diversos temas tratados por distintos sectores, el contexto comunitario, etc.
Juan Samaja (1993) ha contribuido notablemente a hacer posible en el terreno metodológico este desafío al proponer que el objeto de estudio puede ser expresado como un “Sistema de Matrices de Datos”. Cada plano o “nivel de integración” del objeto (en nuestro caso las experiencias de participación, los adolescentes, los equipos, es decir los diferentes planos desde donde podemos mirar el objeto con su complejidad) supone un recorte particular del mismo que, sin embargo, guarda con los otros relaciones constructivas (unos niveles devienen de otros) y regulativas (ciertos niveles actúan como contextos determinantes de los ya formados), en un movimiento de génesis y estructura que permite la integración de los estratos y da entidad al objeto como complejo, reintegra la totalidad.
Lo anterior está ejemplificado en el cuadro Nro. 2 en el que se grafican las relaciones entre los niveles.
Veremos cómo cada una de las acciones que se desarrollan en el centro de salud han sido construidas a partir de la acción de sus miembros, (relaciones constructivas) pero esto no es suficiente para garantizarlas. Es necesario advertir que desde los niveles de integración más altos se ejercen funciones de regulación, de determinación, que nos
12
explican el contexto de ocurrencia de los procesos y fenómenos que estamos analizando (relaciones regulativas).
En definitiva, el abordaje de la complejidad está en estrecha relación con la capacidad del analista de identificar cuáles, entre sus componentes, serán entidades importantes para estudiar, sus conexiones internas y su posible estructuración jerárquica; es decir, el objeto resultará de un fundado “campo de experiencia”.
Para cerrar este tema que presentamos someramente en este texto es importante señalar que el evaluador identifica, -en función de las preguntas centrales que guíen su evaluación y de las dimensiones principales que haya seleccionado- cuál de los planos va a constituirse en nivel central, es decir, “el mirador” desde donde va a observar la realidad. No es la misma la perspectiva que se tiene del problema si nos paramos desde el plano de análisis: adolescentes, que si nos paramos desde el centro de salud. En el primer caso, el centro de salud, o el barrio, serán los contextos relevantes de ese nivel central.
El abordaje de los objetos desde la perspectiva de la complejidad conlleva las discusiones metodológicas vigentes. La oposición cuantitativa-cualitativa como un atributo que describe el tipo de evaluación, pobló en las últimas décadas del siglo XX las discusiones tanto en los círculos ligados a este área como a la investigación en general. Sin embargo, empieza en los ’90 a perder potencia.
La asociación de “lo cuantitativo” a lo “objetivo”, estuvo soportada sobre la medición – a través del análisis estadístico de la información - y la experimentalidad – a partir del control de las variables y sus relaciones – como garantías de confiabilidad y validez de los resultados.
Por su parte, “lo cualitativo”, aparecía asociado a lo “subjetivo”, reconociéndose en esta posición, su capacidad heurística para comprender o analizar procesos, y tramas profundas.
Hoy, asumir ambas perspectivas como paradigmas opuestos, supone necesariamente tomar partido en una paradoja que no es tal 12. Sí, reconocerlas como formas diversas de producir y/o analizar información, acorde a las necesidades de la cuestión a evaluar. Es posible, incluso hacerlas “dialogar” – triangulando información, en lugar de oponerlas. La combinación entre distintas tipologías de información permite configurar el "objeto" analizándolo desde una perspectiva multidimensional. Esto nos lleva a la cuestión de qué aspectos del programa o proyecto van a ser objetos de evaluación . "Se trata más bien de reflexionar acerca de su utilidad y de los beneficios y costos de integrarlos en el diseño evaluativo que se plantee. ( ) esta combinación permite la consecución de objetivos múltiples atendiendo tanto a los procesos como a los resultados del programa, enriquece los hallazgos evaluativos...." (Nirenberg y otros, 2000).
12 Véase un desarrollo exhaustivo de los modelos de complementariedad cuali-cuanti en Bericat, E. (1998).
13
Por último, podremos referir que, la perspectiva de la complejidad no introduce demasiadas novedades en el uso de cada técnica en particular (de muestreo, de diseño de instrumentos, de identificación y uso de fuentes) sino, en cómo la información derivada de las mismas, es seleccionada, relacionada. En este sentido, las diversas técnicas se combinan de una manera apropiada, considerándose complementarias en la medida en que permiten, tanto relevar distintos planos o aspectos del objeto, como observar los mismos aspectos desde distintas perspectivas.
Tipos de evaluación o formas de delimitar la cuestión a evaluar
Son diversas las formas en que se agrupan las perspectivas de evaluación. Una de ellas las divide según sus fines u objetivos:
a.- Evaluaciones de Metas o Resultados
b.- Evaluaciones de Impacto
c.- Evaluaciones de Procesos
Cada una de las anteriores responde a objetivos diferentes y también abre preguntas o plantea problemas distintos:
a.- Las evaluaciones de Metas o Resultados ponen en relación al planteamiento inicial de los objetivos y sus metas con el cumplimiento efectivo de los mismos. Es decir, pone en relación al programa consigo mismo, en un tiempo 1 y en un tiempo 2. Un tipo de evaluación ineludible en cualquier intervención.
Algunos autores consideran que la mayor dificultad en este tipo de evaluaciones está en que gran parte de los proyectos no poseen desde el inicio metas claras y explícitas. En general, suelen tener propósitos u objetivos definidos, pero no se ha llegado al nivel de definición de metas, por lo que se ven dificultados niveles de precisión mínimos en la evaluación.
Otro límite de la evaluación de resultados es que se centra fundamentalmente en el cumplimiento de las acciones planificadas, sin hacer foco en las modificaciones operadas en el problema y la población atendida. Puede darse el caso de que todas las acciones del proyecto se hubieran concretado pero, sin embargo, por errores de planificación, de estrategia o de gestión, aquellos cambios esperados en la población no se vean efectivizados. Es decir, que las acciones se hayan
14
cumplido; no supone, necesariamente, que los cambios esperados en la población hayan tenido lugar. En este sentido, es que la evaluación de resultados debe ser complementada con la de impacto.
En definitiva, volviendo al ejemplo .- podemos saber que se han cumplido todas las acciones planteadas por el programa: difusión de información, convocatoria, trabajo con clubes e iglesias, tal como lo planteaban sus objetivos iniciales. Pero esto, ¿ha traído aparejado, concretamente, una mejora sensible en la accesibilidad al sistema de salud por parte de los adolescentes? Han cambiado las percepciones de salud, han ido en el último período de tiempo a alguna consulta, se verifica un aumento en la consulta adolescente? Estas últimas dos preguntas nos introducen en el siguiente tipo de evaluación.
b.- Las evaluaciones de Impacto, por su parte, analizan los cambios que son posibles de observar en la población destinataria del proyecto a partir de las acciones de éste.
El hecho de que la población haya cambiado de situación respecto al problema, no quiere necesariamente decir que se deba estrictamente a las acciones del proyecto. Según el tipo de práctica social en la que estemos insertos es posible que distintos proyectos, programas o acciones aisladas converjan a modificar la situación.
La evaluación del impacto permite conocer entonces, “en qué medida se alcanzaron o no los objetivos propuestos, qué cambios se han producido en la población objetivo y cuáles son sus efectos secundarios”
El análisis de las definiciones de la evaluación de impacto arroja la necesidad de destacar dos dimensiones del problema que, aunque en algunas propuestas teóricas aparecen relacionadas, no mantienen una asociación necesaria.
Nos referimos, por un lado, al interés de la evaluación del impacto, en términos de los cambios que se observen en la población destinataria en torno al/los problemas por los que se desarrolló el proyecto; es decir, a la evaluación de “en cuánto” o “cómo” se modificó el problema. Por el otro, se habla del impacto neto; es decir, encontrar la manera de saber si esas modificaciones son "estrictamente" resultado de las acciones del proyecto y no de otras.
Una de las dificultades que plantea este aspecto de la evaluación es que requiere conocer cabalmente, o, al menos, a partir de indicadores semejantes, la situación inicial (llamada “línea de base”) en que se encontraba la población objetivo antes de la implementación del programa, para poder ser comparada con la situación actual (o estado final) – luego de que dicho programa se ha implementado -. Esto no resulta de fácil aplicación en el caso de problemas sociales, por diversas razones entre las que podemos nombrar:
15
•
como ya anticipamos, la complejidad de los problemas que se abordan no siempre permite controlar – es decir, aislar y ponderar – el peso de una gran cantidad de variables que definen las prácticas sociales, debido a sus múltiples intercurrencias. La convergencia de varios programas paralelos con impacto también en la misma población y, en ocasiones, sobre el mismo problema, no siempre permite aislar, como adelantáramos, el peso de estas acciones, respecto de otras.
•
la escasa sistematización de la información secundaria a nivel nacional y/o provincial, atenta contra comparaciones retrospectivas de largo plazo.
Sulbrandt (1993) afirma que este tipo de evaluación es útil cuando: a.- interesa conocer qué logros se están obteniendo con un programa; b.- se quieren poner a prueba nuevas estrategias para resolver una situación-problema; c.- se pretende comparar programas diversos, que poseen objetivos semejantes.
Si bien existen diferentes diseños para hacer posible dicha comparación: “modelo antes-después”, “series temporales” , “modelo sólo después con Grupo de Comparación” 13; los primeros requieren necesariamente de un conocimiento previo sobre el problema, “medible” desde indicadores semejantes; mientras que el tercer modelo plantea dificultades de índole ética difíciles de excluir, ya que supone la existencia de un grupo poblacional semejante al que no se le aplica el programa – aunque, en rigor, lo necesita igual que el grupo destinatario del proyecto -.
c.- Las evaluaciones de Procesos suponen especificar la secuencia de pasos y relaciones entre los insumos y los productos del programa. Intenta realizar una descripción de las tecnologías sociales que se han elaborado para alcanzar los productos.
Según Sulbrandt (1993) uno de los aspectos críticos de este tipo de evaluación reside en que los procesos que se evalúan, en general, se asocian más con aspectos técnico-instrumentales del programa que con aspectos organizacionales, sociales o culturales ligados al mismo.
El autor citado introduce la noción de "modelo integral" para la evaluación de programas sociales con la intención de superar la lógica lineal y posibilitar la incorporación de dispositivos de evaluación capaces de trabajar con proyectos que se han desempeñado con metas dinámicas y que
16
se enriquecen con el tiempo, recuperando los procesos como logros específicos de las acciones desarrolladas.
En el caso del programa analizado sería interesante sistematizar y difundir un dispositivo que se ha creado a partir de las acciones del programa y que ha servido para llegar a cada vez más adolescentes con información. Era un taller de radio armado en el que participaban adolescentes que a su vez, invitaban a otros adolescentes a armar notas, reportajes, etc. sobre problemas de salud.
En el mismo sentido, una publicación conjunta UNESCO - SIEMPRO (1999) refuerza estas ideas cuando, en el marco de una advertencia respecto del uso acrítico de las evaluaciones de impacto en este tipo de programas, considera que "...la utilización de relaciones causales solamente puede resultar en encadenamientos lineales y mecánicos capaces de hacer perder de vista la incidencia de factores del contexto, lo que llevaría a imputar al programa, impactos que no se derivan exclusivamente de su ejecución".
Incorporar a la descripción no sólo la lógica de los resultados, sino la de las acciones que posibilitaron llegar a los mismos: esto es, los procesos, permite distinguir qué experiencias son interesantes de repetir, y qué estrategias deben modificarse, en qué condiciones es que se han logrado los mayores impactos, etc. De manera contraria, opera la perspectiva de los inputs y outputs, sin posibilitades de "abrir la famosa caja negra".
Desde la perspectiva de la evaluación de programas en el campo socio - educativo, Stufflebeam (1995) aportó un modelo que ha intentado en su momento recuperar las bondades de otras propuestas existentes.
En principio, destaca la necesidad de incluir sistemáticamente la evaluación del contexto: incluyendo la población objeto, la valoración de las necesidades de la población y relacionarlas con los objetivos que el programa plantea. Permite delimitar el marco de implementación del proyecto.
La evaluación de entrada se asemeja a lo que en otros modelos de evaluación se hace referencia con estudios de pre o factibilidad, es decir, analizar las alternativas comparando, inclusive distintas propuestas.
La evaluación del proceso que apunta a perfeccionar la planificación y los procedimientos del programa. La misma según el autor "es una fuente de información vital para interpretar los resultados de la evaluación del producto”
17
La evaluación del producto determina hasta qué punto se han satisfecho las necesidades del grupo atendido. También “debe ocuparse ampliamente de los efectos del programa, deseados y no deseados “
Diversos criterios de evaluación/valoración
Como ya anticipamos, la evaluación supone emitir juicios valorativos, fruto de la comparación, por una parte, con un parámetro (deseable, previsto), comparación contra estándares; y, por otra, con uno mismo, en el tiempo.
Se podrían resumir estas diversas formas de comparación con la siguiente nomenclatura: a.- criterio normativo, para referirnos a la comparación entre lo propuesto o esperado y lo logrado o alcanzado; b.- criterio sincrónico, en cuyo caso la comparación es entre lo alcanzado y lo que han alcanzado otras entidades comparables, o bien, c.- criterio diacrónico, relativo a la comparación entre un antes y un después, es decir, el mismo objeto a lo largo del tiempo, analizando su avance en relación a un punto de partida singular.
Veamos esto en el ejemplo citado:
Criterio normativo: desde organismos internacionales se espera que para este tipo de poblaciones la tasa de consulta de los adolescentes en centros de salud se estima en un X % en relación a la de la población adulta e infantil.
Criterio sincrónico: la tasas de consulta de éste centro de salud está por encima o por debajo de la media de los centros de salud que participan del programa. O la tasa de consulta de este programa jurisdiccional está muy por debajo de la otra jurisdicción con realidades socio- económicas y culturales semejantes.
Criterio diacrónico: Se esperaba aumentar las consultas de salud en un “x” % en relación al punto de inicio del programa.
Es deseable que este último criterio tranversalice los procesos de evaluación; aunque sólo se puede implementar efectivamente en aquellos casos en los que ha sido factible la obtención de datos previos, es el antes y el después.
En este sentido, la evaluación incluye una dimensión temporal en la medida que implica la comparación de determinada situación entre, al menos, dos momentos o tiempos. En la evaluación de programas sociales se supone que entre esos momentos intervino una acción o conjunto de acciones que son las que se quieren medir.
18
Ahora bien, existen muchas formas de incluir el Antes y el Después. En múltiples ocasiones, los datos tomados globalmente, como conjuntos resumidos mediante algún indicador que agrupa su desempeño en un cierto tiempo, puede llevar a falsos resultados. Por eso las estadísticas globales, los promedios, no alcanzan como medidas de evaluación. Se pueden estar promediando situaciones muy extremas y no permitir una riqueza en el análisis de, por ejemplo, para qué tipo de poblaciones, situaciones, etc. sirve este programa, y para cuáles no. ¿por ejemplo, impacta más entre los sujetos, instituciones, grupos que comenzaron más desfavorecidos o, entre los que ya tenían otras capacidades?
Un criterio subsidiario al anterior consiste en que la mirada del antes y el después tenga en cuenta el punto de partida (el Antes) pero de cada quién y no del conjunto global. Volcado esto a la evaluación de un proyecto cualquiera, lo que para unos no significa un avance, para otros puede ser un éxito del proyecto. Entonces, se torna relevante la valoración de los alcances que ha tenido el proyecto no en términos absolutos sino en términos relativos a cada situación.14
Sugerencias para mejorar los procesos de evaluación
•
Superar la falsa dicotomía entre autoevaluación y evaluación externa. Es posible encontrar, como proponen Niremberg y otros (2000), formas de hacer participar a los actores que conforman el programa o proyecto junto a agentes externos al mismo, bajo un modelo de evaluación mixta.
•
Incluir información proveniente de distintos actores, sin minimizar los saberes profesionales. Existe una gama de posibilidades para hacer intervenir las “voces” de los diversos actores que componen un programa. Desde que constituyan fuentes de información, hasta que participen en el diseño e interpretación de la información (evaluación participativa). (ver cuadro Nro. 3 al final del capítulo). Cuando ésto no está presente, quedan excluidos los aspectos valorativos, motivacionales, culturales que se encuentran presentes en las actitudes y estrategias que desarrollan los actores beneficiarios para el aprovechamiento de los productos del programa. Entre otras cosas, esto se asocia a una construcción ontológica del beneficiario como un actor abstracto y uniforme. Ahora bien, la inclusión o exclusión de las perspectivas de los actores en las evaluaciones también tiene su contracara. Mientras que en un extremo opinan que las percepciones de los diversos actores representan "la verdad" (modelo empirista ingenuo de análisis de la realidad social), el otro extremo
19
propone no incluirlas pensando que no operan ni como medios ni como resultados en la comprensión, apropiación, y uso de las acciones que implementan los programas.
•
Asumir el carácter permanente y sistemático de la evaluación. No sólo en la perspectiva de monitoreo de acciones, sino de evaluación de procesos. Otorgando a la evaluación un lugar paralelo y en intersección con la implementación y no sólo como un momento inicial o final de un programa.
•
Inscribirla en un proceso de aprendizaje institucional. La evaluación busca también analizar si el desarrollo del programa ha favorecido el mejoramiento de las capacidades preexistentes generando aprendizajes efectivos. Se torna necesario que la evaluación no tenga sólo fines de control de gestión, sino también redunde en conocimiento comunicable entre los actores involucrados, de manera tal que se transforme en una herramienta de monitoreo permanente, con contenido significativo para sus prácticas cotidianas.
“La evaluación del futuro estará destinada, más que a controlar y castigar, a permitir un aprendizaje a partir de errores, omisiones y dificultades encontradas en la ejecución de las políticas y programas” (Sulbrandt, op.cit., pág. 346)
La institucionalización de la evaluación en todos los niveles implicados en un programa debe dejar de ser un horizonte lejano, para formar parte de la propia implementación del mismo.
•
Generar información relevante; orientada a los beneficiarios. Esto requiere del reconocimiento de audiencias diversas, de sus intereses y relaciones; así como de la difusión de los resultados.
Cuesta superar el momento en el que toda información parece ser necesaria y relevante. Pero, es posible establecer la relevancia en la medida que no se pierdan de vista los objetivos del programa, los fines de la evaluación y las audiencias a las que la misma está dirigida.
•
Es importante que la evaluación incluya los resultados; es importante saber si el programa ha sido exitoso. Pero es igualmente importante conocer los procesos; los
14 Este criterio se trata de aplicar en todos los casos en los que ha sido factible obtener información confiable de la
20
aspectos que lo favorecieron, para poder reproducirlos análogamente en otros programas o en otra población, así como los que lo obstaculizaron, para buscar alternativas a los mismos.
•
Reproducir – en lo posible - la complejidad de la situación a evaluar a partir del reconocimiento de los niveles presentes. Resulta poco rico, analizar objetos complejos desde la perspectiva de modelos lineales y deterministas. Sulbrandt afirma:
“No se trata de preguntarse sólo por el qué se ha logrado, sino también por el cómo y por qué se han logrado los resultados obtenidos” (op.cit., pág. 336)
•
En directa relación con el punto anterior, es recomendable la utilización de múltiples herramientas complementarias de evaluación. Esto requiere un equilibrio entre información cuali y cuantitativa.
Nuestra concepción de evaluación no descarta los números ni las representaciones y valoraciones. Decide ponerlas en confrontación para ver si nos dicen lo mismo o algo distinto de la realidad. Lo distinto, en este sentido, puede ser contrapuesto, o puede ser complementario. Lo contrapuesto no entendido como un error, sino como una descripción que quizás permita entender varios actos, interpretar conductas y procesos de la cultura de las comunidades, instituciones, etc.
•
Combinar la mirada panorámica con la mirada microscópica
La panorámica permite describir las tendencias básicas de las implementación de los programas, aparecen las recurrencias más típicas, las modalidades más frecuentes, las innovaciones y obstáculos más importantes.
La mirada microscópica, permite observar esas tendencias transcurriendo, en proceso, en cada caso.
“Resultados obtenidos:
La escuela media n° “XX” ha recibido hace tres años una cantidad importante de textos de diversos tipos para equipar y actualizar la biblioteca institucional. También ha recibido un conjunto de documentos que trasmiten propuestas de trabajo para gestionar y estimular el uso de los textos.
situación al ingreso.
21
En la actualidad, esta escuela tiene un índice de préstamos a domicilio de su biblioteca institucional que se encuentra levemente por encima de la media nacional pero, por debajo de la media provincial.
Cualquiera de las dos cifras son bajas si se compara con lo que se establece como parámetro externo, es decir desde las autoridades académicas de referencia fruto de investigaciones realizadas a nivel de toda Latinoamérica.
El director de esa escuela se muestra disgustado con el nivel de préstamos. "Los chicos no leen lo suficiente, con la biblioteca que tienen... Usan los libros fundamentalmente para trabajar en las clases. En época de exámenes se nota un aumento de los chicos que se llevan los libros a casa. Ahora, lo que es cierto, sacan muchísimos más libros que los chicos del colegio de la otra cuadra, según me contaba su directora el otro día en una reunión de distrito".
La vicedirectora sostiene que ha habido un avance notable en el uso de los libros y en la utilización del sistema de préstamos a domicilio. "Hace algunos años, eran contadas con los dedos de las manos las ocasiones que los chicos lo utilizaban, ahora no estamos en la situación ideal pero, avanzamos mucho. El hecho que haya más libros y más actualizados ha ayudado mucho."
La bibliotecaria dice que no da abasto, que trabaja todo el tiempo y vive corriendo a los alumnos para que devuelvan los libros y que lo hagan en buen estado. "En la escuela que yo estaba antes, los alumnos ni pasaban por la biblioteca. Acá yo veo que se quieren llevar los libros, siempre me vienen a buscar para que abra la biblioteca".
La profesora de Lengua y Literatura comenta que existe un desaprovechamiento de la biblioteca por parte de los alumnos. Cuando ella estudiaba, era otra cosa, había más amor por la literatura. "Ahora todo es la computación y la televisión. Yo no veo que se lleven muchos libros de la biblioteca".
Un grupo de alumnos plantea que "leen un montón para las materias, pero no en las casas porque no tienen tiempo". Algunos trabajan, otros cuidan a sus hermanos, o sino, deben hacer las ejercitaciones diarias para cumplir con las materias. Aunque aclaran que la biblioteca tiene muy lindos y buenos libros y que no los sacan mucho de la misma para llevarlos a casa.
Etc....etc....etc...
En función de estos resultados, los investigadores concluimos...”
22
Bibliografia
Alvira Martín, (1996) Metodología de la evaluación de programas. Cuadernos Metodológicos. Centro de Investigaciones Sociológicas. Madrid.
BID – EVO (1997) Evaluación: una herramienta de gestión para mejorar el desempeño de los proyectos. Oficina de evaluación – EVO-BID.
Bericat, E. (1998) La integración de los métodos cuantitativo y cualitativo en la investigación social. Significado y medida. Ed. Ariel. Sociología. Barcelona.
CEPAL, (1999) Metodología para el análisis de la gestión de Programas Sociales. Serie Políticas Sociales Nro. 25. pág 61 y ss
Cohen E. y Franco R. (1997) Evaluación de proyectos sociales. Siglo veintiuno editores. 4ª. edición. México
Mesarovic y Macko, (1969). Fundamentos de una teoría científica de los sistemas jerárquicos. En “Las estructuras jerárquicas”. L. Whyte et al (eds), American Elsevier, New York, E.E.U.U.
Morin, Edgard. (1997) Introducción al pensamiento complejo. Gedisa Editorial. España
Nirenberg, O., Brawerman J., Ruiz, V. (2000) Evaluar para la transformación. Innovaciones en la evaluación de programas y proyectos sociales. Paidós, Buenos Aires.
Pichardo Muñiz, A. (1993) Evaluación del Impacto Social. Ed. Humanitas. Buenos Aires
Samaja, Juan. (1993) Epistemología y Metodología. Elementos para una teoría de la investigación científica. Parte III. Eudeba, Bs. As.
Santos Guerra, Miguel
•
(1995) La evaluación: un proceso de diálogo, comprensión y mejora. Ediciones Aljibe.
•
(1990) Hacer visible lo cotidiano. Teoría y práctica de la evaluación cualitativa de los centros escolares. Akal Universitaria, Madrid.
Siempro-Unesco (1999) Gestión integral de Programas sociales orientada a Resultados. Fondo de Cultura Económica, México.
Stufflebeam, D. y Shinkfield, A. (1995) Evaluación sistemática. Guía teórica y práctica. Ediciones Paidós. Barcelona
Sulbrandt,J. (1993) La evaluación de los programas sociales. Una perspectiva crítica de los modelos usuales. En “Pobreza, un tema impostergable”. Bernardo Klisberg (compilador). CLAD-FCE-PNUD.
Tiana Ferrer, A. (1997) Tratamiento y usos de la información en evaluación. En Serie Documentos - Vol. 1. - Programa Evaluación de la Calidad de la Educación. Cumbre Iberoamericana. Bs. As.
