Esto se comprueba al más mínimo análisis de las propuestas y actuaciones que se suelen promover amparadas en este tipo de términos. Normalmente no pasan de acciones anecdóticas, que en ningún caso merecen el lugar de privilegio que se les presta en el discurso. A veces, ni tan siquiera significan variaciones respecto a lo que se venía haciendo o propugnando con anterioridad a la aparición de tales engendros.
Pues volvemos con la evaluación. Hoy se utiliza como “palabra-sortilegio” en el diseño de las políticas públicas, habitualmente acompañada de la “transparencia”. No hay plan ni proyecto que no contemple la evaluación, con la opinión que ésta me suscita y que ya he adelantado.
Sin embargo la evaluación cuenta con toda una trayectoria de reflexión teórica, sobre todo en el ámbito de la educación. No es que la cosa mejore cuando la evaluación se practica en este campo. También se ha hecho de todo en su nombre: con ella se ha cuantificado, medido la “aptitud” de la gente, se ha determinado si se alcanzaron unos objetivos previos, se ha valorado si los objetivos eran los adecuados a otros fines más generales… El caso es que al menos ha logrado producir reflexiones útiles, o al menos de mayor interés que la literatura de la evaluación usada por las administraciones y los teóricos de la planificación.
Hace años que encontré un libro sobre evaluación, escrito desde el ámbito de la educación, por dos autores “constructivistas”. Creo que nunca fue editado en español, Fourth Generation Evaluation, de GUBA & LINCOLN (Sage, 1989). Aún no he encontrado un libro de los muchos que pretenden enseñar “cómo se hace un proyecto” que incorpore la evaluación vista con estas intuiciones tan claras y evidentes. Ni siquiera cuando se trata de incorporar la evaluación desde perspectivas participativas. Quiero reproducir lo que considero que son las principales aportaciones de este libro.
En primer lugar, habría que revisar el concepto mismo de evaluación:
• Una evaluación es una construcción. Los resultados de la evaluación no son descripciones de “cómo son las cosas”, o de “cómo funcionan”, o su “verdadero estado”. Representan construcciones significativas que agentes individuales o grupos de agentes crean para “darle sentido” a las situaciones en las que se encuentran. Sus descubrimientos no son, en última instancia, “hechos”, sino “creaciones” de un proceso interactivo que incluye al evaluador, así como a las muchas partes que la evaluación pone en riesgo de alguna manera.
• Toma forma con arreglo a los valores de quienes la construyen. Las construcciones con las cuales la gente le da sentido a las situaciones que viven en gran medida se configuran según los valores de quienes las construyen. Desde el momento en que las sociedades son plurales en valores, las preguntas “¿de quién son los valores que van a ser tenidos en cuenta?” y “¿cómo van a tener cabida las diferentes posiciones?” se vuelve primordial. Una metodología que se arrogue ser neutral probablemente será de poca utilidad en tales casos.
• Da sentido en un contexto. Estas construcciones están inseparablemente ligadas a los contextos físicos, psicológicos, sociales y culturales particulares en los cuales se forman y a los cuales tratan de dar sentido. Ninguna de ellas puede ser considerada “verdadera” en un sentido absoluto, ni siquiera una aproximación a la verdad.
• Tiene la capacidad de emancipar u oprimir. Las evaluaciones pueden configurarse tanto para emancipar como para oprimir a las partes implicadas de diversas maneras. No debe sorprender que las evaluaciones tiendan a revelar la ineficacia y la mala gestión de cualquier colectivo salvo la del cliente, o que se dé prioridad a los objetivos del cliente por encima de los de otras partes implicadas. Las diferentes partes implicadas pueden ser “empoderadas” o “desempoderadas” mediante la comunicación selectiva de los hallazgos de la evaluación. Si los clientes tienen la última palabra sobre si la información se hará pública, a quién, cuándo, y con qué medios, el proceso está claramente sesgado hacia el mantenimiento e incluso el aumento del poder de aquéllos que ya lo tienen, mientras se priva a los relativamente sin-poder incluso del poco que tienen.
• Su validez para la acción depende de su capacidad de establecer espacios de negociación. La evaluación debe tener una orientación a la acción que defina cursos que seguir, estimule a las partes implicadas a seguirlos, y genere y preserve el compromiso de las mismas a hacerlo. Los científicos “puros” parecen inclinados a delegar el seguimiento, el aspecto aplicado de la evaluación, a otros. Muy a menudo, el “producto” evaluación es una relación de recomendaciones que encaja únicamente con los propósitos del evaluador y el cliente, dedica poca atención a los intereses legítimos de otras partes implicadas, demuestra falta de preocupación por las cuestiones y temas planteados por otros grupos, y refleja sólo uno (el suyo) de los múltiples esquemas de valores inherentes a la situación. Si hay un curso de acción con el que la mayor parte de las partes implicadas pueden estar de acuerdo, a éste sólo puede llegarse a través de la negociación, que respete los distintos esquemas de valores y haga posible a los individuos encontrar una razón para apoyarlo. Si esa es la meta que conseguir, el evaluador debe desempeñar un papel mucho mayor que simplemente el de técnico recolector de información; en su lugar, debe ser quien orqueste el proceso de negociación, que en el análisis final es el meollo de la evaluación.
A partir de aquí, GUBA & LINCOLN identifican lo que consideran problemas persistentes de la evaluación:
Aquí se entiende por gestores normalmente a los clientes o patrocinadores que encargan o financian una evaluación, así como el personal al mando a cuyo planteamiento el evaluador se adhiere respecto al establecimiento de parámetros y límites del estudio, y a quien informa. Esta relación entre gestores y evaluadores rara vez se desafía, aunque conlleva un buen número de consecuencias indeseables:
El gestor, en la práctica, sale ileso. En tanto el gestor permanece fuera de la evaluación, sus cualidades y prácticas gerenciales no pueden ponerse en cuestión, ni puede ser obligado a rendir cuentas de lo que los evaluados producen o dejan de producir.
La relación habitual entre gestor y evaluador es injusta y desempodera. El gestor tiene el poder último de decidir qué cuestiones debe indagar la evaluación, cómo van a recogerse las respuestas, cómo van a ser interpretadas, y a quién se van a difundir los hallazgos. Esto desempodera a las partes implicadas, que pueden tener otras preguntas que ser contestadas, otra forma de preguntarlas y otra interpretación que hacer de ellas. Como resultado de la evaluación, el gestor es elevado a una posición de gran poder.
La relación habitual entre gestor y evaluador es opresora. Con frecuencia el gestor se reserva contractualmente el derecho a decidir si los hallazgos de la evaluación van a ser difundidos, y si lo son, a quién. Las partes implicadas que permanecen al margen de los hallazgos son, en la práctica, privados de la posibilidad de tomar cualquier acción que los hallazgos de la investigación pudieran haberles sugerido, incluyendo, en particular, la defensa de sus propios intereses. Al privárseles de la información se les niegan sus derechos.
La relación habitual entre gestor y evaluador tiende a ser una relación cómoda. Hay ventajas obvias para que exista connivencia entre ambos. Por parte del gestor, una evaluación conducida de manera que quede indemne, a la vez que desempodere y oprima a posibles rivales es claramente preferible a una que le pida cuentas y haga posible a sus rivales asumir cierto poder. Por parte del evaluador, una evaluación realizada de modo que obtenga la aprobación del gestor propicia nuevos contratos y asegura una fuente de ingresos.
2. Fallo en la incorporación del pluralismo axiológico
La ciencia no es neutra, ni la metodología puede asegurar la objetividad, en tanto que los mismos “hechos” son determinados desde el sistema de valores del evaluador. La pregunta “de quién son los valores que dominan en una evaluación” o “cómo se negocian las diferencias de valores” se convierte en el principal problema.
3. Excesivo compromiso con un paradigma “científico” de investigación
Descontextualización. Consiste en analizar al evaluado como si este no existiera en un contexto, sino únicamente bajo las fuerzas de las condiciones cuidadosamente controladas por el diseño de investigación aplicado. Estas condiciones se instituyen con la esperanza de que los factores locales irrelevantes pueden dejarse de lado, y obtener así resultados generalizables. Esta es una de las razones por las que las evaluaciones resultan irrelevantes a nivel local.
Dependencia excesiva de la cuantificación. “Deriva instrumental”: los instrumentos, creados como operacionalizaciones de las variables científicas, tienden a cobrar vida propia y a convertirse en las propias variables. De ahí se derivan razonamientos del tipo “lo que no es medible no es real”.
Poder de coerción de la verdad. La verdad es innegociable. Como evaluadores que utilizamos el método científico, aseguramos a nuestros clientes que la propia naturaleza nos ha suministrado los datos que nosotros presentamos. No cabe opinar ni denegar su validez. Como resultado, todo lo que se evalúa con una evaluación positivista (científico) queda certificado como “lo que debe hacerse”.
Exclusión de otras formas de pensar sobre los evaluados
Irresponsabilidad del evaluador. Libre de responsabilidad moral por sus acciones. Nadie puede ser acusado de decir la verdad. El evaluador no puede controlar cómo se utilizan los resultados de una evaluación, ni tiene responsabilidad sobre el seguimiento del programa. Su responsabilidad termina cuando entrega el informe.
En este punto cabría una reflexión dentro de los procesos participativos: ¿Para qué evaluamos? Un problema que tenemos los técnicos de este tipo de procesos es que siempre que hablamos de evaluar, lo hacemos en términos de validar nuestros objetivos: el proceso es finalista. Utilizamos la evaluación de forma unidireccional, o lo que es lo mismo, utilizamos la evaluación como validación o legitimación de unos pocos (aunque seamos nosotros). Los objetivos (nuestros), el proceso (¿nuestro?), no son cuestionables, siempre falla la gente o las condiciones... En este sentido la evaluación tiende a justificar el propio proceso. Esto contradice los principios que estamos difundiendo, por ejemplo, desde los presupuestos participativos.
Lo que se impone, en estos casos, es tomar opción: la evaluación tiene que ser coherente con estos principios, por lo que se necesita abrir el camino a evaluaciones participativas. Algunos apuntes para esta reflexión :
- Existen unos principios de actuación a favor de la construcción colectiva de proyectos sociales autónomos
- Se asumen diferentes realidades y se potencian diferentes juicios
- No sólo el comportamiento de las variables (“apto o no apto”); ni los objetivos de la acción (“¿se está haciendo lo correcto para llegar a donde queremos que se llegue?”). Las participaciones también son problemáticas (“¿Estoy/estamos siendo manipulados?” “¿Me involucro? ¿Y cómo?”).
- Favorecer que todas las partes puedan (quieran, sepan) elaborar y valorar las categorías que les sean significativas en su toma de decisiones respecto del proceso
- Construcción colectiva (información nuestra)
- Cuantificación, cualificación, intuición… Cada grupo debe validar de una forma. …Y decisión.
- El diseño se hace desde los sujetos en todo el proceso. Relaciones sujeto – sujeto.
- Asimetría táctica/Simetría estratégica.
