¿Impacto de la divulgación? ¿Qué impacto?

Una contestación a Pere Estupinyà

Impacte-divulgacio-Naukas-Bilbao_portada
 Impacte-divulgacio-Naukas-Bilbao_portada
Xurxo Mariño
Juan Ignacio Pérez Iglesias durante su intervención en Naukas Bilbao 2015.
Hace unas semanas se publicó en la web de Mètode «Estamos haciendo divulgación acientífica», un artículo de Pere Estupinyà aparecido previamente en el número 86 de la revista. En el texto cuestionaba la práctica de las instituciones que realizan divulgación científica o que la financian, pero que lo hacen sin evaluar su impacto. Según él, «el gran reto de la divulgación científica es hacer evaluaciones de impacto de los proyectos para discernir los que funcionan de los que no» y «a las entidades que financian proyectos [no les queda más remedio que] exigir que sean evaluables», por citar las dos frases que mejor condensan su planteamiento. Ya en su momento y mediante un intercambio en Twitter le manifesté mi desacuerdo con el contenido de su artículo y me comprometí a redactar una respuesta.

Mi principal objeción es que no está claro a qué se refiere cuando habla de evaluar el impacto de las actividades de divulgación. Todas las políticas públicas (planes, programas o proyectos) que se llevan adelante tienen unos objetivos, se formulen éstos de forma explícita o no. Y las instituciones se preocupan cada vez más de evaluar el impacto de sus actividades, el grado en que cumplen los objetivos de lo que hacen. Si he entendido bien los argumentos de Pere Estupinyà, esa misma lógica le es de aplicación a la divulgación apoyada por instituciones, como es el caso, sin ir más lejos, de la que promueve o realiza la Cátedra de Cultura Científica (UPV/EHU) que coordino.

Lo ideal sería que pudiera medirse con rigor el grado de cumplimiento de los objetivos de las políticas públicas, evaluando la medida en que las correspondientes actuaciones alcanzan los objetivos últimos para los que fueron diseñadas. Veamos esto con un ejemplo. Se supone que el objetivo de las inversiones en vías y trenes de alta velocidad es facilitar la movilidad de las personas para, de esa forma, prestar un buen servicio público de transporte y generar condiciones que faciliten la actividad económica y contribuyan a mejorar la vida de la gente que vive en el área de influencia de las infraestructuras en cuestión. En última instancia, la población que corre con el gasto necesario para hacer esa inversión, en su conjunto, debería salir beneficiada. ¿Es posible evaluar en qué medida se cumple ese objetivo? Creo que, en rigor, no lo es. Si tenemos en cuenta todos los factores que pueden incidir en la actividad económica y el bienestar de los ciudadanos afectados por las inversiones en grandes infraestructuras, dudo que sea posible determinar si esas inversiones surten los efectos buscados o no. Cuando se ha estimado el impacto económico a corto plazo de las inversiones en trenes de alta velocidad en España, los resultados han sido descorazonadores. Sin embargo, sigue habiendo defensores del tren de alta velocidad que sostienen, probablemente no sin razón, que esos impactos no pueden medirse a corto plazo, ya que no somos capaces de calibrar cómo sería la España de dentro de 50 años con y sin esas inversiones. Por ello, la opción por una posición conservadora podría resultar suicida. En otras palabras, defienden que ciertas decisiones han de ser tomadas asumiendo un cierto riesgo, pero que han de basarse en la suposición de que determinadas hipótesis acerca del futuro del transporte de pasajeros de superficie son correctas.

Si nos vamos al terreno de la educación nos encontraremos con dilemas similares. Aunque en este caso se puede disponer de ciertos indicadores en plazos de tiempo relativamente cortos, no debemos engañarnos: los resultados que se derivarían de seguir unas u otras prácticas educativas son muy dependientes de determinadas condiciones del entorno socioeconómico y cultural. Lo que en un entorno puede dar muy buen resultado puede ser nefasto en otros. Y en ningún caso sería posible atribuir los resultados, con suficiente grado de certeza, a unas determinadas prácticas pedagógicas, programas de estudios o inversiones.

 

«Las instituciones se preocupan cada vez más de evaluar el impacto de sus actividades,
el grado en que cumplen los objetivos de lo que hacen»

Impacte-divulgacio-Laika
RTVE
Imagen del programa Òrbita Laika.
 

 

«La evaluación siempre aporta información útil, pero hay que
ser conscientes de
las limitaciones de la evaluación y de la necesidad de recurrir a indicadores indirectos»

Lo anterior no quiere decir que se deba renunciar a evaluar lo que se hace. La evaluación siempre aporta información útil, pero hay que ser conscientes, por un lado, de las limitaciones de la evaluación, y por el otro, de la necesidad de recurrir a indicadores indirectos, en la confianza de que puedan actuar como variables proxy; y digo «en la confianza de» porque ni siquiera tenemos forma de asegurarlo con certeza. En el caso del tren podemos considerar que el número de viajeros transportados puede ser un buen indicador del grado de actividad económica añadida que genera su construcción y puesta en marcha. Y en el de la educación, que los resultados de las pruebas PISA constituyen una buena variable proxy del nivel formativo y cultural adquirido por los alumnos de secundaria. Pero es harto difícil establecer correspondencia directa entre los niveles de unas variables (indicadores) y otras (objetivos cuantitativos reales).

Pere Estupinyà afirma en su artículo que existen metodologías para evaluar el impacto de las actividades de divulgación. Confieso que las desconozco, y esto no es trivial en mi argumentación, porque conociendo la metodología sabría a qué se refiere quien habla de impacto. Demandé a quienes en Twitter intervinieron en el debate que concretasen qué entendían por impacto. Pero las respuestas coincidieron en señalar que eso dependía del objetivo de las actividades, que habría de medirse de una forma u otra dependiendo de cuál fuera el objetivo. Esas respuestas no me resultaron satisfactorias, porque sostengo que en el caso de la divulgación científica no es posible medir su impacto último. No, al menos, si el ámbito de influencia del mismo es, como pretenden muchos de los agentes concernidos, el conjunto de la sociedad. En otras palabras, en divulgación científica podemos saber cuántos viajeros se desplazan en AVE, pero no podemos saber qué efecto tendrán a medio plazo esos viajes.

Supongamos que el objetivo último es el de aumentar la cultura científica de la gente. De hecho, en su artículo en Metode, Pere Estupinyà se refiere a las muchas iniciativas que «históricamente no han logrado atacar el analfabetismo científico de la población» para justificar la necesidad de la evaluación del impacto. Pues bien, si el objetivo de la divulgación científica es ese o alguno similar, la única forma de aproximarse a medir el impacto de las actividades de divulgación es medir el número de las personas que la consumen. Y sostengo que eso es así porque, sea cual sea el objetivo buscado, sólo mediante ese indicador puede obtenerse una medida del impacto de las actividades. Si se trata de una publicación digital, la cifra es la de visitantes; si es un programa de radio, sus oyentes; si es un podcast, el número de descargas; si es un evento de divulgación, los asistentes, y si es un programa de televisión, la audiencia. Todos ellos son indicadores cuantitativos. Pero no creo que sea esto lo que echa en falta Pere Estupinyà. Porque eso es trivial, ya que dudo que haya ninguna actividad institucional de difusión científica que no atienda a ese tipo de indicadores.

Impacte-divulgacio-Naukas-Bilbao Xurxo MariñoPúblico asistente al Naukas Bilbao 2014.  

«Porque, ¿cómo se mide el impacto de un conjunto de actividades sobre la cultura científica de la población de referencia? ¿En qué plazo se mide? ¿Cómo se distingue del de otras iniciativas y, muy singularmente, del de la educación formal?»

Aludiré a las actividades de la Cátedra de Cultura Científica de la UPV/EHU para avanzar en la discusión. Es el ejemplo que, por razones obvias, mejor conozco y, además, no me considero autorizado para referirme a otras experiencias. Supongamos que el objetivo de las actividades de divulgación que realiza o que apoya la Cátedra es aumentar la cultura científica de la gente. ¿Es posible ir más allá de los indicadores triviales antes mencionados? No lo es. Porque, ¿cómo se mide el impacto de un conjunto de actividades sobre la cultura científica de la población de referencia? ¿En qué plazo se mide? ¿Cómo se distingue del de otras iniciativas y, muy singularmente, del de la educación formal?

La Cátedra tiene dos objetivos principales. Uno es satisfacer la demanda de productos de cultura científica por parte de personas ya interesadas por la ciencia. Y procura satisfacer esa demanda mediante los medios citados, singularmente mediante conferencias, publicaciones digitales e intervenciones en radio. También se propone, aunque lógicamente a muy largo plazo, que la gente tenga un mayor aprecio por la ciencia y, si es posible, enriquecer su cultura científica. Pero esto último lo hace, principalmente, mediante actuaciones a las que denomino «de agitación y propaganda»: colaboración con programas de televisión (Escépticos y Órbita Laika, hasta la fecha) y, especialmente, el espectáculo científico Naukas Bilbao. No se trata de que el público que ve los programas o que asiste al festival «aprenda» ciencia así. Se trata de que la ciencia tenga una mayor presencia en el espacio público para, de esa forma, prestigiarla. Y que un mayor prestigio social dé lugar a cambios en la actitud tanto de instituciones como de particulares y entidades privadas que redunden en un mayor apoyo a la ciencia, con las consecuencias que de ello se acabarían derivando también en términos de cultura científica.

Las actuaciones que ha llevado adelante o ha apoyado la Cátedra han tenido éxito. Las cifras de asistencia de público a los eventos, de visitas a las publicaciones en internet y de audiencia en los programas de radio y televisión con los que colabora así lo indican. Soy consciente de que en el mejor de los casos esos datos son indicadores –variables proxy– del grado de cumplimiento de los objetivos últimos a los que he hecho referencia. Pero es que el grado de cumplimiento de esos objetivos, sencillamente, no se puede medir de forma directa, porque no es posible trabajar en marcos temporales que lo permitan y porque otros, muy importantes, agentes y factores inciden de forma decisiva en el mismo ámbito.

Juan Ignacio Pérez Iglesias. Catedrático de Fisiología y coordinador de la Cátedra de Cultura Científica de la UPV/EHU.
© Mètode 2015.

© Mètode 2015