Resumen de Avaluació ex-ante i ex-post de la recerca: aproximacions per a analitzar la validesa de dues eines d'avaluació de la recerca
El objetivo general de esta tesis ha sido desarrollar diversas estrategias para validar dos métodos de evaluación de la investigación que se llevan a cabo en dos fases del proceso de investigación.
El primer estudio está relacionado con la evaluación ex-ante, que implica la evaluación previa a la concesión de ayudas, en este caso, de proyectos de investigación en ciencias de la salud. El proceso de evaluación por pares analizado consta de dos fases. En una primera fase se evalúa el proyecto anonimizado (sin identificar investigadores ni sus instituciones), mientras que en la segunda fase, la identidad de los investigadores y de sus instituciones se revela. Se ha evaluado el cambio entre la primera valoración (proyecto anonimizado) y la segunda valoración (no anonimizado) para cada evaluación y evaluador. También se ha analizado los factores relacionados con el cambio, teniendo en cuenta las características de los proyectos, los evaluadores, y de los investigadores. Por último se ha realizado un análisis cualitativo del contenido de los comentarios de los evaluadores para conocer los motivos del cambio. El análisis de 5.002 evaluaciones indicó que en casi el 19% de las evaluaciones, el evaluador cambiaba la valoración, bien para mejorarla (12%) o para empeorarla (7%). Los hallazgos también sugieren que este cambio está principalmente correlacionado con una evaluación positiva o negativa de la experiencia del equipo investigador principal, aparte de otros factores. En resumen, anonimizar la identidad de los investigadores y sus instituciones en una primera fase del proceso de evaluación, puede ayudar a centrarse más en el proyecto y reducir algunos de los sesgos comunes del proceso de revisión por pares.
El segundo estudio está relacionado con una evaluación ex-post en el ámbito universitario, que implica la evaluación de proyectos de investigación una vez finalizados, en este caso, con la evaluación del impacto social. Se ha querido evaluar la validez de un cuestionario para medir los impactos percibidos de una amplia gama de proyectos de investigación (artes y humanidades, ciencias sociales, ciencias de la salud y tecnologías de la información y la comunicación). También se ha evaluado los impactos y las características asociadas. El cuestionario demuestra una buena consistencia interna y una validez de contenido y discriminante aceptables. Sin embargo, sus propiedades métricas son más poderosas en ámbitos donde tradicionalmente se ha evaluado la ciencia (resúmenes a congresos, artículos científicos o formación de investigadores), ámbitos donde los investigadores tienen un cierto control e influencia. En general, los proyectos de investigación representaron un estímulo para la producción de conocimiento y el desarrollo de competencias de investigación. Los aspectos conductuales, como la participación de los usuarios potenciales o los proyectos orientados a la misión (orientados a aplicaciones prácticas) se asociaron con mayores beneficios sociales.
El análisis de la validez de diferentes enfoques de evaluación de la investigación puede contribuir de manera importante a la credibilidad y aceptabilidad de las herramientas de evaluación utilizadas. Los diferentes enfoques de evaluación de la investigación pueden proporcionar una información muy valiosa para la toma de decisiones, siempre que se tengan en cuenta algunos retos que pueden limitar su validez y, por tanto, su credibilidad: la importancia de la experiencia de los expertos utilizados; la contextualización del proceso de evaluación; los intereses de los grupos que han de utilizar los procedimientos o sus resultados; definiciones claras de los conceptos utilizados; identificar qué elementos se pueden percibir como facilitadores o barreras para un resultado determinado; y sin olvidar, confirmar la calidad de los datos.
En conclusión, analizar la validez de los métodos de evaluación de la investigación es una mirada hacia adelante que ayuda a entender y mejora el proceso de evaluación y su credibilidad y, por tanto, la utilidad de las mismas evaluaciones.
