Diseños de bloques incompletos como una alternativa para la evaluación de proyectos en organizaciones gubernamentales y no gubernamentales

• Osval Antonio Montesinos López ^[1] ; Francisco Javier Luna Vázquez ^[1] ; Emeterio Franco Pérez ^[1] ; Alberto Pastrana Palma ^[2] ; Raymundo Buenrostro Mariscal ^[1]
  1. [1] Universidad de Colima

     Universidad de Colima

     México

     
  2. [2] Universidad Autónoma de Querétaro

     Universidad Autónoma de Querétaro

     México

     
• Localización: Nova scientia, ISSN-e 2007-0705, Vol. 11, Nº. 22, 2019, págs. 433-477
• Idioma: español
• Títulos paralelos:
  • Incomplete block design as an alternative for project evaluation in governmental and non-governmental organizations
• Enlaces
  • Texto completo (pdf)
• Resumen
  • español

    La evaluación transparente de propuestas a proyectos de investigación científica con apoyo económico es de suma importancia, ya que incrementa la confianza en los investigadores que participan en las convocatorias, emitidas por las instituciones gubernamentales u organizaciones privadas, y optimiza el uso de los recursos financieros. El método actual de evaluación de proyectos con financiamiento consiste en la obtención de un promedio de las calificaciones asignadas por un grupo de evaluadores a cada proyecto. Sin embargo, este método no descuenta el efecto del evaluador y produce un sesgo en el dictamen final de cada proyecto, ya sea que los proyectos se vean favorecidos por evaluadores que no son estrictos o afectados por evaluadores exigentes. Método: En esta investigación se propone el uso de dos diseños experimentales estadísticos como una alternativa al proceso de evaluación de proyectos: (a) diseño de bloques incompletos balanceados y el (b) diseño de bloques Alpha. Además, proporcionamos códigos en el software estadístico R, para ambos diseños de experimentos, que permite implementar la evaluación de proyectos de una forma rápida y precisa. Resultados: Con base en la evaluación de los métodos propuestos, se encontró que el método tradicional presenta un sesgo muy importante considerando la heterogeneidad entre los evaluadores, mientras que, al hacer uso de los dos diseños experimentales se puede reducir este sesgo considerablemente. Discusión y Conclusión: En este artículo se propone el uso de dos diseños experimentales, los cuales son los siguientes: el diseño de bloques incompletos balanceados y diseño de bloques Alpha, para el proceso de evaluación de proyectos en instituciones gubernamentales y no gubernamentales. De acuerdo con los ejemplos realizados, ambos diseños experimentales producen resultados similares, pero que son bastante diferentes al método tradicional; básicamente, esto se debe a la capacidad de los diseños experimentales propuestos de remover el efecto del evaluador a diferencia del método tradicional. Este efecto se ve reflejado en la dictaminación final de los proyectos, ya sea en beneficio o perjuicio, ya que el ranking resultante está enmascarado con las calificaciones verdaderas de los proyectos más el efecto del evaluador.

  • English

    The transparent evaluation of projects proposals for scientific research with financial support through calls made by governmental institutions or private organizations becomes extremely important, along with increasing confidence in the researchers who participate in the calls for the allocation of financial resources. Therefore, this research presents an alternative to the process of evaluating projects with financial resources. The current method of evaluating funded projects is to obtain an average of the scores assigned to each project by a group of reviewers. However, this method does not discount the effect of the reviewer and produces a bias in the final evaluation of each project, since projects are likely to be favored when reviewers are relaxed and affected when reviewers are demanding and very strict. Method: This research proposes the use of two experimental design statistical methods for project evaluation: (a) incomplete balanced block design and (b) Alpha block design. In addition, we provide codes in the statistical software R, for both statistical designs, which allows us to implement project evaluation quickly and accurately. Results: Based on the proposed methods, it was found that the traditional method presents a very important bias due to the heterogeneity among the reviewers. Discussion and Conclusion: The use of experimental design statistical methods (balanced incomplete block design or Alpha design) can reduce this bias considerably, obtaining a higher accuracy for evaluations.