Resumen de Objetivando el proceso de revisión de JENUI

Rosana Satorre Cuerda, Patricia Compañ Rosique, Rafael Molina Carmona, Faraón Llorens Largo

• español

  La revisión por pares es el principal método de selec- ción de artículos en congresos y revistas. Aunque es un proceso ampliamente aceptado diversos autores han detectado posibles problemas de validez y fiabi- lidad. Estos problemas se pueden atenuar tratando de objetivar las revisiones. En esta investigación se plantea el proceso de revisión por pares como un problema de clasificación, en el que se dispone de varios clasificadores (los revisores) que, ante una entrada (el trabajo a revisar), deben asignarle una determinada clase (aceptación o rechazo). Se propo- nen dos métricas: la tasa de aciertos y el grado de acuerdo, que se corresponden con los conceptos de validez y fiabilidad, pero adaptados a cada revisor por separado. Como caso práctico se analizan las revisio- nes de las últimas cinco JENUI. Por último, se plan- tean una serie de pautas para tratar de objetivar y mejorar el proceso de selección resultado de la revi- sión por pares.

• English

  Peer review is the main method of selecting articles in conferences and journals. Although it is a widely accepted process, some authors have detected poten- tial problems of validity and reliability. These prob- lems can be mitigated by trying to objectify the reviews. In this research, the peer review process is considered as a classification problem, in which several classifiers (reviewers), before an input (the work to be reviewed), must assign a given class (accept or reject). Two metrics are proposed: the success rate and the agreement degree, which corre- spond to the concepts of validity and reliability, but adapted to each reviewer separately. As a practical case the reviews of the last five JENUI are analysed.

  Finally, some guidelines are proposed to try to objec- tify and improve the selection process resulting from the peer review.