Resumen de Una propuesta para elaborar paquetes de laboratorio orientados al proceso acorde a las insignias de la ACM en Ingeniería del Software
- español
En la actualidad, la comunidad de Ingeniería del Software Empírica (ISE) ha considerado relevante la realización de familias de experimentos como mecanismo para evaluar métodos, técnicas y herramientas que permita conocer la conveniencia de utilizarlos en el proceso de desarrollo de software. Se ha manifestado que la familia de experimentos consiste en un experimento original, seguido de un conjunto de replicaciones que responden a las mismas preguntas de investigación que el experimento original. La replicación de estudios empíricos en Ingeniería del Software (IS), sigue sin atraer la suficiente atención de los investigadores donde se destacan la falta de incentivos y la percepción en los investigadores para llevar a cabo replicaciones a pesar de su importancia como método científico. Para solventar esta situación, han surgido varias iniciativas como la Ciencia Abierta traducida al inglés como Open Science. La Ciencia Abierta promulga que poner a disposición los conjuntos de datos, los análisis y una versión preimpresa de un experimento y su software relacionado, proporciona un valioso conocimiento para el experimentador, además cualquier parte interesada puede auditarlo. Esto da lugar a, que otros investigadores a través de la reutilización de los artefactos bien elaborados y documentados construyan sobre el trabajo anterior nuevo conocimiento que beneficie a la comunidad científica en IS. Un enfoque complementario para aumentar la visibilidad y reproducibilidad de los estudios empíricos específicamente en el contexto de los experimentos controlados es promover la disponibilidad de los Paquetes de Laboratorio. Para los cuál, los artefactos que componen el PL deberían incluir no sólo el conjunto de datos, los análisis y el material experimental, sino también las guías para llevar a cabo una replicación y un resumen de la evolución del experimento en toda la familia. En este sentido, en la presente memoria se ha identificado la necesidad, por un lado, de conocer el estado actual de la publicación, elaboración y evaluación de los PL en la comunidad científica del IS específicamente para experimentos controlados con humanos. Por otro lado, se identificó también la necesidad de fomentar la elaboración del contenido del PL con un adecuado nivel de calidad para alcanzar alguna insignia de la ACM. Debido a lo antes expuesto, este trabajo se estructuró en ocho capítulos y la sección de anexos que se agruparon en seis partes. Parte I: Introducción, contiene el planteamiento del problema y la metodología de investigación. Parte II: Estado de la cuestión, contiene básicamente el estado actual de los PL. Parte III: Propuesta, contiene, por un lado, la especificación del PL, un procedimiento de la elaboración del PL, un modelo de calidad de los PL acorde a las insignias de la ACM y una estructura del contenido del PL para experimentos controlados con humanos en IS. Por otro lado, la construcción de una herramienta “badgeGo” para automatizar el proceso de elaboración de los PL. Parte IV: Validación, contiene la validación de las propuestas expuestas en la parte III. Parte V: Conclusiones del estudio. Y finalmente Parte VI: Anexos. La importancia de elaborar un paquete de laboratorio orientado al proceso acorde a las insignias de la ACM para experimentos controlados con humanos ha sido motivada por tres aspectos. Primero, debido a que no existe en la comunidad científica una propuesta para elaborar un PL con un nivel de calidad que permita alcanzar las insignias de la ACM. Segundo la importancia de proponer un procedimiento, un modelo de calidad y una estructura de un PL que permita alcanzar un nivel de calidad adecuado con respecto al contenido del PL. Tercero facilitar una herramienta “badgeGo” que permita elaborar el contenido del PL y proporcione un porcentaje estimado de completitud del PL para alcanzar alguna insignia de la ACM. La validación de la propuesta consistió en evaluar la viabilidad, flexibilidad y la satisfacción mediante la instanciación de tres PL de un caso de estudio múltiple en el área de IS. El resultado de la validación indica que la propuesta es viable, flexible, y tiene un nivel de satisfacción del 86.09% para la elaboración de un PL acorde a las insignias de la ACM.
- English
Currently, the Empirical Software Engineering (ESE) community has considered the realization of families of experiments relevant as a mechanism to evaluate methods, techniques, and tools that allow knowing the convenience of using them in the software development process. Therefore, it has been stated that the family of experiments consists of an original experiment followed by a set of replications that answer the same research questions as the original experiment. The replication of empirical studies in Software Engineering (SE) still does not attract enough attention from researchers where the lack of incentives and perception in researchers to carry out replications despite its importance as a scientific method is highlighted. Several initiatives have emerged, such as Open Science, to remedy this situation. Open Science promulgates that making available data sets, analyses, and a pre-printed version of an experiment and its related software provides valuable knowledge to the experimenter, and any interested party can audit it. This gives rise to other researchers through the reuse of well-crafted and documented artifacts built on previous work and new knowledge that benefits the scientific community in SE. A complementary approach to increase the visibility and reproducibility of empirical studies, specifically in the context of controlled experiments, is to promote the availability of Laboratory Packages (LP). The artifacts that compose the LP should include not only the data set, analyses, and experimental material but also the guidelines to carry out replication and a summary of the evolution of the experiment in the whole family. In this sense, the present report identified the need, on the one hand, to know the current status of the publication, elaboration, and evaluation of LPs in the SE scientific community specifically for controlled experiments with humans. On the other hand, it was also identified the need to promote the elaboration of LP content with an adequate level of quality to achieve some ACM badges. Due to the above, this work was structured in eight chapters and the annexes section, which were grouped into six parts. Part I: The introduction contains the problem statement and the research methodology. Part II: State of the question contains the current state of the LPs. Part III: The proposal contains, on the one hand, the specification of the LP, a procedure for the elaboration of the LP, a quality model of the LP according to the ACM insignia, and a structure of the content of the LP for controlled experiments with humans in SE. On the other hand, we are constructing a "badgeGo" tool to automate the LP elaboration process. Part IV: Validation contains the validation of the proposals presented in Part III. Part V: Conclusions of the study. And finally, Part VI: Annexes. The importance of elaborating a process-oriented LP following the ACM insignia for controlled experiments-oriented humans has been motivated by three aspects. First, there is no proposal in the scientific community to elaborate an LP with a level of quality that allows achieving the ACM badges. Second, the importance of proposing a procedure, a quality model, and a structure of an LP allows for reaching an adequate level of quality concerning the content of the LP. Third, to provide a "badgeGo" tool to elaborate the contents of the LP and to provide an estimated percentage of completeness of the LP to achieve some ACM badge. The proposal validation assessed the feasibility, flexibility, and satisfaction by instantiating three LPs of a multiple case study in the SE area. The validation result indicates that the proposal is feasible, flexible, and has a satisfaction level of 86.09% for developing an LP according to the ACM badges.
