Modelo de generación de suites de pruebas efectivas a partir de requisitos para aplicaciones en entornos distribuidos

• Autores: Alejandro Miguel Güemes Esperón
• Directores de la Tesis: Francisco Maciá Pérez (dir. tes.), José Vicente Berná Martínez (dir. tes.), Martha Dunia Delgado Dapena (dir. tes.)
• Lectura: En la Universitat d'Alacant / Universidad de Alicante ( España ) en 2024
• Idioma: español
• Tribunal Calificador de la Tesis: Anaisa Hernández González (presid.), Ailyn Febles Estrada (secret.), Iren Lorenzo Fonseca (voc.)
• Programa de doctorado: Programa de Doctorado en Informática por la Universidad de Alicante
• Materias:
  • Matemáticas
    • Ciencia de los ordenadores
      • Inteligencia artificial
      • Informática
• Enlaces
  • Tesis en acceso abierto en: RUA
• Resumen

  • Introducción o Motivación de la Tesis En la actualidad, la calidad de los productos de software es crucial para su éxito en un mercado altamente competitivo. La certificación de calidad de los productos de software es fundamental para asegurar su fiabilidad y rendimiento, elementos esenciales para ganar y mantener la confianza de los usuarios finales. La gestión y ejecución del proceso de desarrollo de software presentan desafíos significativos, ya que es necesario tener claros tanto los requisitos funcionales como los requisitos de calidad del sistema. La correcta identificación y análisis de estos requisitos permiten trazar estrategias de pruebas de software que garanticen la detección de la mayor cantidad de defectos posibles, contribuyendo así a mejorar la calidad del software.

    Las pruebas de software son esenciales para evaluar y asegurar la fiabilidad de un programa. El proceso de pruebas implica detectar errores cometidos por los desarrolladores que pueden introducir defectos en el código, provocando fallos durante la ejecución del programa. Este proceso, sin embargo, es costoso, representando aproximadamente el 50% del costo total del ciclo de vida del desarrollo de software. La necesidad de pruebas efectivas y la tendencia a posponer estas pruebas hasta las etapas finales del proyecto resalta la importancia de automatizar el proceso para reducir costos y aumentar la eficiencia.

    Desarrollo Teórico El desarrollo teórico de la tesis se centra en la generación automática de suites de pruebas a partir de los requisitos para aplicaciones en entornos distribuidos. La tesis presenta un modelo para generar suites de pruebas efectivas basadas en la especificación de requisitos. Este modelo utiliza algoritmos heurísticos para optimizar el proceso de generación de casos de prueba, enfocándose en la cobertura de diferentes escenarios y la detección de defectos desde las primeras etapas del desarrollo.

    El modelo propuesto se complementa con una metodología específica para la definición y especificación de requisitos de aplicaciones en entornos distribuidos. Esta metodología está orientada a la generación automática de casos de prueba y se estructura en varias fases, incluyendo la especificación detallada de requisitos del usuario, requisitos funcionales y requisitos de calidad. Además, se propone una extensión del modelo para incorporar criterios de significación de valores y caminos/escenarios, lo cual mejora la efectividad de las pruebas generadas.

    Las aplicaciones en entornos distribuidos, como las de Internet de las Cosas (IoT), presentan desafíos únicos debido a la interconexión de dispositivos físicos y arquitecturas disímiles. Aspectos como la comunicación, seguridad, disponibilidad y mecanismos de despliegue son críticos y deben ser considerados en las pruebas de software. Sin embargo, la especificación de requisitos para estas aplicaciones suele ser similar a la de las aplicaciones tradicionales, lo que puede llevar a pruebas insuficientes y a la omisión de restricciones específicas. Por lo tanto, el modelo propuesto en esta tesis también aborda la necesidad de especificar claramente los requisitos para aplicaciones distribuidas, asegurando que las pruebas cubran todos los aspectos relevantes de estos sistemas complejos.

    La tesis también explora la integración de técnicas de metaheurísticas para la generación automatizada de casos de prueba, tratando el problema como una cuestión de optimización. Estas técnicas no solo buscan reducir el tiempo de generación de pruebas sino también asegurar altos niveles de cobertura y efectividad en la detección de defectos. La incorporación de análisis de prueba de mutación se presenta como una estrategia para evaluar la capacidad de los casos de prueba generados para detectar defectos específicos, aunque esta técnica requiere esfuerzo adicional.

    Conclusión La tesis concluye que el modelo, junto con la metodología propuesta, permite la generación de suites de pruebas efectivas desde etapas tempranas del desarrollo de software en entornos distribuidos. La validación del modelo muestra resultados prometedores, indicando que las suites de pruebas generadas son capaces de detectar un alto número de defectos, mejorando así la calidad del software. Además, la automatización del proceso de generación de pruebas contribuye a la reducción de costos y tiempo, lo que es beneficioso para el desarrollo de aplicaciones modernas que operan en entornos complejos y distribuidos.

    Este trabajo aporta una solución innovadora y eficiente al problema de la generación de casos de prueba, ofreciendo una herramienta valiosa para los desarrolladores y mejorando el proceso de aseguramiento de la calidad en el desarrollo de software. La tesis no solo presenta avances significativos en la metodología de pruebas automáticas sino que también proporciona una base sólida para futuras investigaciones en la generación automática de casos de prueba, destacando la importancia de considerar los entornos distribuidos y las especificaciones de requisitos detalladas.

    En resumen, la investigación realizada demuestra que es posible mejorar significativamente la calidad y fiabilidad del software mediante la automatización de la generación de pruebas, contribuyendo al avance del estado del arte en la ingeniería de software y ofreciendo beneficios prácticos y teóricos para el desarrollo de sistemas distribuidos.

    Bibliografía consultada 1. Carter, O. (2024). Advancing Software Quality: A Comprehensive Exploration of Code Quality Metrics, Static Analysis Tools, and Best Practices. Journal of Science & Technology, 5(1), 69-81. https://thesciencebrigade.com/jst/article/view/62 2. Pargaonkar, S. (2023). A Study on the Benefits and Limitations of Software Testing Principles and Techniques: Software Quality Engineering. International Journal of Scientific and Research Publications (IJSRP), 13(08), 149-155. DOI: https://dx.doi.org/10.29322/IJSRP.13.08.2023.p14018 3. Pargaonkar, S. (2023). Synergizing Requirements Engineering and Quality Assurance: A Comprehensive Exploration in Software Quality Engineering. International Journal of Science and Research (IJSR), 12(8), 2003-2007. DOI: https://doi.org/10.21275/SR23822112511 4. Coutinho, J., Andrade, W., & Machado, P. (2022, October). A survey of requirements engineering and software testing practices in agile teams. In Proceedings of the 7th Brazilian Symposium on Systematic and Automated Software Testing (pp. 9-18). DOI: https://doi.org/10.1145/3559744.3559746 5. Spinellis, D. (2017). State-of-the-art software testing. IEEE Software, 34(5), 4-6. DOI: https://doi.org/10.1109/MS.2017.3571564 6. ISTQB. (2024). Standard Glossary of Terms used in Software Testing, version 4.3. https://glossary.istqb.org/ 7. Pressman, R. S., & Maxim, B. R. (2015). Software Engineering. A Practitioner's Approach. New York, USA, McGraw-Hill Education.

    8. Myers, G. J., Sandler, C., & Badgett, T. (2012). The art of software testing, John Wiley & Sons. DOI: https://doi.org/10.1002/9781119202486 9. Asghari, Z., Arasteh, B., & Koochari, A. (2023). Effective Software Mutation-Test Using Program Instructions Classification. Journal of Electronic Testing, 39(5), 631-657. DOI: https://doi.org/10.1007/s10836-023-06089-0 10. Barani, M., Labiche, Y., & Rollet, A. (2023, April). On factors that impact the relationship between code coverage and test suite effectiveness: a survey. In 2023 IEEE International Conference on Software Testing, Verification and Validation Workshops (ICSTW) (pp. 381-388). IEEE. DOI: https://doi.org/10.1109/ICSTW58534.2023.00071 11. Al Blwi, S., Ayad, A., Khaireddine, B., Marsit, I., & Mili, A. (2023). Semantic Coverage: Measuring Test Suite Effectiveness. In Proceedings of the 18th International Conference on Software Technologies (ICSOFT 2023) (pp. 287-294). DOI: https://doi.org/10.5220/0012063900003538 12. Serna, E., Martínez, R., & Tamayo, P. (2019). A review of reality of software test automation. Computación y Sistemas, 23(1), 169-183. DOI: https://doi.org/10.13053/cys-23-1-2782 13. Gatla, G., Gatla, K., & Gatla, B. V. (2023). Codeless Test Automation for Development QA. American Academic Scientific Research Journal for Engineering, Technology, and Sciences, 91(1), 28-35. https://asrjetsjournal.org/index.php/American_Scientific_Journal/article/view/8545 14. Bhanushali, A. (2023). Impact of Automation on Quality Assurance Testing: A Comparative Analysis of Manual vs. Automated QA Processes. International Journal of Advances in Engineering Research, 26(IV), 39-54.

    15. Ate oullar , D., & Mishra, A. (2020). Automation testing tools: a comparative view. International Journal on Information Technologies & Security, 12(4), 63-76. DOI: https://doi.org/10.3390/su12135236 16. Arasteh, B., Ghaffari, A., Khadir, M., Torkamanian-Afshar, M., & Pirahesh, S. (2024). Effective test-data generation using the modified black widow optimization algorithm. Signal, Image and Video Processing, 1-14. DOI: https://doi.org/10.1007/s11760-024-03236-8 17. Jaiswal, U. K. & Prajapati, A. (2024). Test Data Generation for Branch Coverage in Software Structural Testing Based on TLBO. In A. Sharma, N. Chanderwal, A. Prajapati, P. Singh, & M. Kansal (Eds.), Advancing Software Engineering Through AI, Federated Learning, and Large Language Models, 249-261. IGI Global. DOI: https://doi.org/10.4018/979-8-3693-3502-4.ch016 18. Oumarou, H., & El Mansour, F. (2023). Automatic Generation of Unit Test Data for Dynamically Typed Languages. Indonesian Journal of Computer Science, 12(5), 2325-2335. DOI: https://doi.org/10.33022/ijcs.v12i5.3396 19. Li, Z., Funabiki, N., Lu, X., & Qi, H. (2023, February). A Study of Automatic Test Data Generation Method for C Programming. In IEICE Conferences Archives. The Institute of Electronics, Information and Communication Engineers.

    20. Pandey, A., & Banerjee, S. (2021). Test suite optimization using chaotic firefly algorithm in software testing. In Research Anthology on Recent Trends, Tools, and Implications of Computer Programming (722-739). IGI Global. DOI: https://doi.org/10.4018/978-1-7998-3016-0.ch032 21. Valacich, J. S., George, J. F., & Valacich, J. S. (2022). Modern systems analysis and design. Pearson Education, Inc.

    22. Coulouris, G. F., Dollimore, J., & Kindberg, T. (2012). Distributed systems: concepts and design. 5th edn. Addison-Wesley, Pearson.

    23. Pereira, P., Araujo, J., Melo, C., Santos, V., & Maciel, P. (2021). Analytical models for availability evaluation of edge and fog computing nodes. The Journal of Supercomputing, 77, 9905-9933. DOI: https://doi.org/10.1007/s11227-021-03672-0 24. Lahami, M., & Krichen, M. (2021). A survey on runtime testing of dynamically adaptable and distributed systems. Software Quality Journal, 29(2), 555-593. DOI: https://doi.org/10.1007/s11219-021-09558-x 25. Behutiye, W., Rodríguez, P., Oivo, M., Aaramaa, S., Partanen, J., & Abhervé, A. (2022). Towards optimal quality requirement documentation in agile software development: A multiple case study. Journal of Systems and Software, 183, 111112. DOI: https://doi.org/10.1016/j.jss.2021.111112 26. Wang, D., Dou, W., Gao, Y., Wu, C., Wei, J., & Huang, T. (2023, May). Model checking guided testing for distributed systems. In Proceedings of the Eighteenth European Conference on Computer Systems (pp. 127-143). DOI: https://doi.org/10.1145/3552326.3587442 27. Khari, M., Sinha, A., Herrerra-Viedma, E., & Crespo, R. G. (2021). On the use of meta-heuristic algorithms for automated test suite generation in software testing. Toward Humanoid Robots: The Role of Fuzzy Sets: A Handbook on Theory and Applications, 344, 149-197. DOI: https://doi.org/10.1007/978-3-030-67163-1_6 28. Al-Sammarraie, H. N. N., & Jawawi, D. N. (2020). Multiple black hole inspired meta-heuristic searching optimization for combinatorial testing. Ieee Access, 8, 33406-33418. DOI: https://doi.org/10.1109/ACCESS.2020.2973696 29. Harikarthik, S. K., Palanisamy, V., & Ramanathan, P. (2019). Optimal test suite selection in regression testing with testcase prioritization using modified Ann and Whale optimization algorithm. Cluster Computing, 22(5), 11425-11434. DOI: https://doi.org/10.1007/s10586-017-1401-7 30. Delgado, M. D., Macías, A., Larrosa, D., Verona, S., & Fernández, P. B. (2017). Model for Automatic Generation of Search-Based Early Tests. Computación y Sistemas, 21(3), 503-513. DOI: https://doi.org/10.13053/CyS-21-3-2716 31. Güemes, A. M. , Maciá, F., Berná, J. V., Delgado, M. D., & Lorenzo, I. (2024). Specifying Requirements for Modern Software Development: A Test-Oriented Methodology. International Journal of Software Engineering and Knowledge Engineering, 34(01), 27-48. DOI: https://doi.org/10.1142/S0218194023500407 32. Güemes, A. M., Delgado, M. D., Maciá, F., Berna, J. V., & Lorenzo, I. (2023). Desafíos de las pruebas de aplicaciones IoT en ciudades inteligentes. Revista Cubana De Transformación Digital, 4(2), 220:1-9. https://rctd.uic.cu/rctd/article/view/220 33. Fernández, P. B., Güemes, A. M., Delgadoa, M. D., & Rosete, A. (2023). Search-based reduction model for unit testing. Revista Facultad de Ingeniería Universidad de Antioquia, (109), 35-47.

    34. Güemes, A. M., Delgado, M. D., Moreno, M., & Loor, J. M. (2022). Implementation patterns to extend the search-based reduction Model of MTest. search. Revista Cubana de Ciencias Informáticas, 16(2). https://rcci.uci.cu/?journal=rcci&page=article&op=view&path%5B%5D=2481 35. Güemes, A. M., Delgado, M. D., Fernández, P. B., & Henry, H. M. (2022). Extensiones de Mtest. search para la generación de código de prueba. Ingeniería Industrial, 43(1), 49-63. http://ref.scielo.org/sdfmn6 36. Verona, S., Delgado M. D., Güemes A. M., & Castillo M. (2022). Good practices for software test automation. Case study in an electronic store. Revista Cubana de Ciencias Informáticas, 16 (2), 101-117. https://rcci.uci.cu/?journal=rcci&page=article&op=view&path%5B%5D=2483 37. Fernández P. B., Delgado M. D., Güemes A. M., Henry H. M., & Loor J. M. (2022). Impact of the significance of input values and paths on the effectiveness of the automatically generated test suite. Revista Cubana de Ciencias Informáticas, 16 (2), 85-100. https://rcci.uci.cu/?journal=rcci&page=article&op=view&path%5B%5D=248 38. Güemes, A. M., Delgado, M. D., & Larrosa, D. (2021). Patrones de implementación para extender la generación de código de pruebas a nuevos lenguajes en GeCodP. Revista Cubana de Ciencias Informáticas, 15 (Especial UCIENCIA II), 93-110. https://rcci.uci.cu/?journal=rcci&page=article&op=view&path%5B%5D=2240&path%5B%5D=935 39. Larrosa D., Delgado M. D., Güemes A. M. (2019). GeCodP: Herramienta para la generación de código de pruebas integradas a entornos productivos. 22nd Conferencia Iberoamericana en Software Engineering (CibSE 2019), 649-656.

    40. Larrosa, D. (2019). Extensiones a MTest.search para la generación automática de pruebas unitarias en diferentes lenguajes. Tesis de Maestría en Informática Aplicada, Universidad Tecnológica de La Habana "José Antonio Echeverría", Cujae.

    41. Verona, S. (2018). Generación automática de casos de prueba funcionales a partir de historias de usuario Tesis de Maestría en Informática Aplicada, Universidad Tecnológica de La Habana "José Antonio Echeverría", Cujae.

    42. Fernández-Oliva, P., Cantillo-Terrero, W., Delgado-Dapena, M. D., Rosete-Suárez, A., & Yáñez-Márquez, C. (2016). Generación de combinaciones de valores de pruebas utilizando metaheurísticas. Ingeniería Industrial, 37(2), 200-207. http://ref.scielo.org/7sw6hp 43. Macías, A., Delgadoa, M. D., Fajardo, J., & Larrosa, D. (2016). Generador de valores de casos de prueba funcionales. Lámpsakos, (15), 51-58. DOI: https://doi.org/10.21501/21454086.1767 44. Standardization International Organization. (2013). ISO/IEC/IEEE 29119-1 Software and systems engineering - Software testing. Part 1: Concepts and definitions. ISO/IEC/IEEE 29119-1:2013(E), 1-64. DOI: https://doi.org/10.1109/IEEESTD.2013.6588537 45. Standardization International Organization. (2011). ISO/IEC 25010 - Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models. https://iso25000.com/index.php/normas-iso-25000/iso-25010.

    46. IEEE. (2010). 1044-2009 - IEEE Standard Classification for Software Anomalies. DOI: https://doi.org/10.1109/IEEESTD.2010.5399061 47. IEEE. (1987). 1008-1987 - IEEE standard for Software Unit Testing. DOI: https://doi.org/10.1109/IEEESTD.1986.81001 48. Brunetto, M., G. Denaroa, L. Mariani and M. Pezzè (2021). On introducing automatic test case generation in practice: A success story and lessons learned. The Journal of Systems & Software 176, 1-17. DOI: https://doi.org/10.1016/j.jss.2021.110933 49. Saha, P. and U. Kanewala (2020). Improving The Effectiveness of Automatically Generated Test Suites Using Metamorphic Testing. IEEE/ACM 42nd International Conference on Software Engineering Workshops (ICSEW'20). Seoul, South Korea, ACM 418-419. DOI: https://doi.org/10.1145/3387940.3392253 50. Maciel, P., Dantas, J., Melo, C., Pereira, P., Oliveira, F., Araujo, J., & Matos, R. (2022). A survey on reliability and availability modeling of edge, fog, and cloud computing. Journal of Reliable Intelligent Environments, 1-19. DOI: https://doi.org/10.1007/s40860-021-00154-1 51. Gorbenko, A., Romanovsky, A., & Tarasyuk, O. (2019). Fault tolerant internet computing: Benchmarking and modelling trade-offs between availability, latency and consistency. Journal of Network and Computer Applications, 146, 102412. DOI: https://doi.org/10.1016/j.jnca.2019.102412 52. Ahmed, B. S., Bures, M., Frajtak, K., & Cerny, T. (2019). Aspects of quality in Internet of Things (IoT) solutions: A systematic mapping study. IEEE Access, 7, 13758-13780. DOI: https://doi.org/10.1109/ac-cess.2019.2893493 53. Popereshnyak, S., Suprun, O., Suprun, O. & Wieckowski, Y. (2018). Características de prueba de aplicaciones de IoT basadas en la red de modelado, XIV-th International Conference on Perspective Technologies and Methods in MEMS Design (MEMSTECH), pp. 127-131, Lviv, Ucrania. DOI: https://doi.org/10.1109/MEMSTECH.2018.8365717 54. Algarni, A., Attaallah, A., Eassa, F., Khemakhem, M., Jambi, K., Aljihani, H., & Albalwy, F. (2023). A security testing mechanism for detecting attacks in distributed software applications using blockchain. PloS one, 18(1), e0280038. DOI: https://doi.org/10.1371/journal.pone.0280038 55. Montgomery, L., Fucci, D., Bouraffa, A., Scholz, L., & Maalej, W. (2022). Empirical research on requirements quality: A systematic mapping study. Requirements Engineering, 27(2), 183-209. https://doi.org/10.1007/s00766-021-00367-z 56. Ebert, C. (2019). Systematisches Requirements Engineering: Anforderungen ermitteln, dokumentieren, analysieren und verwalten. 4th ed. Heidelberg: dpunkt.verlag.

    57. Medeiros, J., Vasconcelos, A., Silva, C., & Goulão, M. (2020). Requirements specification for developers in agile projects: Evaluation by two industrial case studies. Information and Software Technology, 117, 106194. DOI: https://doi.org/10.1016/j.infsof.2019.106194 58. Ahmad, A., Justo J., Feng, C., & Khan, A. (2020). The impact of controlled vocabularies on requirements engineering activities: A systematic mapping study. Applied Sciences (Switzerland), 10(21), 1-29. DOI: https://doi.org/10.3390/app10217749 59. Sommerville, I. (2016). Software Engineering. (10th Ed.). Harlow, England: Pearson Education.

    60. Olsson, T., Sentilles, S., & Papatheocharous, E. (2022). A systematic literature review of empirical research on quality requirements. Requirements Engineering, 27(2), 249-271. DOI: https://doi.org/10.1007/s00766-022-00373-9 61. Nikolic, J., Jubatyrov, N., & Pournaras, E. (2021). Self-healing dilemmas in distributed systems: Fault correction vs. fault tolerance. IEEE Transactions on Network and Service Management, 18(3), 2728-2741. https://doi.org/10.1109/TNSM.2021.3092939 62. Dadkhah, M., Araban, S., & Paydar, S. (2020). A systematic literature review on semantic web enabled software testing. Journal of Systems and Software, 162. DOI: https://doi.org/10.1016/j.jss.2019.110485 63. IEEE. (1998). 830-1998 - IEEE standar Recommended Practice for Software Requirements Specifications. DOI: https://doi.org/10.1109/IEEESTD.1998.88286 64. Petersen, K., Vakkalanka, S., & Kuzniarz, L. (2015). Guidelines for Conducting Systematic Mapping Studies in Software Engineering: An Update. Information and Software Technology, 64, 1-18. DOI: https://doi.org/10.1016/j.infsof.2015.03.007 65. Brataas, G., Hanssen, G., Herbst, N., & Van-Hoorn, A. (2020). Agile scalability engineering: The ScrumScale method. IEEE Software, 37(5), 77-84. DOI: https://doi.org/10.1109/MS.2019.2923184 66. Bellandi, V., Ceravolo, P., Cristiano, A., Damiani, E., Sanna, A., & Trojaniello, D. (2021). A design methodology for matching smart health requirements. Concurrency and Computation: Practice and Experience, 33(22), e6062. DOI: https://doi.org/10.1002/cpe.6062 67. Duggal, M., Saxena, N., & Gurve, M. (2020). SRS Automator-An Attempt to Simplify Software Development Lifecycle. 6th International Conference on Signal Processing and Communication (ICSC), IEEE, 278-283. DOI: https://doi.org/10.1109/ICSC48311.2020.9182768 68. Tampubolon, S. M., & Raharjo, T. (2024). Unveiling the Benefits and Challenges of Test-Driven Development in Agile: A Systematic Literature Review. Indonesian Journal of Computer Science, 13(2). DOI: https://doi.org/10.33022/ijcs.v13i2.3857 69. Ren, W., & Barrett, S. (2023). Test-driven development, engagement in activity, and maintainability: An empirical study. IET Software, 17(4), 509-525. DOI: https://doi.org/10.1049/sfw2.12135 70. Parasoft. (2024). Parasoft Jtest. Retrieved 2024-05-12. http://www.parasoft.com/products/jtest 71. Schweikl, S., Fraser, G., & Arcuri, A. (2022, May). EvoSuite at the SBST 2022 tool competition. In Proceedings of the 15th Workshop on Search-Based Software Testing (33-34). DOI: https://doi.org/10.1145/3526072.3527526 72. Arcuri, A., Zhang, M., Belhadi, A., Marculescu, B., Golmohammadi, A., Galeotti, J. P., & Seran, S. (2023). Building an open-source system test generation tool: lessons learned and empirical analyses with EvoMaster. Software Quality Journal, 31(3), 947-990. DOI: https://doi.org/10.1007/s11219-023-09620-w 73. Lemberger, T. (2021). Plain random test generation with PRTest. International Journal on Software Tools for Technology Transfer, 23, 871-873. DOI: https://doi.org/10.1007/s10009-020-00568-x 74. Cucumber. (2024). Sitio oficial de Cucumber. Retrieved 2024-05-12. https://cucumber.io/ 75. JUnit. (2024). Sitio Oficial de JUnit. Retrieved 2024-05-12. http://www.junit.org/ 76. Nyamathulla, S., Ratnababu, P., Nazma, S., & Bhagya, L. (2021). A Review on Selenium Web Driver with Python. Annals of the Romanian Society for Cell Biology, 16760-16768. http://annalsofrscb.ro/index.php/journal/article/view/7087 77. Laurent, T., Arcaini, P., Ishikawa, F., & Ventresque, A. (2020, October). Achieving weight coverage for an autonomous driving system with search-based test generation. In 2020 25th International Conference on Engineering of Complex Computer Systems (ICECCS) (93-102). IEEE. DOI: https://doi.org/10.1109/ICECCS51672.2020.00018 78. Ali, S., Arcaini, P., Pradhan, D., Safdar, S, & Yue, T. (2020). Qality Indicators in Search-based So-tware Engineering: An Empirical Evaluation. ACMTrans. Softw. Eng. Methodol. 29(2), 10:01-10:29. DOI: https://doi.org/10.1145/3375636 79. Habib, A. S., Khan, S. U., & Felix, E. A. (2023). A systematic review on search based test suite reduction: State of the art, taxonomy, and future directions. IET Software, 17(2), 93-136. DOI: https://doi.org/10.1049/sfw2.12104 80. Fornaia, A., A. Midolo, G. Pappalardo and E. Tramontana (2020). Automatic Generation of Effective Unit Tests based on Code Behaviour. IEEE 29th International Conference on Enabling Technologies: Infrastructure for Collaborative Enterprises (WETICE'20). Bayonne, France, IEEE, 213-218. DOI: https://doi.org/10.1109/WETICE49692.2020.00049 81. IEEE (2021). ISO/IEC/IEEE 29119-2/FDIS, Software and systems engineering - Software testing - Part 2: Test processes. New York, USA, ISO/IEC/IEEE, 1-64. https://ieeexplore.ieee.org/servlet/opac?punumber=9495328 82. Wang, C., Pastore, F., Goknil, A., & Briand, L. C. (2022). Automatic generation of acceptance test cases from use case specifications: an nlp-based approach. IEEE Transactions on Software Engineering, 48(2), 585-616. DOI: https://doi.org/10.1109/TSE.2020.2998503 83. Lafi, M., Alrawashed, T., & Hammad, A. M. (2021, July). Automated test cases generation from requirements specification. In 2021 International Conference on Information Technology (ICIT) (pp. 852-857). IEEE.

    84. Martínez, R. L. (2020). Desarrollo de un generador de casos de pruebas funcionales e integrales, a partir de casos de uso descritos en RDL, para la empresa SOFTTEK ® Maestría en sistemas computacionales, Instituto Tecnológico de Orizaba. http://repositorios.orizaba.tecnm.mx:8080/xmlui/handle/123456789/414 85. Mejía, D., Ordóñez, H., & Pardo, C. (2020). Anna: Model for requirements analysis and automatic identification of variables and values for the generation of functional test cases. Iberian Journal of Information Systems and Technologies, 12(E38), 297-309. https://dialnet.unirioja.es/servlet/articulo?codigo=8576446 86. Vegetti, M., Roldán, M. L., Marciszack, M. M., Gonnet, S., & Leone, H. P. (2018). Ontología para la Especificación de Casos de Uso, Casos de Prueba y su Trazabilidad. In CIbSE (537-550).

    87. Morales, E. C., Rivera, M. E. R., & Lizama, E. R. (2017). Desarrollo de un modelo de pruebas funcionales de software basado en la herramienta SELENIUM. Industrial data, 20(1), 139-147. DOI: https://doi.org/10.15381/idata.v20i1.13290 88. Parasoft. (2024). Parasoft C/C++test. Retrieved 2024-03-24. https://www.parasoft.com/products/ctest 89. Liu, X., & Yu, P. (2022, June). Randoop-TSR: Random-Based Test Generator with Test Suite Reduction. In Proceedings of the 13th Asia-Pacific Symposium on Internetware (221-230). DOI: https://doi.org/10.1145/3545258.3545280 90. Jaygarl, H., Lu, K. S., & Chang, C. K. (2010, July). Genred: A tool for generating and reducing object-oriented test cases. In 2010 IEEE 34th Annual Computer Software and Applications Conference (127-136). IEEE. https://doi.org/10.1109/COMPSAC.2010.19 91. Pablo, J. (2017). Generación dinámica de casos de pruebas utilizando metaheuristicas. Universidad Nacional de Sistemas La Plata 2017, 84.

    92. Khari, M., Sinha, A., Verdu, E., & Crespo, R. G. (2020). Performance analysis of six meta-heuristic algorithms over automated test suite generation for path coverage-based optimization. Soft Computing, 24(12), 9143-9160. DOI: https://doi.org/10.1007/s00500-019-04444-y 93. Varshney, S., & Mehrotra, M. (2018). A hybrid particle swarm optimization and differential evolution based test data generation algorithm for data-flow coverage using neighbourhood search strategy. Informatica, 42(3). DOI: https://doi.org/10.31449/inf.v42i3.1497 94. Ferreira, M., Costa, L., & Souza, F. C. (2020, November). Search-based test data generation for mutation testing: a tool for python programs. In Anais da IV Escola Regional de Engenharia de Software (116-125). SBC. DOI: https://doi.org/10.5753/eres.2020.13722 95. Han, X., Lei, H., & Wang, Y. S. (2017). Multiple paths test data generation based on particle swarm optimisation. IET Software, 11(2), 41-47. DOI: https://doi.org/10.1049/iet-sen.2016.0066 96. OMG. (2024). UML Testing Profile (UTP) version 1.2. Retrieved 2024-05-12. https://www.omg.org/spec/UTP/1.2/ 97. Pohl, K. (2016). Requirements engineering fundamentals: a study guide for the certified professional for requirements engineering exam-foundation level-IREB compliant. Rocky Nook, Inc.

    98. Panigrahi, S. S., & Jena, A. K. (2023). Test Scenarios Generation and Optimization of Object-Oriented Models Using Meta-Heuristic Algorithms. In Intelligent Technologies: Concepts, Applications, and Future Directions, 2, 45-74. Singapore: Springer Nature Singapore. DOI: https://doi.org/10.1007/978-981-99-1482-1_3 99. Ebadi, H., Moghadam, M. H., Borg, M., Gay, G., Fontes, A., & Socha, K. (2021, August). Efficient and effective generation of test cases for pedestrian detection-search-based software testing of Baidu Apollo in SVL. In 2021 IEEE International Conference on Artificial Intelligence Testing (AITest) (103-110). IEEE. DOI: https://doi.org/10.1109/AITEST52744.2021.00030 100. Khari, M. (2020). Empirical evaluation of automated test suite generation and optimization. Arabian journal for science and engineering, 45(4), 2407-2423. DOI: https://doi.org/10.1007/s13369-019-03996-3 101. Mohi-Aldeen, S. M., Mohamad, R., & Deris, S. (2020). Optimal path test data generation based on hybrid negative selection algorithm and genetic algorithm. PloS one, 15(11), e0242812. DOI: https://doi.org/10.1371/journal.pone.0242812 102. Sharma, R., & Saha, A. (2018). Optimal test sequence generation in state based testing using month flame optimization algorithm. Journal of Intelligent & Fuzzy Systems, 35(5), 5203-5215. DOI: https://doi.org/10.3233/JIFS-169804 103. Chaveco, T. G., Nodarse, C. P., & Suárez, A. R. (2021). Nodos Knime para ajustar modelos usando la biblioteca de clases BiCIAM. Revista Cubana de Transformación Digital, 2(1), 115-129. https://rctd.uic.cu/rctd/article/view/102 104. Infante, A. L., André, M., & Rosete, A. (2021, October). Team formation integrating various factors: model and solution approach. In Conferencia Cientifica Internacional Uciencia (pp. 215-243). Cham: Springer International Publishing. DOI: https://doi.org/10.1007/978-3-030-97269-1_12 105. Piattini, M., Genero, M., & Cruz, J. (2014). Métodos de investigación en ingeniería del software. Ra-Ma Editorial.

    106. Henry, H. (2021). Componente de extensión del Modelo de Reducción Basado en Búsquedas de MTest.search Tesis de grado, Universidad Tecnológica de La Habana "José Antonio Echeverría", Cujae.

    107. Esnaashari, M., & Damia, A. H. (2021). Automation of software test data generation using genetic algorithm and reinforcement learning. Expert Systems with Applications, 183, 115446. DOI: https://doi.org/10.1016/j.eswa.2021.115446 108. Sahoo, R. R., & Ray, M. (2020). PSO based test case generation for critical path using improved combined fitness function. Journal of King Saud University-Computer and Information Sciences, 32(4), 479-490. DOI: https://doi.org/10.1016/j.jksuci.2019.09.010 109. Arcuri, A., Lehre, P. K., & Yao, X. (2008, April). Theoretical runtime analyses of search algorithms on the test data generation for the triangle classification problem. In 2008 IEEE International Conference on Software Testing Verification and Validation Workshop (pp. 161-169). IEEE. DOI: https://doi.org/10.1109/ICSTW.2008.48 110. Petrovi, G., Ivankovi, M., Fraser, G., & Just, R. (2021, May). Does mutation testing improve testing practices? In 2021 IEEE/ACM 43rd International Conference on Software Engineering (ICSE) (910-921). IEEE. DOI: https://doi.org/10.1109/ICSE43902.2021.00087