Evaluación del impacto de QVRLAB: Diseño e implementación de pruebas de usuario en un laboratorio virtual de química general

Cesar David Monroy Rodriguez; Juan Gabriel  Cabrera Ortiz; Arbin Iscod  Polit Bustos

doi:10.22490/ECBTI.10002

Vol. 6 No. 1 (2025)

Published 2025-10-21

license

This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.

Artículos

Qvrlab impact evaluation: design and implementation of user tests in a virtual general chemistry laboratory

DOI: https://doi.org/10.22490/ECBTI.10002

Cesar David Monroy Rodriguez Universidad Nacional Abierta y a Distancia

Juan Gabriel Cabrera Ortiz Universidad Nacional Abierta y a Distancia

Arbin Iscod Polit Bustos Universidad Nacional Abierta y a Distancia

Pre-print (Spanish)

Abstract
References

This study describes the design and preliminary validation of a mixed-method instrument to evaluate user experience, usability, and pedagogical perception of the immersive prototype QVRLAB, designed for General Chemistry practices at UNAD. The process included expert review (n = 10), cognitive interviews, and a pilot test with students (n = 30) in controlled sessions.

The final questionnaire consists of 20 items grouped into three dimensions: functionality, usability, and pedagogical perception, using a 5-point Likert scale. Internal consistency was satisfactory: functionality α = .82; usability α = .85; pedagogical perception α = .88. Inter-rater agreement in the classroom observation guide, measured with the Intraclass Correlation Coefficient (ICC), exceeded 0.75 across criteria. Quantitative analyses (internal consistency and descriptives) were combined with qualitative analyses (structured observation and open-ended questions) to identify refinements in both the instrument and the prototype.

Based on the findings, the revised questionnaire is proposed as a tool for preliminary UX/usability evaluations in immersive educational environments. Further studies with larger samples are recommended to confirm factorial validity and to assess learning effects through pre–post designs.

keywords: Augmented reality, User experience, Instrument validation, Usability, Virtual laboratory, Chemistry teaching

Aiken, L. R. (1985). Three coefficients for analyzing the reliability and validity of ratings. Educational and Psychological Measurement, 45(1), 131–142.

Alqahtani, M., & Daghestani, L. (2020). Immersive virtual reality for learning: A review. Education and Information Technologies, 25, 5759–5789. https://doi.org/10.1007/s10639-020-10324-5

Cabero-Almenara, J., & Barroso-Osuna, J. (2019). Los escenarios de aprendizaje basados en realidad aumentada: posibilidades y retos. Comunicar, 27(59), 111–120. https://doi.org/10.3916/C59-2019-10

Calderón, S. J., Tumino, M. C., & Bournissen, J. M. (2020). Realidad virtual: impacto en el aprendizaje percibido de estudiantes de Ciencias de la Salud. Tecnología, Ciencia y Educación. https://doi.org/10.51302/tce.2020.441

Cantón Enríquez, D., Arellano Pimentel, J. J., Hernández López, M. Á., & Nieva García, O. S. (2017). Uso didáctico de la realidad virtual inmersiva con interacción natural de usuario enfocada a la inspección de aerogeneradores. Apertura, 9(2), 8–23. https://doi.org/10.18381/Ap.v9n2.1049

Cuadros-Vargas, E., Serrano, V., García-Zubía, J., & Hernández-Jayo, U. (2021). Design and evaluation of a user experience questionnaire for remote labs. IEEE Transactions on Education, 64(2), 115–122. https://doi.org/10.1109/TE.2020.3032014

Domínguez, A., & Jaime, A. (2018). Aprendizaje inmersivo: un estudio sobre la motivación en laboratorios virtuales. RIED. Revista Iberoamericana de Educación a Distancia, 21(1), 93–110. https://doi.org/10.5944/ried.21.1.18837

Fernández-Batanero, J. M., & Bermejo, B. (2020). Realidad virtual en educación superior: estudio de caso sobre usabilidad. RED. Revista de Educación a Distancia, 20(64), 1–20. https://doi.org/10.6018/red.402951

Fombona, J., Pascual-Sevillano, M. Á., & González-Videgaray, M. (2017). Realidad virtual y educación: posibilidades y retos. Pixel-Bit. Revista de Medios y Educación, (50), 197–210. https://doi.org/10.12795/pixelbit.2017.i50.13

Fonseca, D., Redondo, E., & Valls, F. (2016). Motivación y mejora del aprendizaje en realidad aumentada: validación de un cuestionario. Computers in Human Behavior, 57, 604–612. https://doi.org/10.1016/j.chb.2015.01.036

García, F., & Rodríguez, M. (2020). Estrategias de evaluación de la experiencia de usuario en entornos inmersivos. Revista de Educación Mediática y TIC (EDMETIC), 9(2), 72–91. https://doi.org/10.21071/edmetic.v9i2.12063

González, C. S. (2019). Usabilidad en entornos educativos: revisión y propuestas de evaluación. RIED. Revista Iberoamericana de Educación a Distancia, 22(2), 245–264. https://doi.org/10.5944/ried.22.2.23239

Jensen, L., & Konradsen, F. (2018). A review of the use of virtual reality head-mounted displays in education and training. Education and Information Technologies, 23, 1515–1529. https://doi.org/10.1007/s10639-017-9676-0

Koo, T. K., & Li, M. Y. (2016). A guideline of selecting and reporting intraclass correlation coefficients for reliability research. Journal of Chiropractic Medicine, 15(2), 155–163. https://doi.org/10.1016/j.jcm.2016.02.012

Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563–575.

Lerma García, L., Rivas Porras, D., Adame Gallegos, J. R., Ledezma Millán, F., López De La Torre, H. A., & Ortiz Palomino, C. E. (2020). Realidad Virtual como técnica de enseñanza en Educación Superior: perspectiva del usuario. Enseñanza & Teaching: Revista Interuniversitaria de Didáctica, 38(1), 111–123. https://doi.org/10.14201/et2020381111123

Makransky, G., Terkildsen, T. S., & Mayer, R. E. (2019). Adding immersive virtual reality to a science lab simulation causes more presence but less learning. Learning and Instruction, 60, 225–236. https://doi.org/10.1016/j.learninstruc.2017.12.007

Martín-Gutiérrez, J., Fabiani, P., Benesova, W., Meneses, M. D., & Mora, C. E. (2015). Augmented reality to promote collaborative and autonomous learning in higher education. Computers in Human Behavior, 51, 752–761. https://doi.org/10.1016/j.chb.2014.11.093

Mejías Martínez, G., Cuesta Díaz, V., & Gonzálvez Vallés, J. E. (2024). Realidad virtual, aumentada y mixta en el sector salud: perspectivas y experiencia del usuario en educación superior universitaria. European Public & Social Innovation Review, 9, 1–14. https://doi.org/10.31637/epsir-2024-558

Merchant, Z., Goetz, E. T., Cifuentes, L., Keeney-Kennicutt, W., & Davis, T. J. (2014). Effectiveness of virtual reality-based instruction on students’ learning outcomes in K-12 and higher education: A meta-analysis. Computers & Education, 70, 29–40. https://doi.org/10.1016/j.compedu.2013.07.033

Mikropoulos, T. A., & Natsis, A. (2011). Educational virtual environments: A ten-year review of empirical research. Computers & Education, 56(3), 769–780. https://doi.org/10.1016/j.compedu.2010.10.020

Moro, C., Štromberga, Z., Raikos, A., & Stirling, A. (2017). The effectiveness of virtual and augmented reality in health sciences and medical anatomy. Anatomical Sciences Education, 10(6), 549–559. https://doi.org/10.1002/ase.1696

Parong, J., & Mayer, R. E. (2018). Learning science in immersive virtual reality. Journal of Educational Psychology, 110(6), 785–797. https://doi.org/10.1037/edu0000241

Paul, R., & Elder, L. (2008). The miniature guide to critical thinking concepts and tools (rev. ed.). Foundation for Critical Thinking.

Predescu, S. L., Caramihai, S. I., & Moisescu, M. A. (2024). Percepciones de autoeficacia en docentes en formación en España: un estudio de caso de microenseñanzas utilizando realidad virtual inmersiva. Pixel-Bit. Revista de Medios y Educación, (71), 7–24. https://doi.org/10.12795/pixelbit.107712

Radianti, J., Majchrzak, T. A., Fromm, J., & Wohlgenannt, I. (2020). A systematic review of immersive virtual reality applications for higher education. Computers & Education, 147, 103778. https://doi.org/10.1016/j.compedu.2019.103778

Romero-Esquinas, M. H., Hidalgo-Ariza, M. D., Muñoz-González, J. M., & Ariza-Carrasco, C. (2024). La realidad virtual y el Diseño Universal de Aprendizaje: una manera inclusiva y actual de entender la educación. Revista de Investigación Educativa, 42(1), 123–140. https://doi.org/10.6018/rie.564881

Rubio-Tamayo, J. L., Gertrudix Barrio, M., & García García, F. (2018). Experiencia de usuario y diseño de interacciones en procesos creativos y ciencias educativas con tecnologías de realidad virtual y aumentada. Enseñanza & Teaching: Revista Interuniversitaria de Didáctica, 36(1), 63–79. https://doi.org/10.14201/et2183616379

Sandoval, J., & Tabash, H. (2021). Realidad virtual como apoyo innovador en la educación a distancia. Innovaciones educativas, (23). https://doi.org/10.22458/ie.v23iespecial.3622

Slater, M., & Sanchez-Vives, M. V. (2016). Enhancing our lives with immersive virtual reality. Frontiers in Robotics and AI, 3, Article 74. https://doi.org/10.3389/frobt.2016.00074

Tamayo Ravilla, J. R., & Acosta Rosales, R. A. (2024). Diseño + VR – Revisión Teórica de Conceptos. Revisión conceptual de la Experiencia de Usuario en Realidad Aumentada y Realidad Virtual. Cuadernos del Centro de Estudios de Diseño y Comunicación, (225). https://doi.org/10.18682/cdc.vi225.11248

Tavakol, M., & Dennick, R. (2011). Making sense of Cronbach’s alpha. International Journal of Medical Education, 2, 53–55. https://doi.org/10.5116/ijme.4dfb.8dfd

Verdugo Guamán, G., & Ramón Pacurucu, P. (2024). Realidad virtual en 3D: una herramienta inclusiva para la educación. Mamakuna, (22), 76–87. https://doi.org/10.70141/mamakuna.22.878

Villalustre, L., & Del Moral, M. E. (2017). Realidad virtual inmersiva para la enseñanza de ciencias: diseño y experimentación de un laboratorio virtual. Educación XX1, 20(2), 93–116. https://doi.org/10.5944/educxx1.19033

license

How to Cite

Monroy Rodriguez, C. D., Cabrera Ortiz, J. G. ., & Polit Bustos, A. I. . (2025). Qvrlab impact evaluation: design and implementation of user tests in a virtual general chemistry laboratory. Documentos De Trabajo ECBTI, 6(1). https://doi.org/10.22490/ECBTI.10002

Download Citation

Almétricas