Papel y lápiz o por computadora: un análisis para la evaluación de estrategias de lectura en inglés
DOI:
https://doi.org/10.15517/r1m8dy28Palabras clave:
Evaluación, Lengua, Lectura, Papel, ComputadoraResumen
Este estudio tiene como objetivo examinar la comparabilidad de las puntuaciones del Examen de Comprensión de Lectura (EDI) con ítems de opción múltiple institucionales en dos métodos de prueba, es decir, pruebas en papel y pruebas basadas en computa- dora, tomadas por estudiantes costarricenses de primer año de diferentes carreras en la Universidad de Costa Rica, Costa Rica. El análisis abordó los dos tipos de aplicación mediante la comparación del desempeño en la prueba y el funcionamiento diferencial de los ítems (DIF por sus siglas en inglés), en 1145 estudiantes, durante el mes de febrero del año 2023. Los hallazgos revelaron que las diferencias entre ambos tipos de aplicación son mínimas y débiles. Además, dichas diferencias muestran una pequeña ventaja de la prueba en computadora sobre la aplicación en papel. Este estudio ejemplifica cómo aprovechar las pruebas en computadora sin afectar a los candidatos al adaptar un ins- trumento de medición de papel al formato digital.
Referencias
American Educational Research Association, American Psychological Association, and National Council on Measurement in Education. (2014). Standards for Educational and Psychological Testing.
Anakwe, B. (2008). Comparison of student performance in paper-based versus computer based testing. Journal of Education for Business, 84(1), 13–17. https://doi.org/10.3200/joeb.84.1.13-17
Araya-Garita, W. (2021). Dominio lingüístico en inglés en estudiantes de secundaria para el año 2019 en Costa Rica. Revista De Lenguas Modernas, 34, 1–21. https://doi.org/10.15517/rlm.v0i34.43364
Araya, W. & Acosta, A. (2022). The design of the test of English for young learners. Proceedings of the IV English Teaching Congress, 42-52. https://doi.org/10.18845/mct.v28i1.2022
Bechger, T. M., & Maris, G. (2015). A statistical test for differential item pair functioning. Psychometrika, 80, 317-340.
Boo, J., & Vispoel, W. (2012). Computer versus paper-and-pencil assessment of educational development: A comparison of psychometric features and examinee preferences. Psychological Reports, 111(2), 443–460. https://doi.org/10.2466/10.03.11.pr0.111.5.443-460
Brown, H. D., & Abeywickrama, P. (2019). Language assessment: Principles and classroom practices (3rd ed.). Pearson Education.
Brunfaut, T., Harding, L., & Batty, A. O. (2018). Going online: The effect of mode of delivery on performances and perceptions on an English L2 writing test suite. Assessing Writing, 36, 3-18. https://doi.org/10.1016/j.asw.2018.02.003
Chan, S., Bax, S., & Weir C. (2018). Researching the comparability of paper-based and computer-based delivery in a high-stakes writing test. Assessing Writing, 36, 32-48. https://doi.org/10.1016/j.asw.2018.03.008
Chen, X., Aryadoust, V., & Zhang, W. (2024). A systematic review of differential item functioning in second language assessment. Language Testing, 42(2), 193-222. https://doi.org/10.1177/02655322241290188
Choi, I. C., Kim, K. S., & Boo, J. (2003). Comparability of a paper-based language test and a computer-based language test. Language Testing, 20(3), 295-320. https://doi.org/10.1191/0265532203lt258oa
Chua, Y. P. (2012). Effects of computer-based testing on test performance and testing motivation. Computers in Human Behavior, 28(5), 1580-1586. https://doi.org/10.1016/j.chb.2012.03.020
Coniam, D. (2006). Evaluating computer-based and paper-based versions of an English-language listening test. ReCALL, 18(2), 193–211, https://doi.org/10.1017/S0958344006000425
Creswell, J. W. & Creswell, J. D. (2018). Research design: Qualitative, quantitative, and mixed methods approaches (5th ed.). SAGE Publications
Guapacha Chamorro, M. E. (2022). Cognitive validity evidence of computer- and paper-based writing tests and differences in the impact on EFL test-takers in classroom assessment. Assessing Writing, 51. https://doi.org/10.1016/j.asw.2021.100594
Harida, E. S. (2016). Using critical reading strategies; One way for assessing students’ reading comprehension. Proceedings of ISELT FBS Universitas Negeri Padang, 4(1), 199–206.
Hosseini, M., Abidin, M. J. Z., & Baghdarnia, M. (2014). Comparability of test results of computer based tests (CBT) and paper and pencil tests (PPT) among English language learners in Iran. Procedia-Social and Behavioral Sciences, 98, 659-667. https://doi.org/10.1016/j.sbspro.2014.03.465
Jiao, H., & Wang, S. (2010). A multifaceted approach to investigating the equivalence of computer-based and paper-and pencil assessments: An example of reading diagnostics. International Journal of Learning Technology, 5(3), 264. https://doi.org/10.1504/ijlt.2010.037307
Jin, Y., & Yan, M. (2017). Computer Literacy and the Construct Validity of a High-Stakes Computer-Based Writing Assessment. Language Assessment Quarterly, 14(2), 101–119. https://doi.org/10.1080/15434303.2016.1261293
Kolen, M. J. (1999). Threats to score comparability with applications to performance assessments and computerized adaptive tests. Educational Assessment, 6(2), 73–96. https://doi.org/10.1207/s15326977ea0602_01
Kunnan, A.J., & Carr, N. (2017). A comparability study between the general english proficiency test- advanced and the internet-based test of english as a foreign language. Language Testing in Asia, 7, 1-16. https://doi.org/10.1186/s40468-017-0048-x
Lord, F. (1980). Applications of item response theory to practical testing problems. Routledge. https://doi.org/10.4324/9780203056615
Lottridge, S., Nicewander, A., Schulz, M. & Mitzel, H. (2008). Comparability of paper-based and computer-based tests: A review of the methodology. Monterey: Pacific Metrics Corporation.
Magis, D., Béland, S., Tuerlinckx, F. & de Boeck, P. (2010). A general framework and an R package for the detection of dichotomous differential item functioning. Behavior Research Methods, 42, 847–862. https://doi.org/10.3758/BRM.42.3.847
Martínez, M. R., Hernández, M. J., & Hernández, M. V. (2014). Psicometría. Madrid: Alianza Editorial.
O’Sullivan, B. (2016). Adapting tests to the local context. In New directions in language assessment: JASELE journal special edition (pp. 145-158). Japan Society of English Language Education & the British Council.
Pearson. (n.d.). Text Analyzer – GSE Teacher Toolkit. https://www.english.com/gse/teacher-toolkit/user/textanalyzer
Programa de Evaluación en Lenguas Extranjeras. (n.d). Tabla de especificaciones Examen de Diagnóstico de Inglés (EDI). Archivo.
R Core Team. (2023). R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing, Vienna, Austria. https://www.R-project.org/
Raju, N. S. (1990). Determining the significance of estimated signed and unsigned areas between two item response functions. Applied Psychological Measurement, 14, 197-207. https://doi.org/10.1177/014662169001400208
Swaminathan, H., & Rogers, H. J. (1990). Detecting differential item functioning using logistic regression procedures. Journal of Educational Measurement, 27(4), 361–370.
Tajuddin, E. S., & Mohamad, F. S. (2019). Paper versus screen: Impact on reading comprehension and speed. Indonesian Journal of Education Methods Development, 3(2). https://doi.org/10.21070/ijemd.v3i2.20
Wang, S., Jiao, H., Young, M. J., Brooks, T., & Olson, J. (2008). Comparability of computer-based and paper-and-pencil testing in k-12 reading assessments: A meta-analysis of testing mode effects. Educational and Psychological Measurement, 68(1), 5–24. https://doi.org/10.1177/0013164407305592
Wei, Y. (2025). Building an adaptive test model for English reading comprehension in the context of online education. Service Oriented Computing and Applications, 19(1), 1–13. https://doi.org/10.1007/s11761-024-00395-x
Yeom, S., & Henry, J. (2020). Young Korean EFL learners’ reading and test taking strategies in a paper and a computer-based reading comprehension tests. Language Assessment Quarterly, 17(3), 282-299. https://doi.org/10.1080/15434303.2020.1731753
Yu, W., & Iwashita, N. (2021). Comparison of test performance on paper-based testing (PBT) and computer-based testing (CBT) by English-majored undergraduate students in China. Language Testing in Asia, 11, 32. https://doi.org/10.1186/s40468-021-00147-0
Descargas
Publicado
Número
Sección
Licencia
Derechos de autor 2025 Alejandro Fallas Godinez, Walter Araya Garita (Autor/a)
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-SinDerivadas 4.0.
Los autores(as) que publiquen en la Revista de Lenguas Modernas (RLM) aceptan las siguientes condiciones:
Los autores(as) conservan sus derechos morales y ceden a la RLM el derecho de publicación, reproducción y distribución de su trabajo registrado con la licencia de atribucióan de Creative Commons Attribution-NonCommercial-NoDerivatives 4.0. International License, que permite a terceros utilizar lo publicado siempre que mencionen la autoría del trabajo, el origen de la publicación (Revista de Lenguas Modernas) y no se altere el contenido publicado.
Esta obra está bajo una Licencia Creative Commons Atribución-NoComercial-SinDerivar 4.0 Internacional.
Los autores(as) pueden realizar otros acuerdos contractuales independientes y adicionales para la distribución no exclusiva de la versión del artículo publicado en la RLM (p. ej., incluirlo en un repositorio institucional o publicarlo en un libro, sitio web personal, blog o repositorio institucional).
Se permite y recomienda a los autores(as) publicar su trabajo en portales académicos, repositorios, bases de datos y cualquier medio disponible, pues conduce a intercambios productivos y a una mayor y más rápida difusión de lo publicado (The Effect of Open Access).
