El Análisis Cognitivo de Tareas como Herramienta para mejorar la Confiabilidad entre Evaluadores al Calificar una Prueba de Admisión de Escritura
DOI:
https://doi.org/10.15517/y7x41780Palabras clave:
análisis de tareas, procesos cognitivos, evaluación escritura, validación, operacionalización de tareasResumen
El Análisis Cognitivo de Tareas (CTA) ha probado ser útil para el diseño de programas de entrenamiento en diversas áreas del quehacer profesional y académico del ser humano. Este artículo explora su uso como una herramienta que incremente niveles de validez, confiabilidad y justicia, entre otros componentes evaluativos, y de esta manera prever su uso en una futura calibración del proceso de jueceo de una evaluación de escritura de altas consecuencias al analizar los pensamientos y descripción de procesos de jueces expertos mientras estos calificaban ensayos de candidatos. Esta investigación implementó técnicas de obtención de datos del CTA tales como grabaciones, transcripciones, y reportes provistos por expertos en la materia (SMEs). Primeramente, en la etapa uno, se les solicitó a estudiantes voluntarios escribir un ensayo con el mismo recurso, propósito y condiciones del examen real. Luego, cuatro SMEs calificaron tres de estos ensayos y grabaron sus pensamientos en forma oral y escrita basados en indicaciones específicas provistas por los investigadores. La información fue analizada y seis categorías de análisis fueron identificadas. En la etapa dos, tras un análisis cualitativo y la sistematización de información, se reconocieron tres de las seis categorías como elementos clave del campo de acción de los jueces: operacionalización del trabajo (conocimiento procedimental), procesos cognitivos para las tareas de jueceo (conocimiento declarativo), y el instrumento de evaluación. Durante esta fase, los ensayos escritos por los candidatos fueron reales. A dos jueces se les asignó tres composiciones específicas, y se les solicitó grabar sus pensamientos y procesos mientras realizaban la tarea. Se espera que los resultados del análisis de las tres categorías sean útiles para el mejoramiento de procesos internos a largo plazo y se refieran en futuros entrenamientos para jueces.
Descargas
Referencias
American Educational Research Association (AERA), American Psychological Association (APA), & National Council on Measurement in Education (NCME) (Eds.), (2014). Standards for educational and psychological testing. American Educational Research Association.
Barkaoui, K. (2011). Think-aloud protocols in research on essay rating: An empirical study of their veridicality and reactivity. Language Testing 28(1), 51-75. https://doi.org/10.1177/0265532210376379
Burgos, M., López-Martín, M., Aguayo-Arriagada, C., & Albanese, V. (2022). Análisis cognitivo de tareas de comparación de probabilidades por futuro profesorado de Educación Primaria. Uniciencia, 36(1), 588-611. https://dx.doi.org/10.15359/ru.36-1.38
Cannon-Bowers, J., Bowers, C., Stout, R., Ricci, & K., Hildabrand, A. (2013). Using cognitive task analysis to develop simulation-based training for medical tasks. Military Medicine, 178(10), 15-21. https://doi.org/10.7205/MILMED-D-13-00211
Clark, R., Feldon, D, Van Merriënboer, J., Yates, K, & Early, S. (2008). Cognitive task analysis. In Spector, J, Merril, M.D., Van Merriemboer, J., Driscoll, M. (Eds.), Handbook of Research on Educational Communications and Technology (3rd ed., pp.577-593). Routledge.
Council of Europe (2001). Common European framework of reference for languages: Learning, teaching, assessment. Press Syndicate of the University of Cambridge.
Crandall, B., Klein, G. A., & Hoffman, R. R. (2006). Working minds: A practitioner’s guide to cognitive task analysis. MIT Press.
Gallagher, J.P. (1979). Cognitive/information processing psychology and instruction: Reviewing recent theory and practice. Instructional Science, 8, 393-414. http://www.jstor.org/stable/23368243
Hoffman, R., Crandall, B., & Shadbolt, N. (1998). Use of the critical decision method to elicit expert knowledge: A case study in the methodology of cognitive task analysis. Human Factors, 40(2), 254-276. https://doi.org/10.1518/001872098779480442
Hoffman, R., & Militello, L. (2008). Perspectives on Cognitive Task Analysis: Historical Origins and Modern Communities of Practice. Psychology Press.
Honko, M., Neittaanmäki, R., Jarvis, S., & Huhta, A. (2023). Beyond literacy and competency – The effects of raters’ perceived uncertainty on assessment of writing. Assessing Writing, 57. https://doi.org/10.1016/j.asw.2023.100768
Klein, G. A., Calderwood, R., & MacGregor, D. (1989). Critical decision method for eliciting knowledge. IEEE Transactions on Systems, Man, & Cybernetics, 19(3), 462–472. https://doi.org/10.1109/21.31053
Klein, G., & Militello, L. (2001). Some guidelines for conducting a cognitive task analysis. In E. Salas (Ed.), Advances in human performance and cognitive engineering research (pp. 163–199). Elsevier Science/JAI Press. https://doi.org/10.1016/S1479-3601(01)01006-2
Knisely, B. M., Joyner, J. S., & Vaughn-Cooke, M. (2021). Cognitive task analysis and workload classification. MethodsX, 8(101235). https://doi.org/10.1016/j.mex.2021.101235
Lyness, S.A., Peterson, K., & Yates, K. (2021). Low Inter-Rater Reliability of a High Stakes Performance Assessment of Teacher Candidates. Education Sciences,11, 648. https://doi.org/10.3390/educsci11100648
McManus, K. (Ed.). (2024). Usage in Second Language Acquisition: Critical Reflections and Future Directions (1st ed.). Routledge.
Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741–749. https://doi.org/10.1037/0003-066X.50.9.741
Militello, L., & Hutton, R. (1998). Applied cognitive task analysis (ACTA): a practitioner’s toolkit for understanding cognitive task demands. Ergonomics, 41(11), pp. 1618-1641. https://doi.org/10.1080/001401398186108
Otálora , Y. (2019). El análisis cognitivo de tareas como estrategia metodológica para comprender y explicar la cognición humana. Universitas Psychologica, 18(3), 1-12. https://doi.org/10.11144/Javeriana.upsy18-3.acte
Schraagen, J. M., Chipman, S. F., & Shalin, V. L. (Eds.). (2000). Cognitive task analysis. Psychology Press.
Snow, E. & Katz, I. (2009). Using Cognitive Interviews to Validate an Interpretive Argument for the ETS iSkills™ Assessment. Communications in Information Literacy 3(2), 99-128. http://dx.doi.org/10.15760/comminfolit.2010.3.2.75
Solís Hernández, M. (2009). Graduates’ Degree of Satisfaction with the MA Program in Teaching English as Foreign Language at the University of Costa Rica. Revista de Lenguas Modernas, (10). https://revistas.ucr.ac.cr/index.php/rlm/article/view/8900
Tofel-Grehl, C. & Feldon, D. (2013). Cognitive Task Analysis-Based Training: A Meta-Analysis of Studies. Journal of Cognitive Engineering and Decision Making. 7. 293-304. https://doi.org/10.1177/1555343412474821
Watkins, R.; & Visser, Y. (2009). Cognitive Task Analysis. In Biech, E. (Ed.), The 2009 Pfeiffer Annual: Talent Management. Jossey-Bass/Pfeiffer. https://www.learndev.org/People/YusraVisser/2008_VisserWatkins_CogTaskAnalysisPfeiffer.pdf
Descargas
Publicado
Número
Sección
Licencia
Derechos de autor 2025 Jorge Calvo Jiménez, Ana Carolina González Ramírez (Autor/a)
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-SinDerivadas 4.0.
Los autores(as) que publiquen en la Revista de Lenguas Modernas (RLM) aceptan las siguientes condiciones:
Los autores(as) conservan sus derechos morales y ceden a la RLM el derecho de publicación, reproducción y distribución de su trabajo registrado con la licencia de atribucióan de Creative Commons Attribution-NonCommercial-NoDerivatives 4.0. International License, que permite a terceros utilizar lo publicado siempre que mencionen la autoría del trabajo, el origen de la publicación (Revista de Lenguas Modernas) y no se altere el contenido publicado.
Esta obra está bajo una Licencia Creative Commons Atribución-NoComercial-SinDerivar 4.0 Internacional.
Los autores(as) pueden realizar otros acuerdos contractuales independientes y adicionales para la distribución no exclusiva de la versión del artículo publicado en la RLM (p. ej., incluirlo en un repositorio institucional o publicarlo en un libro, sitio web personal, blog o repositorio institucional).
Se permite y recomienda a los autores(as) publicar su trabajo en portales académicos, repositorios, bases de datos y cualquier medio disponible, pues conduce a intercambios productivos y a una mayor y más rápida difusión de lo publicado (The Effect of Open Access).
