Efecto de una capacitación sobre los puntajes de la prueba de admisión de la Universidad de Costa Rica: una aproximación bayesiana

Montero Rojas, Eiliana; Rojas-Rojas, Guaner; Negrín-Hernández, Miguel; Francis-Salazar, Susan

doi:10.15517/ap.v29i119.19283

Autores/as

Eiliana Montero Rojas Universidad de Costa Rica Autor/a
Guaner Rojas-Rojas Universidad de Costa Rica Autor/a
Miguel Negrín-Hernández Universidad de Las Palmas de Gran Canaria Autor/a
Susan Francis-Salazar Universidad de Costa Rica Autor/a

DOI:

https://doi.org/10.15517/ap.v29i119.19283

Palabras clave:

evaluación de impacto, modelos jerárquicos bayesianos, efectos de capacitación, prueba de admisión a la Universidad, modelos multinivel

Resumen

Se usó un diseño cuasi-experimental con pre y post-test para estimar el efecto de una capacitación para la prueba de admisión de la Universidad Costa Rica, un test estandarizado que mide habilidades de razonamiento en contextos verbales y matemáticos. Cuatro colegios públicos del área metropolitana central del país participaron en el estudio, asignándose dos de ellos aleatoriamente al grupo de intervención y los otros dos al grupo de control, con 61 estudiantes en el primer grupo y 80 en el segundo. La intervención consistió de 5 sesiones de capacitación de 3 horas, utilizando como guía un manual desarrollado por una experta pedagoga, con enfoque constructivista. Las medidas antes y después fueron formas reducidas de la prueba de admisión 2014. La variable dependiente fue la diferencia entre ambas mediciones. El efecto de la capacitación fue de 3.5 puntos porcentuales y significativo, y se estimó utilizando un modelo bayesiano de regresión multinivel.

Descargas

Los datos de descarga aún no están disponibles.

Biografía del autor/a

Eiliana Montero Rojas, Universidad de Costa Rica

Eiliana Montero Rojas es doctora en Medición y Evaluación Educativa de la Universidad Estatal de Florida, USA, y bachiller en Estadística de la Universidad de Costa Rica. Catedrática de la UCR desde 1993, se desempeña como docente e investigadora en la Escuela de Estadística, en el Instituto de Investigaciones Psicológicas y en diversos programas de posgrado.

Referencias

Baydar, N. (1990). Effects of coaching on the validity of the SAT: Results of a simulation study. In W. W. Wilingham, C. Lewis, R. Morgan, and L. Ramist (Eds.), Predicting college grades: An analysis of institutional trends over two decades. Princeton, New Jersey: ETS.

Bock, R.D. (Ed.) (1989). Multilevel Analysis of Educational Data. San Diego: Academic Press.

Browne, W.J., & Draper D. (2006). A comparison of Bayesian and likelihood-based methods for fitting multilevel models. Bayesian Analysis, 1(3), 473-514. DOI: https://doi.org/10.1214/06-BA117

Burns, G. N., Siers, B. P., & Christiansen, N. D. (2008). Effects of providing pre-test information and preparation materials on applicant reactions to selection procedures. International Journal of Selection and Assessment, 16(1), 73-77. DOI: https://doi.org/10.1111/j.1468-2389.2008.00411.x

Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research on teaching. In N. L. Gage (Ed.), Handbook of research on teaching (pp. 171–246). Chicago, IL: Rand McNally.

Carey, K. (2000). A multilevel modeling approach to analysis of patient costs under managed care. Health Economics, 9, 435-446. DOI: https://doi.org/10.1002/1099-1050(200007)9:5<435::AID-HEC523>3.0.CO;2-Z

Cohen, A. D. (2006). The coming of age of research on test taking strategies. Language Assessment Quarterly, 3(4) 307-331. DOI: https://doi.org/10.1080/15434300701333129

Crocker, L. (2005). Teaching for the test: How and why test preparation is appropriate. In R. P. Phelps (Ed.), Defending standardized testing (pp. 159–174). Mahwah, NJ: Lawrence Erlbaum Associates.

Fernández, A. & Del Valle, R. (2013). Desigualdad educativa en Costa Rica: La brecha entre estudiantes de colegios públicos y privados. Análisis con los resultados de la evaluación internacional PISA. Revista CEPAL, 111. DOI: https://doi.org/10.18356/38309458-es

Flippo, R. F., Becker, M. J., & Wark, D. M. (2000). Preparing for and taking tests. Mahwah, NJ: Lawrence Erlbaum Associates Publishers.

Gelman, A. (2006). Prior distributions for variance parameters in hierarchical models. Bayesian Analysis, 1, 515-533. DOI: https://doi.org/10.1214/06-BA117A

Gelman, A. & Hill, J. (2007). Data Analysis Using Regression and Multilevel/Hierarchical Models.Cambridge: Cambridge University Press. DOI: https://doi.org/10.32614/CRAN.package.arm

Gilks, W., Richardson, S., & Spiegelhalter, D. (1996). Markov Chain Monte Carlo in Practice. Londres: Chapman and Hall. DOI: https://doi.org/10.1201/b14835

Goldstein, H. (1987). Multilevel models in education and social research. New York:Oxford University Press.

Goldstein, H. (1995). Multilevel Statistical Models.Londres: Edward Arnold.

Goldstein, H., Browne, W., & Rasbash, J. (2002). Multilevel modelling of medical data. Statistics in Medicine, 15, 3291-3315. DOI: https://doi.org/10.1002/sim.1264

Harmon, M. G., Morse, D. T., & Morse, L. W. (1996). Confirmatory factor analysis of the Gibb Experimental Test of Testwiseness. Educational and Psychological Measurement, 56(2), 276-286. DOI: https://doi.org/10.1177/0013164496056002008

Koriat, A., & Bjork, R. A. (2006). Illusions of competence during study can be remedied by manipulations that enhance learners’ sensitivity to retrieval conditions at test. Memory & Cognition,34(5),959-972. DOI: https://doi.org/10.3758/BF03193244

Kulik, J. A., Bangert-Drowns, R. L., & Kulik, C. (1984). Effectiveness of coaching for aptitude tests. Psychological Bulletin, 95(2), 179-188. DOI: https://doi.org/10.1037//0033-2909.95.2.179

Lambert, P., Sutton, A., Burton, P., Abrams, R., Jones, D. (2005). How vague is vague? A simulation study of the impact of the use of vague prior distributions in MCMC using WinBUGS. Statistics in Medicine, 24, 2401-2428. DOI: https://doi.org/10.1002/sim.2112

Leyland, A., & Goldstein, H. (2001). Multilevel Modeling of Health Statistics. Willey: Chichester.

Martínez-Cardenoso, J., Muniz, J., & García Cueto, E. (2000). Efecto del entrenamiento sobre las propiedades psicométricas de los tests. Psicothema, 12(Suppl2) 2000, 363-367.

Messick, S. (1989). Meaning and values in test validation: The science and ethics of assessment. Educational Researcher, 18 (2), 5-11. DOI: https://doi.org/10.3102/0013189X018002005

Millman, J., Bishop, C. H., & Ebel, R. (1965). Analysis of test wiseness in the cognitive domain. Educational and Psychological Measurement, 18, 787–790. DOI: https://doi.org/10.1037/t19676-000

Ministerio de Educación Pública de Costa Rica (MEP) (2012). Informe Nacional de Factores Asociados al Rendimiento Académico en las Pruebas Nacionales Diagnósticas, III Ciclo de la Educación General Básica, 2010. San José, Costa Rica: Dirección de Gestión y Evaluación de la Calidad, Departamento de Evaluación Académica y Certificación, Ministerio de Educación Pública.

Montero, E., Rojas, S., Rodino, A. & Zamora, E. (2012). Costa Rica en las pruebas PISA 2009 de competencia lectora y alfabetización matemática. Cuarto Informe Estado de la Educación. San José: Programa Estado de la Nación.

Montero, E. (2014). Dimensiones de lectura como predictoras de los puntajes en las pruebas PISA-Costa Rica-2009 y PAA de la UCR: Evidencias de regresiones corregidas por estructura multinivel. Ponencia presenta en las Jornadas de Investigación 2014 del Instituto de Investigaciones Psicológicas de la Universidad de Costa Rica.

Moreira, T. E. (2009). Relación entre factores individuales e institucionales con el rendimiento en matemática: Un análisis multivariado. Avances en Medición, 7, 115-128

Morse, D.T. (1998). The Relative Difficulty of Selected Test-Wiseness Skills among College Students. Educational and Psychological Measurement, 58(3), 399-408. DOI: https://doi.org/10.1177/0013164498058003003

Powers, D. E. (1993). Coaching for the SAT: A summary of the summaries and an update. Educational Measurement: Issues and Practice, 12, 24-39. DOI: https://doi.org/10.1002/j.2333-8504.1993.tb01543.x

Powers, D. E., & Rock, D. A. (1999). Effects of coaching on SAT I: Reasoning Test scores. Journal of Educational Measurement, 36(2), 93-118. DOI: https://doi.org/10.1111/j.1745-3984.1999.tb00549.x

Raudenbush, S. W., & Bryk, A. S. (2002) Hierarchical Linear Models. Applications and Data Analysis Methods.Second Edition. Londres: Sage Publications.

Raudenbush, S.W., & Willms, J.D. (Eds.). (1991). Schools, Classrooms, and Pupils: International Studies of Schooling from a Multilevel Perspective. San Diego: Academic Press.

Rice, N., & Jones, A. (1997). Multilevel models and health economics. Health Economics, 6, 561-575. DOI: https://doi.org/10.1002/(SICI)1099-1050(199711)6:6<561::AID-HEC288>3.0.CO;2-X

Rice, N., & Leyland, A. (1996). Multilevel models: Applications to health data. Journal of Health Services Research and Policy, 1, 154-164. DOI: https://doi.org/10.1177/135581969600100307

Rojas, L. (2004). Factores Asociados a la Repitencia de los y las Estudiantes que Cursan Sétimo Año en Colegios Académicos, Diurnos y Públicos: Un Modelo de Análisis de Niveles Múltiples. Tesis doctoral. San José, Costa Rica: Universidad Estatal a Distancia.

Samson, G.E. (1985). Effects of Training in Test-Taking Skills on Achievement Test Performance: A Quantitative Synthesis. The Journal of Educational Research, 78(5), 261-266. DOI: https://doi.org/10.1080/00220671.1985.10885613

Sarnacki, R.E. (1979). An Examination of Test-Wiseness in the Cognitive Test Domain. Review of Educational Research, 49(2), 252-279. DOI: https://doi.org/10.3102/00346543049002252

Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Boston: Houghton Mifflin Company.

Shulman, L. S. (2013). When Coaching and Testing Collide. Carnegie Perspectives: Current news views and links form the Carnegie Foundation http://www.carnegiefoundation.org/perspectives/when-coaching-and-testing-collide

Snijders, T., & Bosker, R. (1999). Multilevel Analysis. Londres: Sage Publications.

Trejos, J.D. (2010). Indicadores sobre equidad en la educación para Costa Rica. Tercer Informe Estado de la Educación.San José: Programa Estado de la Nación.