Revista de Lenguas Modernas, N.° 34, 2021 / 01-21
ISSN electrónico: 2215-5643
ISSN impreso: 1659-1933
DOI: 10.15517/rlm.v0i34.43364
Dominio lingüístico en inglés en estudiantes de secundaria para el año 2019 en Costa Rica
English Language Proficiency of Highschool Students in 2019 in Costa Rica
Walter Araya Garita
Escuela de Lenguas Modernas
Universidad de Costa Rica
ORCID ID: 0000-0002-5340-6384
Resumen
La evaluación estandarizada que determina el nivel de idioma de las personas es una práctica cada vez más común en el contexto socioeducativo actual. Costa Rica no es la excepción. La Universidad de Costa Rica y el Ministerio de Educación Pública han estado trabajando para crear y aplicar diferentes instrumentos a varias poblaciones tanto internas como externas a estas instituciones. Este artículo describe el contexto para la aplicación de la primera prueba de dominio del inglés aplicada a estudiantes de último año de la educación general básica y educación diversificada en las destrezas de comprensión de lectura y comprensión auditiva por medio de una computadora. Además, este artículo describe los principales conceptos teóricos para la construcción de instrumentos de evaluación estandarizada. Por otro lado, muestra los principales resultados del examen aplicado a
55 143 estudiantes de todo el país de acuerdo con la modalidad de institución en el año 2019.
Palabras clave: evaluación estandarizada, dominio del idioma inglés, enseñanza del inglés
Abstract
Standardized evaluation to measure people’s language proficiency is a more common practice in the current socio-educative context. Costa Rica is not the exception. The University of Costa Rica and the Ministry of Education have been working to create and use different instruments to different internal and external populations.This paper describes the context of the first language proficiency test to high school students to measure reading and listening comprehension through a computer-based exam. Besides, this paper describes the main theoretical concepts to design instruments for standardized evaluation. On the other hand, it shows the most important results of the test taken by 55 143 students all over the country based on the type of the institution in 2019.
Keywords: standardized evaluation, English language proficiency, teaching English
Introducción
A partir del año 2019, el Ministerio de Educación Pública de Costa Rica (MEP) acuerda aplicar, como requisito de graduación, una prueba de dominio lingüístico de idioma inglés o francés al estudiantado de último año de la educación diversificada en las diferentes modalidades de colegios o programas académicos (públicos y privados), así como técnicos. Antes de este cambio, en Costa Rica y por más de cuatro décadas, los y las estudiantes de último año de colegio debían realizar una serie de pruebas nacionales denominadas exámenes de bachillerato, con el fin de obtener ese grado académico. En total, los(as) estudiantes debían realizar seis pruebas en las áreas de español, estudios sociales, matemática, educación cívica, un idioma (inglés o francés) y una del área de ciencias (física, química o biología) (Bolaños Guerrero, 2006). En el caso específico de la prueba de idioma, esta medía el conocimiento del estudiantado en cuanto a los contenidos abordados durante los años de estudio. Por el contrario, la prueba de dominio lingüístico aplicada en el año 2019 tiene como objetivo evaluar competencias desarrolladas durante el proceso de enseñanza-aprendizaje.
Para esta convocatoria en el idioma francés, el MEP utiliza la prueba denominada Ev@lang, elaborada por el Departamento de Evaluación y Certificación del CIEP-Francia. Para el idioma inglés, la prueba fue desarrollada por la Escuela de Lenguas Modernas (ELM) de la Universidad de Costa Rica (UCR) y se denomina Prueba de Ubicación en Idioma Inglés. Este cambio implementado por el MEP es acorde al Plan Nacional de Desarrollo de Inversión Pública del Bicentenario del Gobierno de Costa Rica (2019), mediante el cual se pretende incrementar las competencias en el idioma inglés a nivel nacional y regional. La prueba mide únicamente el desempeño del grupo de estudiantes en las destrezas receptivas de comprensión de lectura y comprensión auditiva.
En el caso específico del idioma inglés, como se mencionó anteriormente, el instrumento de evaluación fue desarrollado por el Programa de Evaluación y Capacitación en Lenguas Extranjeras (PELEx) de la Escuela de Lenguas Modernas de la Universidad de Costa Rica. Esta unidad académica tiene más de 20 años de experiencia en la elaboración de pruebas estandarizadas de ubicación, diagnóstico y certificación en más de 20 idiomas para diferentes poblaciones (Escuela de Lenguas Modernas, 2009).
Además, es importante mencionar que este documento es el primero de una serie de artículos en donde se describen los principales resultados de esta aplicación específica para el MEP en el idioma inglés durante el año 2019. El objetivo de este escrito es dar a conocer de manera general los resultados obtenidos en esta primera convocatoria, la cual es considerada como un hito en Latinoamérica, según la propia Ministra de Educación (MEP, 2019). La información se presenta de manera global con el fin de no irrespetar la confidencialidad de las personas participantes.
En primera instancia, se presentarán los antecedentes de la aplicación para este examen en específico. Seguidamente, se describirá el marco contextual para la elaboración de exámenes estandarizados de dominio lingüístico. Finalmente, se expone el contexto de la aplicación, así como los resultados comparativos por modalidad de institución y algunas recomendaciones para futuras aplicaciones.
Antecedentes
En el marco del bilingüismo, el Ministerio de Educación Pública emite, en el mes de octubre del año 2019, la resolución DVM-AC-033-2019, mediante la cual se comunica el cambio en la manera de evaluar a los y las estudiantes de último año de la educación diversificada en Costa Rica (MEP, 2019). En ese mismo documento, se establece que se evaluarán competencias lingüísticas y no contenidos como históricamente se había realizado. El examen debe ser aplicado por computadora y, en el caso de inglés, se le asigna la responsabilidad a la Escuela de Lenguas Modernas de la Universidad de Costa Rica. La población meta está compuesta por más de 60 000 estudiantes de todo el país.
En Costa Rica, existen varias opciones para certificar el nivel de idioma inglés, entre las cuales están los exámenes estandarizados llamados ELASH, TOEIC, TOEFL, IELTS, PTE de Pearson y los exámenes Cambridge, entre otros. En otros idiomas, encontramos pruebas como DALF en francés, Goethe-Zertifikat en alemán, PLIDA en italiano y CELPE-Bras en portugués. Todas estas pruebas también fueron avaladas por el MEP para que la población estudiantil pudiera tomarlas, siempre y cuando el colegio o el alumnado asumiera el costo para el concepto de matrícula para el examen.
De igual manera, es necesario señalar que la Escuela de Lenguas Modernas de la Universidad de Costa Rica realiza diferentes pruebas estandarizadas para diferentes poblaciones tanto internas como externas a esta casa de enseñanza de educación superior. Esta práctica se da desde el año 1999 (ELM, 2009). En la actualidad, la ELM cuenta con profesionales con conocimientos técnicos necesarios para desempeñarse como evaluadores internacionales y tienen los conocimientos técnicos necesarios para certificar el nivel de competencia en un segundo idioma, según corresponda. Este grupo de profesionales ha sido certificado por organizaciones como el American Council of the Teaching of Foreign Languages (conocido como ACTFL, por sus siglas en inglés), el Ministerio de Educación de Brasil y el Ministerio de Educación de la República de Francia.
Además, se cuenta con un grupo importante de profesionales en la creación de ítems, validación de evidencias, aplicación y análisis de este tipo de pruebas estandarizadas, así como la infraestructura y equipamiento necesario para el desarrollo de los exámenes. A partir de este escenario, la Escuela de Lenguas Modernas cuenta con diferentes proyectos de acción social, investigación y docencia, los cuales tienen como uno de sus fines principales determinar evidencias de validez y confiabilidad de las diferentes pruebas de idiomas que se desarrollan en esta unidad académica. Asimismo, la Escuela de Lenguas Modernas, desde 2016, cuenta con el apoyo de investigadores, quienes son los responsables de realizar estudios psicométricos para estas pruebas.
Estas experiencias han permitido mejorar las herramientas de evaluación de manera constante, lo cual facilita ofrecer este servicio con importante respaldo técnico-científico a la sociedad costarricense y a una diversidad de usuarios de los diferentes exámenes a nivel nacional e internacional.
Por su parte, para el Ministerio de Educación Pública de Costa Rica (2019), las pruebas de dominio lingüístico constituyen una oportunidad para fortalecer los procesos educativos del estudiantado, validan las competencias lingüísticas de los y las estudiantes de la educación diversificada y son un requisito para la obtención del título de Bachiller en Educación Media.
Además, el desarrollo de las competencias comunicativas es una necesidad y se ha convertido en una solicitud expresa de los diferentes actores en este ecosistema educativo. Según el Programa de Inglés para el III Ciclo de la Educación General Básica y la Educación Diversificada (2016), se espera que para el año 2021 los(as) estudiantes puedan desempeñarse dentro de las bandas B1 o B2 dependiendo del plan de estudios que hayan seguido. En este mismo documento, se señala que, para lograr este objetivo, no solo el currículm sino también el proceso de enseñanza y aprendizaje y la evaluación dentro del aula y estandarizada deben estar alienados.
Este proyecto nació a partir del año 2016 y los primeros resultados se deberán empezar a medir a partir de 2021 cuando las primeras generaciones culminen un ciclo de 5 años con este nuevo plan de estudios.
Referente teórico
Para Mcnamara (2000), los exámenes son procesos para reunir evidencia. Y, precisamente, la palabra evidencia debe estar ligada a términos que muestren algunos derechos para los(as) examinados(as) y además la validación empírica de la interpretación de los resultados. Bachman (2009), por su lado, manifiesta que el diseño, desarrollo y uso de los exámenes de un segundo idioma son procesos complejos y técnicos, en especial cuando se toman decisiones basadas en los resultados que afectan a las personas e instituciones involucradas. Las pruebas requieren la participación de profesionales no solo en lengua sino también en medición. Harsch (2014) cuestiona si "¿mi B1 es su B1?" en especial si las implicaciones de esta prueba tienen alcances económicos, sociales y políticos. Mcnamara (2000) manifiesta que el equipo desarrollador de exámenes debe prestar atención a las personas que van a ser "afectadas" por las pruebas,
a la docencia, que se ve indirectamente evaluada en estas pruebas, y al impacto de la prueba en el mundo exterior. En otras palabras, las posibles consecuencias deben ser anticipadas durante la formulación e implementación de la prueba. Estos exámenes deben estar basados en estándares de uso, sus consecuencias y ética. Para Bachman y Palmer (1996), es responsabilidad de los desarrolladores y aplicadores evidenciar, lo más posible, el uso del examen por medio de indicadores de validez de las habilidades de las personas interesadas en los resultados.
Sin embargo, los exámenes que se realizan en la Escuela de Lenguas Modernas históricamente habían carecido de la validación psicométrica y estadística requeridas para este tipo de pruebas. Diferentes autores (Bachman, 2005; Eignor, Grabe, Jamieson y Kunnan, 2008; y Cahepelle, 2012) consideran que los exámenes deben contener no solo un componente de investigación permanente y paralelo a su aplicación sino también procesos sólidos de validación. Estos procesos incluyen diversas características de las pruebas relacionadas a su situación específica, los materiales y las rúbricas utilizadas. De igual manera, los instrumentos deben reflejar una estructura de respaldo de información para la toma de decisiones, datos actualizados y pertinentes a la aplicación y procesos de reinvención.
Algunos autores, como Coombe, Folse y Hubbley (2007), han manifestado que la evaluación estandarizada del conocimiento de un idioma no deja de ser completa y eso se ha reflejado tanto en la teoría como en la práctica. Es a partir de este enunciado que los desarrolladores de este tipo de pruebas deben de tener claro que la inclusión de varios principios básicos en el diseño es una obligación (Brown, 2019). Las pruebas estandarizadas deben ser prácticas, confiables; deben existir evidencias de validez, deben ser auténticas y, además, debe existir una enseñanza no solo para las personas que toman las pruebas sino también para quienes las desarrollan.
Los instrumentos de evaluación también tienen diferentes propósitos. Como se ha mencionado anteriormente, el Ministerio de Educación Pública aplicaba un examen que medía el logro de los(as) estudiantes basado en las habilidades demostradas del currículo total (Brown 2019). En este caso, el examen se denominó Examen de Bachillerato (Bolaños Guerrero, 2006). Otros tipos de evaluación mencionados por Brown (2019) son la diagnóstica, de ubicación, de dominio lingüístico y de aptitud.
La evaluación de un idioma en donde se obtiene evidencia del dominio lingüístico del estudiantado no está asociada a algún curso en específico, currículo o destreza. Por el contrario, se trata de obtener la habilidad de la población estudiantil de manera general (Brown, 2019). Muchas de estas pruebas coinciden con los exámenes que históricamente se han comercializado en el mundo, como lo son el “Test of English as a Foreign Language” (conocido como TOEFL, por sus siglas en inglés), el “Test of English for International Communication” (TOEIC, por sus siglas en inglés) o el “International English Language Testing System” (IELTS, por sus siglas en inglés). Estos son solo tres ejemplos; sin embargo, recientemente se han desarrollado otras pruebas de alto impacto como las
mencionadas anteriormente. Esta práctica coincide con el auge mencionado por O’Sullivan (2016), quien manifiesta que en la primera década del siglo 21 la industria de la creación de pruebas de dominio lingüístico en idioma inglés ha tenido el mayor crecimiento del que se tiene referencia en la historia. De igual manera, sostiene que este ha sido liderado por Cambrige Assessment English, que desarrolla exámenes desde 1913 y English Language Testing Service (ETS, por sus siglas en inglés), quienes desarrollan sus pruebas desde la década de 1960.
Además, es importante destacar el concepto de localización a la hora desarrollar pruebas estandarizadas de dominio lingüístico. Para O’Sullivan (2019), este concepto implica el formar un elemento crítico para el uso de la prueba y al mismo tiempo para obtener más evidencias de validez de esta en un contexto específico. Al mismo tiempo, este autor hace la observación de que el hecho de que una prueba o examen sea desarrollado en un contexto específico para una población específica no garantiza su validez para otro contexto y, por ende, otra población. Por consiguiente, cualquier prueba debe cumplir con los estándares mínimos de creación, administración y entrega de resultados. Conjuntamente, este autor señala dos aspectos importantes que se deben tomar en cuenta dentro del concepto de localización de la prueba. Estos son el contexto en el que se desarrolla la prueba y el contexto en el que se utiliza. Esta afirmación no descalifica el uso de pruebas estandarizadas internacionales en el escenario costarricense. Por el contrario, estas deben ser utilizadas luego de hacer estudios que demuestren evidencias de que los resultados pueden ser usados para los fines previstos.
Finalmente, O’Sullivan (2016) concuerda que, al administrar una prueba en un contexto concreto con la intención de tomar decisiones para un grupo específico de personas, es de suma importancia que demuestre ser apropiada para esta población y su contexto.
El examen aplicado a estudiantes del Ministerio de Educación Pública se realizó siguiendo los estándares anteriormente mencionados y tratando de emular la experiencia de otras instituciones emergentes en el campo de la evaluación estandarizada como son los casos de la Universidad de Bilkent en Turquía, la Universidad Veracruzana en México y el Centro de Evaluación y Capacitación en Idiomas de Taiwán (O’Sullivan, 2016).
Metodología
En esta sección, se detallarán diferentes aspectos necesarios para desarrollar este estudio como lo son el enfoque, las unidades de análisis, las técnicas de recolección de datos y el procedimiento de análisis.
Enfoque
El enfoque de este artículo es cuantitativo, pues se muestran los datos y resultados de manera numérica. El diseño de la presentación de los datos es descriptivo. Los datos son mostrados de tal manera que se puedan establecer correlaciones básicas. El objetivo principal es generalizar los resultados que se obtienen de la muestra. Los datos, según Hernández Sampieri, Fernández Collado y Baptista Lucio (2014), son “confiables” y “duros”. Los datos obtenidos de igual manera son representados en forma de números y de manera general.
Además se presentarán análisis más específicos estadísticos, los cuales garantizan evidencias de validez y confiablidad de esta prueba.
Unidad de análisis
La población analizada corresponde a 55 143 estudiantes de último año de la educación diversificada costarricense de colegio académicos (públicos y privados) y de colegios técnicos a nivel nacional. Estas personas tenían como requisito tomar esta prueba con el fin de obtener el diploma correspondiente. El examen fue aplicado durante dos semanas del mes de noviembre del año 2019. No se indicarán nombres de estudiantes o colegios por razones de privacidad y uso de la información.
Técnicas de recolección
Los datos fueron recolectados durante la aplicación de la prueba, la cual consistía en un examen realizado por computadora utilizando tres modalidades diferentes: en línea por medio del portal de la Universidad de Costa Rica denominado Medición Global (global.ucr.ac.cr). La segunda modalidad fue por medio de una aplicación híbrida, mediante la cual la prueba es instalada en una computadora y los resultados son enviados en tiempo real a los servidores de la Universidad de Costa Rica. Para este procedimiento, se necesita de una conexión mínima a la internet. La tercera modalidad fue utilizada en centros educativos que no cuentan con
conexión a internet del todo. El examen fue instalado en las computadoras y luego los resultados fueron importados a dispositivos de almacenamiento para luego ser incorporados a los servidores en la UCR. El examen fue realizado en aproximadamente 1100 escuelas y colegios a nivel nacional, tanto públicos como privados. Se realizaron cuatro convocatorias diarias, basadas en la capacidad instalada de cada institución. Las convocatorias tenían los siguientes horarios: de 7:00 a. m. a 10:00 a. m., de 10:00 a. m. a 1:00 p. m., de 1:00 p. m. a 4:00 p. m., y de 6:00 p. m. a 9:00 p. m. En cada sede en donde se aplicaba la prueba, el MEP designó una persona responsable de aplicar el examen por laboratorio utilizado, una persona responsable de soporte técnico por sede y una persona responsable de coordinar cada una de las sedes. Cada una de estas personas contaba con un protocolo estandarizado para la aplicación del examen y debía entregar a la Universidad de Costa Rica un “Compromiso de Confidencialidad” con el fin de salvaguardar no solo el examen sino también los datos personales de las personas evaluadas. Finalmente, el grupo estudiantil evaluado tuvo la posibilidad de aplicar un examen de práctica o “Mock test”, el cual fue elaborado por la Escuela de Lenguas Modernas y estuvo disponible tres semanas antes de la convocatoria del Ministerio de Educación Pública. Es importante destacar que este examen de práctica fue realizado únicamente por 14 000 estudiantes, cantidad que corresponde a un 25% del total de la población meta.
Como se describe anteriormente, los datos son recolectados por medio de instrumentos estandarizados. Este instrumento creado en la Universidad de Costa Rica es uniforme para todas las unidades de análisis. Los datos que se presentarán a continuación se obtuvieron por medio de medición de instrumentos que han demostrado ser válidos y confiables en otros estudios (Araya Garita, 2017) y que además fueron creados a partir de la revisión de la literatura en esta área (Hernández Sampieri, Fernández Collado y Baptista Lucio, 2014). Las preguntas e ítems utilizados son específicos, basados en los descriptores del Marco Común Europeo de Referencia para las Lenguas (2002).
Procesamiento de los datos
Estudiantes evaluados
Como se mencionó anteriormente, la cantidad del estudiantado evaluados es de 55 143 y proviene de las modalidades de colegios académicos tanto diurnos como nocturnos y privados, así como de colegios técnicos. Es importante mencionar que la mayoría de los(as) estudiantes procedentes de colegios diurnos reciben entre 3 a 5 lecciones de inglés de 40 minutos (MEP, 2016). En cuanto a otras modalidades de colegios académicos, como los colegios bilingües o de bachillerato internacional, sus estudiantes reciben entre 9 a 15 lecciones de inglés por semana (MEP, 2016). Esta misma situación se presenta en algunas instituciones técnicas, en donde la especialidad está enfocada a algún grado académico relacionado al bilingüismo como el grado de técnico en secretariado bilingüe, por ejemplo. Por otro lado, en la mayoría de los colegios privados se imparte más de 10 lecciones de inglés semanalmente de 40 minutos (MEP, 2016). En la siguiente tabla, se ilustra en detalle la cantidad de estudiantes evaluados de acuerdo con la modalidad de cada colegio.
Tabla 1
Cantidad de estudiantes que tomaron el examen por modalidad de colegio, 2019
|
Modalidad de colegio |
Cantidad de estudiantes evaluados |
|
Académico (diurno y nocturno) |
39 186 |
|
Técnicos |
11 820 |
|
Privados |
3687 |
|
Sin colegio |
450 |
|
Total |
55 143 |
Fuente: elaboración propia, 2020.
Como se observa en la Tabla 1, un 71% del total de estudiantes evaluados proviene de colegios académicos, un 21% corresponde a estudiantes de colegios técnicos y, finalmente, un 7% corresponde a estudiantes de colegios también académicos privados. El restante 1% corresponde a 450 estudiantes, quienes fueron incluidos por el Ministerio de Educación; sin embargo, el colegio de procedencia no fue reportado a la Universidad de Costa Rica.
La convocatoria para evaluar a esta población comprendió 12 días hábiles durante el mes de noviembre del año 2019; no obstante, solo 11 días fueron utilizados. La distribución de la cantidad de estudiantes que se evaluaron por día no fue uniforme debido a la disponibilidad de infraestructura. En la Figura 1, se detalla la cantidad de estudiantes que realizó el examen durante el período establecido.
Figura 1
Cantidad de estudiantes de último año de educación diversificada evaluados por día para la convocatoria del año 2019
Fuente: elaboración propia, 2020.
Como se observa en la figura anterior, la mayor cantidad de estudiantes (9000) fue evaluada el día 11 de noviembre. Por el contrario, el día martes 19 de noviembre, únicamente 1000 estudiantes fueron atendidos debido a que el Centro de Informática de la Universidad de Costa Rica reportó un ataque a sus servidores y ninguno fue habilitado para recibir datos. Los(as) 1000 estudiantes atendidos(as) corresponden a personas que realizaron el examen mediante la modalidad en la que no se requería conexión a internet. Otro aspecto importante por destacar, con respecto a la cantidad de estudiantes atendidos el 11 de noviembre, es la capacidad de infraestructura con la que cuenta el MEP para atender este tipo de aplicación, la cual sobrepasó las expectativas originales.
Análisis estadístico: Alfa de
Cronbach
Para garantizar la confiabilidad de esta prueba se han realizado diferentes estudios cuyos resultados se publicarán en futuros artículos. Para el caso específico de la presente publicación, se demuestran los resultados encontrados para el Alfa de Cronbach.
El Alfa o coeficiente de Cronbach es una medida utilizada en psicometría para validar y tiene como fin medir la confiabilidad de los instrumentos usados. Este método permite evaluar la consistencia interna de los ítems contenidos para la captura de la evidencia del desempeño de los(as) estudiantes en la prueba.
El Alfa o coeficiente de Cronbach es una medida usualmente empleada dentro del área de la psicometría para validar y medir la confiabilidad de los instrumentos por utilizar. Este método permite evaluar la consistencia interna de los ítems contenidos en un instrumento para la captura de datos. Por consiguiente, “el coeficiente de consistencia interna dependerá directamente de las correlaciones entre los ítems o reactivos, esto es, del grado en que los ítems midan la misma variable”
(Quero, 2010, p. 250).
El método de estimación del Alfa de Cronbach requiere de la valoración de las varianzas de los ítems. Para lo cual se emplea la siguiente fórmula:
Donde
α= Coeficiente de Cronbach
K= Número de ítems
σi2 = Varianza del ítem i
σt2= Varianza del total de ítems
Como parte del análisis de las pruebas aplicada a estudiantes del sistema educativo costarricense, con la finalidad de medir las competencias lingüísticas desarrolladas, se procedió a analizar la credibilidad de las pruebas y, por ende, se estimó el alfa de Cronbach para analizar la consistencia interna de 120 de los ítems elaborados para la macrodestreza escucha y 121 para la macrodestreza lectura, aplicados en el 2019 a la población estudiantil.
Los resultados obtenidos del procesamiento correspondiente se obtuvieron al utilizar el paquete estadístico R (R Core Team, 2018), en el cual se empleó la paquetería psych (Revelle, 2018). Por otro lado, la operacionalización del constructo se detalla en un documento denominado Familiarizing users and stakeholders with the reasoning behind UCR language proficiency test construct for MEP, elaborado por un grupo de investigadores de la ELM y que será público en el año 2021.
La tabla 2 muestra el Alfa de Cronbach inicial tanto para ambas pruebas en conjunto, como el obtenido al analizar cada prueba por separado. Además se puede apreciar cómo, al eliminar ítems por macrodestreza, mejoran y aumentan como resultado de esta acción los coeficientes de Cronbach, generando mejores resultados (Archivos de Lenguas Modernas, 2020).
Tabla 2
Coeficiente de Cronbach e ítems negativos por macrodestreza
|
Estadístico |
Macrodestreza |
||
|
Escucha y lectura |
Escucha |
Lectura |
|
|
Número de ítems inicial |
241 |
120 |
121 |
|
Alfa de Cronbach inicial |
0.9555 |
0.9275 |
0.9022 |
|
Correlación mayor a 0.3 |
13 |
19 |
|
|
Correlación menor a 0.15 |
12 |
12 |
|
|
Ítems negativos |
7 |
11 |
|
|
Ítems eliminados |
18 |
22 |
|
|
Alfa final |
0.9635 |
0.9376 |
0.9226 |
|
Número de ítems finales |
102 |
99 |
|
Fuente: Alejandro Fallas, 2020.
Finalmente, se obtiene que el Alfa de Cronbach para todos los ítems de ambas pruebas (241 ítems en total) se mantiene superior a 0.9635 al eliminar ítems entre ambas pruebas. Estos resultados demuestran que la prueba consta de un alto porcentaje de confiabilidad, ya que el Coeficiente de Cronbach para ambas pruebas por separado supera el 90% de confiabilidad al eliminar los ítems anteriormente descritos (Archivos de Lenguas Modernas, 2020).
Alineamiento con el Marco Común
Europeo de Referencia para las
Lenguas
En este apartado, es importante destacar lo que entendemos por dominio lingüístico en la destreza de comprensión de lectura: el(la) estudiante debe demostrar un entendimiento de diferentes textos escritos o imágenes en inglés general sobre contextos variados a nivel regional y global, tanto formales como informales, en los dominios personales y educacionales del MCER para la población de secundaria de Costa Rica. En cuanto a la destreza de comprensión de escucha, esta se entiende como dominio lingüístico en la destreza de comprensión auditiva cuando el(la) estudiante demuestra un entendimiento de diferentes textos auditivos en inglés general sobre contextos variados a nivel regional y global, tanto formales como informales, en los dominios personales y educacionales del MCER para la población de secundaria de Costa Rica.
Esta interpretación y uso del presente constructo para el instrumento de evaluación desarrollado tiene un
fundamento importante en las evidencias aportadas por actores activos del MEP en el proceso de enseñanza y aprendizaje para la población meta, así como el Programa Nacional de Inglés, tanto para la educación diversificada como para la educación técnica con el fin de determinar los descriptotes del MCER a utulizar en el instrumento de evaluación.
Resultados
Los resultados señalan una tendencia marcada en la cual nos encontramos que la mayor cantidad de estudiantes se encuentra ubicada en la banda A2 del Marco Común Europeo de Referencia para las Lenguas (MCER, 2002). El segundo grupo en importancia corresponde al grupo estudiantil que se desempeñó satisfactoriamente en la banda denominada B1. En menor cantidad, encontramos el grupo que corresponde a los(as) estudiantes que fueron ubicados(as) en la banda B2. Las restantes dos bandas A1 y C1 representan un 1% del total de la población evaluada. En la tabla 3, se detalla la cantidad total de estudiantes
ubicados por banda.
Tabla 3
Cantidad de estudiantes de último año de educación diversificada y su ubicación por banda de acuerdo al MCER, año 2019
|
Banda |
Cantidad de estudiantes |
|
A1 |
614 |
|
A2 |
38 417 |
|
B1 |
13 683 |
|
B2 |
2 393 |
|
C1 |
36 |
|
Total |
55 143 |
Fuente: elaboración propia, 2020.
La cantidad total de estudiantes que fuere ubicada en la banda A2 corresponde a 38 417 del total. De igual forma, 13 683 alumnos corresponden a lo(as) estudiantes ubicados(as) en la banda B1. Los 2393 estudiantes que fueron ubicados en la banda B2 corresponden a un 4% y, finalmente, las bandas A1 y C1 representan cerca del 1% del total de los(as)
estudiantes evaluados.
Resultados generales por tipo
de colegio
Como se mencionó anteriormente, la mayor cantidad de estudiantes fue ubicada en la banda denominada A2. Esta tendencia se mantiene para los colegios académicos y para los colegios técnicos, no así para los colegios privados. Para esta población, la mayor cantidad de estudiantes fue
ubicada en la banda B1. La cantidad total de estudiantes evaluados de colegios privados corresponde a 3687 provenientes de 173 instituciones de todo el país. En cuanto al desglose por banda nos encontramos que únicamente 3 estudiantes obtuvieron la banda A1. Además, 629 estudiantes, lo que corresponde a un 17%, fueron ubicados en la banda A2. 2002 estudiantes, en otras palabras, un 54% de esta
población, demostraron el conocimiento suficiente para ser ubicados en la banda B1. El segundo grupo en importancia fue el ubicando en la banda B2, que representa un 28% de toda la población evaluada. Este grupo corresponde a 1019 alumnos. Finalmente, solo 24 estudiantes (1%) lograron demostrar un nivel avanzado de dominio en esta lengua. En la figura 2, se ilustran los resultados antes mencionados.
Figura 2
Porcentaje de estudiantes de último año de educación diversificada de colegios privados y su ubicación por banda de acuerdo con el MCER, año 2019
Fuente: elaboración propia, 2020.
Por otra parte, los(as) estudiantes provenientes de colegios académicos presentan un menor nivel de dominio lingüístico del idioma inglés, comparados con la población estudiantil proveniente de colegios privados.En total, se evaluaron 39 186 estudiantes, un 77% de estos alumnos fue
ubicado en la banda A2. Este representa el grupo más grande y está compuesto por 30 316 estudiantes. Un 19% de esta población fue ubicada en una banda superior, B1. Este grupo es de 7444 estudiantes. Únicamente un 2% de este grupo de alumnos(as) (885 estudiantes) de los colegios académicos fue ubicado en la banda B2. Finalmente, menos de un 2% fue ubicado en las bandas extremas, las cuales son A1 y C1 (525 y 6 estudiantes, respectivamente). Este grupo de estudiantes proviene de 744 instituciones. Esta situación se ilustra en la Figura 3.
Figura 3
Porcentaje de estudiantes de undécimo año de colegios académicos y su ubicación por banda de acuerdo al MCER, año 2019
Fuente: elaboración propia, 2020.
En cuanto a los colegios técnicos, se evaluaron un total de 11 820 estudiantes, provenientes de 133 instituciones de esta modalidad. En este grupo, se puede observar que, si bien es cierto la mayor cantidad de estudiantes, al igual que los colegios académicos, fue ubicada en la banda A2, el porcentaje disminuye en 17 puntos porcentuales. Un 60% de los(as) estudiantes está ubicando en esta banda, lo que corresponde a 7234 alumnos. Ante este escenario, el porcentaje de estudiantes que fue ubicado en la banda B1 aumentó 15 puntos porcentuales con respecto a la población de colegios académicos. Un 34% (4078) de este grupo de alumnos de colegios técnicos está ubicado en esta banda. La cantidad de estudiantes ubicados en la banda B2 también aumentó en dos puntos porcentuales, si se toma como referencia los resultados obtenidos por estudiantes de colegios académicos.
Un 4% (429) de esta población fue ubicada en esta banda. Al igual que los(as) estudiantes de colegios académicos, solo un 1% fue ubicado en una de las bandas extremas, A1 y C1 (74 y 5 estudiantes, respectivamente). En la figura 4, se ilustran estos resultados.
Figura 4
Porcentaje de estudiantes de último año de colegios técnicos y su ubicación por banda de acuerdo con el MCER, año 2019
Fuente: elaboración propia, 2020.
Colegios académicos bilingües
Una mención especial se le debe dar a la población evaluada de colegios experimentales bilingües. Esta población recibe más de 13 lecciones en inglés por semana (MEP, 2016). El grupo estudiantil de colegios experimentales bilingües tiene mediación en inglés general y además recibe cursos de literatura inglesa.
Esta experiencia para el Ministerio de Educación Pública es positiva desde la perspectiva de los resultados de este proceso de evaluación. Un total de 1433 estudiantes bilingües de colegios académicos fueron evaluados. La mayoría de estos alumnos (831) se desempeñó de tal manera que fue ubicada en la banda B1. Esta cantidad corresponde a un 58% del total de esta cohorte.
Un 27.6 % de los estudiantes evaluados de colegios experimentales bilingües fue ubicado en la banda A2. Este porcentaje corresponde a 396 estudiantes.
Un 14% de este grupo estudiantil es considerado como estudiantes con conocimientos intermedios altos debido a que fueron ubicados en la banda B2. Este porcentaje corresponde a 202 alumnos. Solo 1 estudiante fue ubicado en la banda C1 y 3 estudiantes
pertenecientes a esta modalidad de colegios fueron ubicados en la banda A2.
Con base en estos resultados, se puede inferir que la mediación implementada por el MEP ha dado resultados al analizar los números expuestos anteriormente y al comparar este grupo con otros dentro de esta investigación. Los detalles descritos anteriormente se ilustran en la figura 5.
Figura 5
Porcentaje de estudiantes de undécimo año de colegios experimentales bilingües y su ubicación por banda de acuerdo al MCER, año 2019
Fuente: elaboración propia, 2020.
Conformación del grupo A2 colegios académicos y técnicos
Un análisis adicional que se debe mencionar es la conformación del grupo de estudiantes ubicado en la banda A2. Como se mencionó anteriormente, el desempeño de los(as) estudiantes en el examen da muestra de que un 70% se encuentra en esta banda.
No obstante, es importante destacar que 5866 de estos estudiantes ubicados en la banda A2 tuvieron un desempeño superior al 80% en la prueba de dominio lingüístico. Por esta razón, se puede inferir que esta población podría ser considerada como estudiantes con un conocimiento consolidado en esta banda y que la instrucción necesaria para pasar a la banda superior es mínima.
En otras palabras, un 15.6% de esta población es un A2 consolidado (A2+) (Marco Común Europeo de Referencia para las Lenguas, 2002).
A la hora de analizar esta población por modalidad de colegio, se debe mencionar que, para los colegios académicos, únicamente un 15% se debe considerar como estudiantes consolidados. Por el contrario, los(as) estudiantes de colegios técnicos que son principiantes avanzados representan un 22% del total de A2 de este grupo. Esta situación es importante de mencionar, ya que estos(as) estudiantes podrían desempeñarse en la banda superior (B1) con poca instrucción, como se mencionó anteriormente.
Para este grupo de estudiantes, se obtuvo evidencia de que se encuentra en un nivel bastante consolidado de la banda principiante A2. En otras palabras, el grupo conformado por estudiantes que fueron ubicados en la banda B1 podría aumentar a 19 269 alumnos, lo cual representaría un 35% del total de la población evaluada. En la figura 6, se ilustra la conformación de la banda A2 para los colegios académicos y técnicos.
Figura 6
Cantidad de estudiantes de colegios técnicos y académicos que conforman la banda A2 de acuerdo al MCER, año 2019
Fuente: elaboración propia, 2020.
Conformación del grupo B1 colegios privados y experimentales bilingües
El mismo análisis presentado en el apartado anterior se hizo para los resultados obtenidos para la población estudiantil de colegios privados y experimentales bilingües. El análisis se enfoca en el grupo estudiantil que fue ubicado en la banda B1. La razón de este análisis se justifica en que es precisamente en esta banda donde se encuentra la mayor cantidad de estudiantes de esta cohorte. La cantidad total de estudiantes evaluados para estas dos poblaciones es de 5120. De este total, 2833 estudiantes fueron ubicados(as) en la banda B1, lo cual representa un 55% del total de esta población.
Tanto en los colegios privados del sistema educativo costarricense, como en los colegios experimentales bilingües, un total de 752 estudiantes tuvieron un desempeño muy eficiente y pueden ser considerados como estudiantes B1 consolidados o B1+ (Marco Común Europeo de Referencia para las Lenguas, 2002). Esta cantidad corresponde
a un 27% del total del grupo de los(as) estudiantes ubicados en esta banda. En otras palabras, este grupo está a muy pocos pasos de ser ubicados en la banda B2. En la figura 7, se ilustra la conformación de la banda B1 para el grupo de estudiantes descrito en este apartado.
Figura 7
Cantidad de estudiantes de privados y experimentales bilingües que conforman la banda B1 de acuerdo al MCER, año 2019
Fuente: elaboración propia, 2020.
Conclusiones
Dentro de las principales conclusiones que se desprenden de los datos descritos y analizados anteriormente nos encontramos:
Recomendaciones
Bibliografía
Araya Garita, Walter. (2017). Conceptualización Teórica del Examen de Diagnósitico en Inglés de la Escuela de Lenguas Modernas para estudiantes de primer ingreso a la UCR y sus resultados para los años 2015. 2016 y 2017. Revista de la Escuela de Lenguas Modernas, 28. Recuperado a partir de https://revistas.ucr.ac.cr/index.php/rlm/search/authors/view?firstName=Walter&middleName=&lastName=Araya%20Garita&affiliation=Universidad%20de%20Costa%20Rica&country=CR
Bachman, Lyle y Palmer, A, Adrian. (1996). Language testing in practice. Oxford: Oxford University Press.
Bachman, Lyle. (2005). Building and Supporting a Case for Test Use. Language Assessment Quarterly - LANG ASSESS Q. 2. 1-34. 10.1207/s15434311laq0201_1
Bachman, Lyle. (2009). Prólogo. En L. Cheng & A. Curtis (Eds), English language Assessment and the Chinese learner (pp. x – xii) New York: Routledge
Bolaños Guerrero, Fabricio. (2011). Análisis multivariado de las calificaciones de bachillerato en Costa Rica en el año 2006. InterSedes, 8 (15). Recuperado a partir de
https://revistas.ucr.ac.cr/index.php/intersedes/article/view/867
Brown, Douglas. (2019). Language assessment: Principles and classroom practices. White Plains, N. Y.:
Pearson Education.
Chapelle, Caroll. (2012). Validity argument for language assessment: The framework is simple… Language Testing 29(1), 19-27.
Council of Europe. (2002). Common European framework of reference for languages: Learning, teaching, assessment. Cambridge, U.K. Press Syndicate of the University of Cambridge
Council of Europe. (2002). Common European framework of reference for languages: Learning, teaching, assessment. Companion volume with new descriptors. Cambridge, U.K. Press Syndicate of the University of Cambridge
Coombe, Christine; Folse, Keith y Hubbley, Nancy. (2007). A practical guide to assessing English language learners. Michigan: The University of Michigan Press.
Escuela de Lenguas Modernas. (2009). Informe Final de Autoevaluación con Fines de Acreditación del Bachillerato en Inglés. Universidad de Costa Rica
Escuela de Lenguas Modernas. (2020). Análisis estadísticos. Programa de Evaluación y Capacitación en Lenguas Extranjeras. Universidad de Costa Rica.
Harsch, Claudia. (2014) General Language Proficiency Revisited: Current and Future Issues. Language Assessment Quarterly, 11:2, 152-169, DOI: 10.1080/15434303.2014.902059
Hernández Sampieri, Roberto; Fernández Collado, Carlos y Baptista Lucio, Pilar. (2014). Metodología de la Investigación (6º ed.). México: McGraw Hill.
Jamieson, Joan; Eignor, Daniel; Grabe, William. y Kunnan, Antony. (2008). The frameworks for the re-conceptualization of TOEFL. The new TOEFL. 55-95.
McNamara, Tim. (2000). Language Testing. Oxford University Press.
McNamara, T. (2000). Language Testing. Oxford University Press.
Ministerio de Educación Pública. (2016). Programas de Estudio de Inglés Tercer Ciclo de la Educación General Básica y Educación Diversificada. Gobierno de Costa Rica. https://www.mep.go.cr/sites/default/files/programadeestudio/programas/ingles3ciclo_diversificada.pdf
Ministerio de Educación Pública. (05 de noviembre de 2019). MEP aplicará, por primera vez, pruebas de dominio lingüistico en un segundo idioma. Gobierno de Costa Rica.. https://www.mep.go.cr/noticias/mep-aplicara-primera-vez-pruebas-dominio-lingueistico-segundo-idioma
Ministerio de Educación Pública. (2019). DVM-AC-33-2019. Gobierno de Costa Rica. http://www.dgec.mep.go.cr/sites/all/files/dgec_mep_go_cr/adjuntos/dvm-ac-033-2019.pdf
Ministerio de Planificación Nacional y Política Económica. (2019). Plan Nacional de Desarrollo y de Inversión Pública. Gobierno de Costa Rica. https://observatorioplanificacion.cepal.org/sites/default/files/plan/files/Costa%20Rica%20PNDIP%20%202019-2022.pdf
O’Sullivan, Barry. (2016). Adapting Tests to the Local Context. New Directions in Language Assessment, special edition of the JASELE Journal. Tokyo: Japan Society of English Language Education & the British Council, pp145-158
Quero, M. (2010). Confiabilidad y coeficiente Alpha de Cronbach. Telos, 12(2), pp.248-252
R Core Team (2018). R: A language and environment for statistical computing. R Foundation for Statistical. https://www.r-project.org
Revelle, W. (2018). Procedures for Psychological, Psychometric, and Personality Research. Recuperado de https://personality-project.org/r/psych-manual.pdf
Recepción: 05-08-20 Aceptación: 11-01-21