Revista Educación 37(2), 103-117, ISSN: 22152644, julio-diciembre, 2013

Evidencias iniciales de validez de criterio de los resultados de una Prueba de razonamiento con figuras para la selección de estudiantes indígenas para la Universidad de Costa Rica y el Instituto Tecnológico de Costa Rica

Initial evidences of criterion validity for the results of a Figural reasoning test for the selection of Indigenous students for the University of Costa Rica and the Technological Institute of Costa Rica

Eiliana Montero-Rojas1

Universidad de Costa Rica

San José, Costa Rica

Eliana.montero@ucr.ac.cr

Thomas Castelain2

Universidad de Costa Rica

San José, Costa Rica

Castelain.thomas4@gmail.com

Tania Elena Moreira3

Instituto Tecnológico de Costa Rica

Cartago, Costa Rica

tmoreira02@hotmail.com

Lucrecia Alfaro-Rojas4

Universidad de Costa Rica

San José, Costa Rica

lucrealfaro@yahoo.com

Danny Cerdas-Núñez5

Universidad de Costa Rica

San José, Costa Rica

dannycerdasn@gmail.com

Alí García-Segura6

Universidad de Costa Rica

San José, Costa Rica

sorbulu@gmail.com

María Gabriela Roldán-Villalobos7

Instituto Tecnológico de Costa Rica

Cartago, Costa Rica

groldan@itcr.ac.cr

Recibido: 19 Agosto 2012 Aceptado: 23 Agosto 2013 Corregido: 29 Octubre 2013

Resumen: Se presentan los resultados parciales de un proyecto de investigación mediante el cual se estudia la posibilidad de utilizar algunas pruebas psicométricas, distintas a las utilizadas actualmente para el proceso de admisión en la Universidad de Costa Rica y del Instituto Tecnológico de Costa Rica, como parte de un proceso de selección específica para jóvenes indígenas con potencial académico para cursar estudios universitarios. Se comparan los resultados obtenidos por estudiantes de último año de tres colegios indígenas en la llamada Prueba de razonamiento con figuras (PRF), con los obtenidos en las Pruebas de admisión mencionadas. Se encontraron evidencias de correlación entre la PRF con cada una de las Pruebas de admisión, lo que muestra un nivel aceptable de asociación entre los constructos medidos por las mismas. Asimismo, las pruebas pareadas de diferencias de promedios con población no indígena que aplicó los mismos tests en el 2008, mostraron una diferencia significa a favor de la PRF en comparación con cada una de las Pruebas de admisión. Esta es una primera evidencia que apoya la validez de criterio de esta prueba en el contexto de su aplicación como posible instrumento de selección complementario para ingreso a las universidades en este grupo de población.

Palabras clave: indígenas, educación superior, pruebas estandarizadas, validez, confiabilidad, instrumento psicométrico, excelencia, equidad.

Abstract: The partial outcomes of a research project that studies the possible utilization of some psychometric tests, different to the ones used nowadays for admission process at the University of Costa Rica and The Costa Rican Technological Institute, as part of an specific selection process for young indigenous with academic potential for university studies are presented. The outcomes obtained by senior students from three indigenous high schools on the Figural Reasoning Test (PRF) and on the mentioned admission tests, are compared. Evidences of correlation between PRF and each admission test were found, it indicates an acceptable level of association between the constructs measured by these tests. Besides, the paired samples t tests with no indigenous population whom applied the same tests on 2008, showed a significant difference on favor of the PRF against the other two tests. That is the first evidence that supports the criterion validity in the context of its application as a possible selection instrument that complements the admission process on this group of population.

Key words: indigenous, higher education, standardized tests, validity, reliability, psychometric instrument, excellence, equity.

1. Introducción

En años recientes Costa Rica ha venido experimentado descensos continuos en algunos indicadores de equidad. Como ejemplos pueden citarse el aumento en la pobreza por ingresos y del desempleo abierto, así como la disminución de la cobertura de la educación secundaria (Programa Estado de la Nación en Desarrollo Humano Sostenible, 2010). Esto se refleja en el aumento del valor del coeficiente de Gini para nuestro país, el cual mide el grado de desigualdad en el ingreso (Vindas, 2010), y que alcanzó en el 2009 su valor histórico más alto: 0.437 (Banco Mundial, 2012).

Por otra parte, el Índice de Desarrollo Humano para Costa Rica alcanzó, en el año 2011, un valor de 0.744, ubicándolo en el puesto 69 en el mundo (PNUD, 2011), lo que pone de manifiesto un considerable descenso en este indicador, el cual fue de 0.888 para 1992, cuando nuestro país ocupó la posición 28 a nivel mundial (PNUD, 1995).

Ante este contexto es de interés particular la situación de grupos más vulnerables ante estas inequidades, como el caso de las poblaciones indígenas, que residen mayoritariamente en zonas aisladas y con un nivel muy bajo en el Índice de Desarrollo Social (IDS), como es el caso de distritos de Bratsi (Talamanca), Boruca, Buenos Aires y Pavón (Golfito) (MIDEPLAN, 2007). Para esta población, el acceso a la educación puede representar un medio para el mejoramiento de su calidad de vida y la reducción de las brechas económicas respecto a otros grupos sociales (Aparicio, 2009; Bolívar, 2005, Carnoy, 2005).

La niñez y la juventud indígena se enfrentan, como otras poblaciones, a la escasez de oportunidades educativas, entendidas como “el grado objetivo de probabilidades que tiene un determinado individuo para educarse y para incrementar su calidad de vida a partir de la utilización permanente de los contenidos aprendidos en su proceso formativo” (FAO, 2004, p. 12). Esta carencia mina sus posibilidades de desarrollo personal, así como el de sus comunidades, al impedir que estos niños y jóvenes adquieran competencias que les permitan participar de un modo más equitativo en las actividades productivas, en el acceso a la información y, por tanto, en el ejercicio de la ciudadanía.

Entre los factores contextuales que podrían limitar el acceso de las poblaciones indígenas a los procesos formativos a nivel de primaria y secundaria, se puede contar la menor oferta y cobertura de instituciones educativas formales en los territorios, que obliga a que, en muchos casos, los niños, niñas y jóvenes deban desplazarse grandes distancias para asistir a clases, lo que reduce la cantidad de tiempo para asignaciones extra clase e incide, a su vez, en la deserción del sistema educativo. Asimismo, la calidad de la educación recibida se ve influida por la falta de recursos, los problemas de infraestructura y la escasa formación de gran parte del personal docente (UNICEF, 2006), lo que pone a estos estudiantes en desventaja respecto a estudiantes de otras regiones geográficas.

Estas situaciones impactan las oportunidades de estos jóvenes para acceder a la educación superior, dado que se enfrentan a situaciones que dificultan el desarrollo de las destrezas necesarias para hacer frente a las pruebas estandarizadas utilizadas por tres de las universidades estatales para seleccionar a su estudiantado. Ante esta coyuntura, surge con esta investigación el reto de identificar a aquellos jóvenes con relativamente alto potencial académico, pero evitando al mismo tiempo, que las pruebas y evaluaciones utilizadas se constituyan en instrumentos de exclusión social y segregación.

La Universidad de Costa Rica (UCR) posee una trayectoria reconocida en términos de la construcción y validación de una Prueba de admisión, modelada inicialmente a partir de la más antigua SAT de los Estados Unidos, su intención es medir habilidades generales de razonamiento en contextos verbales y matemáticos. Igualmente, con la Prueba de Aptitud Académica (PAA) del Instituto Tecnológico de Costa Rica (TEC), se miden diversas habilidades matemáticas y verbales para la selección de los aspirantes, según el perfil de entrada requerido y las nuevas demandas cognoscitivas de las carreras ofrecidas por esta institución de educación superior. Sin embargo, dada la situación actual, el modelo y los instrumentos de admisión de estas universidades han sido cuestionados en torno al tema de cuánto contribuyen a lograr las metas de equidad en la composición de la población estudiantil, especialmente su misión explícita como universidades públicas, de contribuir sustancialmente a los procesos de movilidad social.

Ambas instituciones se rigen por dos principios básicos: la excelencia y la equidad. El principio de excelencia implica seleccionar los examinados con las mayores posibilidades de éxito académico en la educación superior y en carreras particulares. El principio de equidad se operacionaliza, en este caso, como la identificación del potencial académico (predisposición, habilidad para aprender) para la educación superior, independiente del grupo poblacional y socioeconómico al cual pertenezca el candidato. Por tanto, el proceso no debe contribuir a ampliar las brechas de oportunidades educativas ya existentes entre diferentes grupos de población, sino que en la medida de lo científicamente posible, contribuir a disminuir estas brechas.

Los datos que se presentan en este documento corresponden a resultados parciales de proyecto de investigación titulado Evaluación de Habilidades verbales, cuantitativas, de inteligencia fluida y generales de razonamiento en población estudiantil indígena de las zonas sur y atlántica de Costa Rica, desarrollado de forma conjunta por investigadores e investigadoras de la Universidad de Costa Rica y del Instituto Tecnológico de Costa Rica. Dichos resultados se basan en los datos recolectados en tres secundarias clasificadas por el Ministerio de Educación Pública costarricense como colegios indígenas, y estudia la posibilidad de utilizar una Prueba de razonamiento con figuras (PRF) para un proceso de selección alternativa de estudiantes a las universidades citadas. Para esto, se comparan los resultados obtenidos en dicha prueba por estudiantes de último año en estas tres instituciones, con los resultados obtenidos en las Pruebas de admisión de la Universidad de Costa Rica y del Instituto Tecnológico de Costa Rica Se presume que los resultados obtenidos mediante la PRF podrían estar menos afectados por las oportunidades educativas previas y por la cultura, en comparación con las pruebas actuales utilizadas para la selección de estudiantes, por lo que se buscan en este estudio, evidencias de su validez.

2. Marco conceptual

2.1. La Prueba de razonamiento con figuras

La Prueba de razonamiento con figuras (PRF), desarrollada por el Programa Permanente de Pruebas Específicas de la UCR, pretende ser un indicar del concepto de Inteligencia fluida a través de la medición de las aptitudes de razonamiento abstracto de los individuos. La PRF está fundamentada sobre el concepto de “Inteligencia Fluida” (Gf), definido conjuntamente con el concepto de “Inteligencia Cristalizada” (Gc) en la Teoría de la Inversión (Invesment Theory) (Cattell, 1963; Cattell y Cattell, 2001).

La inteligencia fluida puede ser conceptualizada como el componente mayor de la habilidad cognitiva, intrínsecamente asociado con el procesamiento de información aunque la inteligencia cristalizada, en contraste, es asociada al conocimiento específico en relación con la cultura (Schweizer y Koch, 2002).

El funcionamiento cognitivo fluido se puede definir como “el procesamiento de uso múltiple”, no necesariamente asociado a un contenido específico y que implica el mantenimiento activo de la información (verbal o viso-espacial) en memoria de trabajo, con el fin de planear y ejecutar un comportamiento dirigido hacia una meta (Baddeley, 1986; Kane y Engle, 2002). Además, el funcionamiento fluido es, en gran parte, diferenciable del funcionamiento cognitivo de los conocimientos adquiridos los cuales están disponibles en la memoria de largo plazo (Inteligencia Cristalizada) (Blair, 2006).

La Inteligencia Fluida (Gf), corresponde a la habilidad de encontrar sentido dentro de la confusión y de resolver nuevos problemas. Es la habilidad de producir inferencias y entender las relaciones que existen entre varios conceptos. La Gf incluye habilidades como la resolución de problemas, aprendizaje y reconocimiento de patrones. La Inteligencia Fluida, se mide mediante pruebas en las que se minimiza lo más posible su contenido cultural y lingüístico, con el fin de reducir el impacto del conocimiento adquirido (Cattell y Cattell, 2001). La Inteligencia Cristalizada, ligada a la inteligencia fluida, concierne a la habilidad para usar el conocimiento y las experiencias. Se puede definir como la capacidad de utilizar un cuerpo acumulado de información general, para emitir juicios y resolver problemas y se revela mediante la administración de pruebas basadas en la evaluación de habilidades lingüísticas o numéricas (entre otras), que se encuentran típicamente en las pruebas de nivel académico (para este estudio, en la PAA de la Universidad de Costa Rica y del Instituto Tecnológico de Costa Rica).

La PRF está diseñada para apreciar la inteligencia individual por medio de pruebas no verbales, donde el sujeto debe percibir la posibilidad de relaciones entre figuras y formas. Está compuesta por cuatro subtests: series, clasificación, condiciones y matrices. Estos subtests ponen en juego operaciones cognitivas de identificación, semejanzas perceptivas, seriación, clasificación, matrices y comparaciones e implican contenidos perceptivos distintos (González, Aragón y Silva, 2000). Cada subtest cuenta con un tiempo limitado para su resolución (de 3 a 5 minutos). Su duración no excede los 20 minutos.

Se presume que la Prueba de razonamiento con figuras (PRF) puede constituir una herramienta fundamental para poder garantizar el cumplimiento de los principios de excelencia y de equidad, dado que, mediante esta prueba se pretende identificar estudiantes con un alto potencial académico para la educación superior, reduciendo, en la medida de lo posible, el efecto de las oportunidades socio-económicas y/o educativas sobre su medición. Es decir, lograr identificar estos estudiantes, aunque provengan de ambientes con desventajas económicas, sociales y/o educativas.

En el contexto costarricense y del Instituto de Investigaciones Psicológicas, el primer fin de la PRF en la actualidad es investigativo, es decir se busca recolectar evidencias de validez sobre el constructo y sobre el poder predictivo de la prueba ante el rendimiento académico para poder hacer recomendaciones válidas y confiables sobre el instrumento y su uso a las autoridades de ambas universidades. Particularmente, se espera que una vez reunidas las evidencias que respalden el uso de la prueba, sea posible generar una propuesta para utilizarla con propósito de selección de los candidatos en alguna etapa del proceso de admisión.

Otra posibilidad, es su integración y uso en un programa alternativo de admisión para poblaciones con desventaja, tales como comunidades rurales, marginales o comunidades indígenas. Dado que la finalidad es lograr detectar estudiantes que poseen un cierto potencial de aprendizaje (a través de la medición de sus aptitudes de razonamiento abstracto), pero que no han tenido las oportunidades socio-económicas y/o educativas de desarrollarlo de manera formal, es decir de adquirir el tipo de conocimientos (conocimientos matemáticos o verbales) que se evalúan en las pruebas tradicionales.

2.2. La Prueba de Aptitud Académica (PAA) de la UCR

La PAA de la UCR tiene como objetivo general ofrecer un instrumento psicométrico válido y confiable para ser usado en el proceso de admisión general a la Universidad de Costa Rica, así como criterios técnicos que le permitan seleccionar científicamente sus candidatos para el ingreso.

La PAA mide las habilidades de razonamiento en los contextos matemático y verbal. Sus ítems de selección única son diseñados por un equipo de especialistas y se han depurado con criterios científicos, que aseguran la confiabilidad y validez psicométrica. Para su ensamblaje se cuenta con un banco de ítems que año tras año se va robusteciendo mediante la incorporación de nuevos reactivos, los cuales han superado el proceso de experimentación.

La calificación de la Prueba de Aptitud Académica se realiza por medio de un programa de cómputo diseñado para tal efecto. El puntaje obtenido viene representado por el porcentaje de respuestas correctas (escala 0-100), que resulta de la calificación de cada ítem; se asigna un 1 si la opción marcada es la de la respuesta correcta y un 0 en cualquier otro caso.

El resultado anterior se combina con el promedio de las notas obtenidas por los y las aspirantes en las materias del ciclo de educación diversificada, en escala 0-100, para obtener una “calificación final”: el Promedio de Admisión. Para obtener este Promedio de Admisión, sencillamente se suman ambas cifras y el resultado se divide entre 2. Finalmente, esta calificación en escala 0-100 se traslada a una escala estándar, cuyos puntajes oscilan entre 200 y 800.

El Promedio de Admisión es el insumo para la admisión general a la Universidad de Costa Rica y se adhiere a un modelo clásico en cuanto a procedimientos de selección: debe seleccionarse a quienes tengan los puntajes de admisión más altos, ordenados de mayor a menor, hasta llenar los cupos disponibles. Así, la interpretación del Promedio de Admisión se basa en la posición relativa que ocupa el puntaje de alguien en relación con las demás personas examinadas, es decir siguiendo un modelo con referencia a normas.

2.3. La Prueba de Aptitud Académica del TEC

En el 2010 la Prueba de admisión del TEC se diseñó con base en una tabla de especificaciones que se actualizó a partir de un estudio descriptivo realizado en el 2009. Con los hallazgos de esta investigación se identificaron seis habilidades matemáticas básicas para un estudiante de primer ingreso, clasificadas en: aplicación de operaciones básicas, razonamiento deductivo/inductivo, interpretación de gráficas, resolución de problemas, razonamiento con figuras y razonamiento probabilístico. En el componente verbal, igualmente, se definieron seis habilidades, pero en la prueba de este año únicamente se midieron las tres con mayor importancia, categorizadas en: comprensión de lectura en textos cortos, comprensión de lectura en textos largos y razonamiento con analogías y silogismos.

La prueba del TEC está conformada por 50 ítems de matemáticas y 25 de verbal. La nota obtenida por los candidatos en el examen corresponde a un 60%, que se suma con la nota de presentación (promedio de calificaciones de décimo y undécimo año) del colegio, equivalente a un 40%. Con esta ponderación se calcula la nota de admisión para el TEC, en una escala estandarizada de 200 a 800, que igual a la Universidad de Costa Rica, aquellos con una puntuación igual o superior a la nota de corte de cada carrera, lograrán ser admitidos en esta institución.

2.4. Validez de una prueba

Desde el enfoque clásico la validez convergente, también denominada concurrente, se entiende como la consistencia de resultados de dos tests, que miden la misma habilidad (Hoffman, Loeb, Brande, y Gillamd, 2011) y se engloba, junto con la validez predictiva, como uno de los tipos de validez de criterio (Çakir, 2012). Ambas se diferencian en que la validez predictiva se emplea para predecir alguna medida de criterio que se realizará en el futuro, mientras que la validez concurrente se refiere a la acción de relacionar puntuaciones de un test con alguna medida de criterio tomada en el mismo periodo de tiempo (Argibay, 2006).

A pesar de utilizar esta nomenclatura propia del enfoque clásico, también se incorpora en este estudio, la visión que sobre el tema de validez aporta Samuel Messick (1989), quien reformuló el concepto para definirlo como el grado de propiedad de las inferencias e interpretaciones derivadas de los puntajes de los tests, incluyendo las consecuencias sociales que se derivan de la aplicación de un instrumento (Padilla, Gómez, Hidalgo y Muñiz, 2006).

Messick (1989), oponiéndose a la categorización clásica según tipos de validez, indica que se deben recolectar diferentes tipos de evidencias de acuerdo con los propósitos y usos de los instrumentos, que pueden ser evidencias de contenido, de criterio, y de constructo, las cuales contribuyen a la validez de constructo. Asimismo, Messick (1989) afirma que contrariamente a la visión clásica, la validez no es ni un rasgo dicotómico ni una propiedad intrínseca de los instrumentos, sino que puede presentar distintos grados y definirse de acuerdo con el propósito de la medición, la población a la que va dirigida y el contexto específico de aplicación.

3. Hipótesis

En el caso del presente estudio interesa aportar otras “evidencias de validez”, que permitan una interpretación más sólida de los resultados de las pruebas de selección aplicadas al estudiantado de secundaria perteneciente a pueblos indígenas de nuestro país. En particular, la hipótesis de esta investigación se refiere a una primera evidencia de validez de criterio para la Prueba de razonamiento con figuras:

Debido a la falta de oportunidades educativas y a diferencias socio-económicas, los puntajes de las Pruebas de admisión de la Universidad de Costa Rica y del Instituto Tecnológico de Costa Rica subestiman, en general las habilidades relacionadas con inteligencia fluida en los estudiantes de quinto año de los tres colegios participantes. La Prueba de razonamiento con figuras, comparada con dichas Pruebas de admisión, al estar menos influida por conocimientos y oportunidades educativas previas, identifica, de manera más precisa, estas habilidades (Castelain, Villarreal, Molina, Rodríguez, s.f).

En consecuencia, la predicción de observación empírica que se espera bajo esta hipótesis es la siguiente: comparando la Prueba de razonamiento con figuras y las Pruebas de admisión de la UCR y del TEC, estudiantes de los tres colegios indígenas se ubicarán, en promedio, en posiciones más altas en la Prueba de razonamiento con figuras, comparados con la posición que ocupan en cada una de las PAA, en promedio los estudiantes de colegios no indígenas. Esto implica, estadísticamente hablando, que al realizar una prueba pareada de comparación de promedios, contrastando la PAA y la Prueba de razonamiento con figuras, estas diferencias deberán ser mayores para el grupo de estudiantes de colegios indígenas, comparados con las diferencias que se obtendrían entre ambas pruebas en un grupo de estudiantes de secundarias no indígenas.

En congruencia con el marco de referencia de Messick, se busca mediante el análisis propuesto, generar evidencias de validez de criterio sobre el comportamiento de los puntajes de una prueba, utilizando como referencias las pruebas actuales de admisión para la UCR y el TEC.

Para comprobar esta hipótesis se cuenta con los datos de estas aplicaciones en los tres colegios indígenas entre el 2010 y el 2011, así como con datos de una aplicación de las mismas pruebas que se realizó en el año 2008 a colegiales de último año, distribuidos en diferentes secundarias de todo el país, que deseaban ingresar a la Universidad de Costa Rica (1529 personas) o al TEC (790 personas) al año siguiente. Debe mencionarse, eso sí, que la versión de la Prueba de razonamiento con figuras aplicada en este grupo de estudiantes es una versión previa a la aplicada en los colegios indígenas, sin embargo utiliza el mismo marco referencial y especificaciones y las características psicométricas básicas son muy similares en ambas.

4. Marco metodológico

El tipo de estudio es correlacional; se intenta con él generar evidencias de validez de criterio de la Prueba de razonamiento con figuras a partir de la confirmación empírica de hipótesis que predicen su comportamiento, comparada con la PAA de la UCR y la del TEC, en la población de colegios indígenas y en la población no indígena de secundaria, aspirantes a ingresar a estas instituciones.

4.1. Participantes

La Prueba específica de razonamiento con figuras se aplicó a los participantes (n=76) cuando estaban en décimo año de educación diversificada en el 2010. Mientras que las Pruebas de Aptitud Académica del TEC y de la UCR se aplicaron en el primer semestre del 2011, a un total de 64 estudiantes de undécimo año de los colegios participantes en el proyecto. En concreto, a 31 jóvenes del Colegio Indígena 1, 24 del Colegio Indígena 2 y 9 del Colegio indígena 3.

Según la clasificación del Ministerio de Educación Pública de Costa Rica (MEP), la educación secundaria presenta distintas modalidades de colegios, entre ellas están los colegios categorizados como indígenas y se caracterizan por incluir en sus programas contenidos de la cultura indígena costarricense y están ubicados en territorios establecidos como indígenas. Así, en consulta con el asesor (en ese momento) de Educación Indígena del MEP, se propusieron estos tres colegios para realizar la investigación:

Es necesario hacer notar que no todo el estudiantado de estos colegios se autoidentificaron como indígenas. En la muestra de estudio alrededor de un 60% de los estudiantes que tomaron las pruebas se autoclasificaron como indígenas. No obstante, las condiciones educativas, geográficas y socioeconómicas de los jóvenes indígenas y no indígenas de estos tres colegios son similares.

El puntaje en el Índice de Desarrollo Social de los distritos en que se ubican estos tres colegios son bastante bajos comparados con el promedio nacional. Los valores de este indicador para el año 2009 fueron de 27.6 para el distrito donde se ubica el Colegio Indígena 1, de 36 para el distrito donde se ubica el Colegio Indígena 2, y de 42.90 para el distrito donde se ubica el Colegio Indígena 3. Mientras que para el distrito de San Pedro de Montes de Oca, donde está ubicado el campus central de la UCR, este valor fue de alrededor de 80.

4.2. Instrumentos

Se utilizaron como instrumentos la Prueba de razonamiento con figuras descrita anteriormente las versiones 1.0 y 2.0 que tienen las mismas características básicas psicométricas y se usa la misma tabla de especificaciones en su construcción (ítems paralelos). Un análisis de correlaciones entre ambas pruebas en una muestra de 177 estudiantes sostiene dicha consideración (r = 67). En el caso de la Prueba de admisión de la UCR se aplicó la fórmula 1 y del TEC la fórmula 3, ambas de la convocatoria 2010.

4.3. Procedimientos

Para la aplicación de cada una de la pruebas se brindó capacitación previa a los y las participantes, con el fin de explicar su propósito y proveer estrategias útiles para su resolución, lo que en inglés se llama test taking strategies (Montero, 2008). Para esto se mostraron a los estudiantes, como ejemplo algunos ítems con su respectiva solución.

Una vez aplicadas las pruebas, se aplicaron dos estrategias de análisis a los datos recopilados. La primera consistió en someter cada una de las pruebas utilizadas a un proceso de validación psicométrica: se realizaron análisis de confiabilidad con la Teoría Clásica de los Tests (TCT), con el propósito de determinar el grado de consistencia interna de las puntuaciones obtenidas de los estudiantes con base en el estadístico Alfa de Cronbach, así como obtener estimaciones de los niveles individuales de poder discriminatorio de los ítems. Para esto, se utilizó el paquete SPSS y se agregaron las estadísticas descriptivas de la escala, cuánto cambia Alfa al eliminar el ítem y la correlación ítem-total (índice de discriminación).

La segunda estrategia consistió en la realización de análisis de correlación de muestras pareadas, así como de pruebas pareadas de diferencias de promedios con el estadístico T de Student, entre la PRF y cada una de las Pruebas de admisión para la muestra de estudiantes indígenas. El análisis de correlación y las pruebas pareadas de diferencias de promedios se realizaron también a los resultados obtenidos por otra muestra compuesta por estudiantes de todo el país a quienes se les aplicó la PRF y la PAA de la UCR en el 2008; esto para comparar el comportamiento de los datos de ambas poblaciones. Esta muestra de comparación fue en total de 1523 estudiantes, de los cuales 790 realizaron la también la prueba del TEC en ese mismo año.

5. Resultados

Reconociendo las limitaciones del escaso tamaño de muestra (n=76), cada una de las pruebas fue sometida a un proceso básico de validación psicométrica con TCT. Se obtuvieron los valores correspondientes al coeficiente de confiabilidad Alfa de Cronbach y niveles de dificultad, los cuales se muestran en la tabla 1. Como se puede apreciar, el coeficiente de confiabilidad Alfa de Cronbach tanto para la PAA como para la PRF es de 0.71, lo cual brinda conjeturas sobre un nivel aceptable de consistencia interna entre las puntuaciones de cada una de las pruebas (Cervantes, 2005). En el caso del examen del TEC, las puntuaciones observadas no presentan evidencias de consistencia interna, debido al efecto de diversas fuentes externas de error en esta aplicación.

Asimismo, tanto la PAA de ambas universidades como la PRF resultaron, en promedio, ser pruebas difíciles para el grupo de estudiantes, siendo aún mayor para la PAA que para la PRF, con niveles de dificultad de 0.195, 0.23 y 0.333 que indican la proporción de aciertos (respuestas correctas) en las pruebas.

Además la correlación entre la PAA de la UCR y la PRF fue igual a 0.576; valor que disminuye en el caso de la PAA del TEC, con una asociación igual a 0.455. No obstante, ambas medidas brindan evidencias de una aceptable asociación entre las variables latentes medidas por las pruebas. Por otra parte, se asociaron la nota del componente matemático y verbal del examen del TEC con la calificación de la PRF. Según los resultados, el componente de matemática se relacionó positivamente con la PRF, cuyo coeficiente fue de 0.28. También el componente del razonamiento verbal se asoció de manera significativa con la PRF, con un coeficiente de 0.483. Con ambos resultados, se podría sospechar la presencia del componente de inteligencia fluida (medido en la PRF) por su grado de asociación con la PAA del TEC. Tal asociación es consistente con la obtenida para la Prueba de Aptitud Académica de la Universidad de Costa Rica.

Se realizaron, también, pruebas pareadas de diferencias de promedios con el estadístico T de Student entre los resultados de la PRF y ambas Pruebas de admisión. Se realizó esta comparación pareada dado que se trata de dos mediciones en variables diferentes para el mismo grupo de sujetos. Tal como se observa en la tabla 2, en la comparación de la PRF y la PAA del TEC se encontró una diferencia significa a favor de la PRF, de casi 11 puntos. Esta tendencia fue similar con la PAA de la UCR, con una diferencia de 13 puntos, en esta misma muestra de estudiantes indígenas.

Estos datos arrojan evidencias del grado de asociación entre las pruebas aplicadas, pues comparando la PRF y las Pruebas de admisión para la UCR y el TEC, los estudiantes de los tres colegios indígenas seleccionados se ubican, en promedio, en posiciones más altas comparados con la posición que ocupan en promedio estudiantes no indígenas. Esto porque las diferencias a favor de la PRF con respecto a la PAA de la UCR es de casi el doble (13.18 puntos) en la muestra de estudiantes de los tres colegios indígenas, comparada con la muestra de estudiantes de colegios no indígenas (7.02 puntos). Para el caso del TEC, la diferencia entre ambos promedios es 10.40 puntos para los colegios indígenas, en comparación con 7.57 para colegios no indígenas, es decir si se aplicara la PRF con esta población, los puntajes se colocarían en promedio 2.83 puntos por encima de los puntajes que se obtendrían al aplicar la PAA el TEC.

Esta es una primera evidencia que apoya la validez de criterio de esta prueba en el contexto de su aplicación, como posible instrumento de selección complementario alternativo para ingreso a la UCR y al TEC en este grupo de población. Prueba que se podría también utilizar con comunidades, que compartan las mismas condiciones socio-educativas, geográficas y económicas.

6. Conclusiones

Las evidencias arrojadas por los análisis realizados a las pruebas estudiadas muestran una aceptable asociación entre las variables latentes medidas por las Pruebas de admisión y la PRF. Específicamente, se podría plantar la presencia del componente de inteligencia fluida (medido en la PRF) en el constructo medidos por ambas pruebas (UCR y TEC).

Las pruebas pareadas de diferencias de promedios con el estadístico T de Student entre los resultados de la PRF y ambas Pruebas de admisión muestran una diferencia significa a favor de la PRF, lo que arroja evidencias acerca de que el uso de la PRF en un proceso de admisión alternativo colocaría a estos y estas jóvenes, en promedio, en posiciones más altas comparados con la posición que ocupan en promedio estudiantes no indígenas.

Estas primeras evidencias apoyan la validez de criterio de los resultados de la PRF en el contexto de su aplicación como posible instrumento de selección complementario o alternativo para ingreso a la UCR y al TEC en este grupo de población. Sin embargo, la ausencia de un “grupo control” no permite realizar inferencias causales sobre las razones de estas desventajas mostradas por la población indígena en las Pruebas de admisión, las cuales podrían deberse a factores meramente socioeconómicas y geográficas, no ligadas al hecho de pertenecer a un pueblo indígena.

Es importante resaltar que los autores no consideran que la aplicación de un único test permita predecir en su totalidad el éxito académico de los estudiantes. Aunque algunos estudios sugieren que existe una correlación entre los puntajes en los tests de inteligencia y el éxito académico, la implementación de factores como la personalidad, la motivación y el ámbito familiar permiten precisar las mediciones y mejorar las predicciones (para una revisión completa del tema, ver Neisser et al., 1996). Sin embargo, la construcción de la PRF responde a una demanda para mejorar la equidad en la selección del estudiantado, por lo que se propone que tal prueba sea utilizada como parte del proceso de selección de los estudiantes. Para esto, deben realizarse aún un análisis de validez criterio en la búsqueda de evidencias de validez predictiva, para determinar el momento en el que debería aplicarse esta prueba y su ponderación dentro del cálculo de un Promedio de Admisión para competir por un cupo en una carrera universitaria.

En una propuesta de este tipo, deben tomarse en cuenta, además aspectos de motivación y familiaridad con situaciones de evaluación de tipo psicométrico en estudiantes que vienen de ambientes con menos oportunidades educativas o de diferentes contextos culturales, los cuales aún en el contexto de pruebas de inteligencia fluida como la PRF, podrían provocar sesgos en la estimación de su habilidad.

Evidencias iniciales de validez de criterio de los resultados de una Prueba de razonamiento con figuras para la selección de estudiantes indígenas para la Universidad de Costa Rica y el Instituto Tecnológico de Costa Rica by Revista Educación Universidad de Costa Rica is licensed under a Creative Commons Attribution-NonCommercial-NoDerivs 3.0 Costa Rica License.
Based on a work at http://revistas.ucr.ac.cr/index.php/educacion/index.
Permissions beyond the scope of this license may be available at revedu@gmail.com

Referencias bibliográficas

Aparicio, P. (2009). Educación y jóvenes en contextos de desigualdad socioeconómica: Tendencias y perspectivas en América Latina. Archivos Analíticos de Políticas Educativas, 17, 1-35.

Argibay, J. C. (2006). Técnicas psicométricas: cuestiones de validez y confiabilidad. Subjetividad y procesos cognitivos, 8, 15-33.

Baddeley, A. (1986). Working Memory [Memoria de trabajo]. Oxford Psychology Series, No. 11. Oxford: University Press/Clarendon Press.

Banco Mundial (2012). Índice de Gini. Recuperado de: http://datos.bancomundial.org/indicador/SI.POV.GINI

Blair, C. (2006). How similar are fluid cognition and general intelligence? A developmental neuroscience perspective on fluid cognition as an aspect of human cognitive ability [¿Qué tan similares son la cognición fluida y la inteligencia? Una perspectiva de la neurociencia del desarrollo de la cognición fluida como un aspecto de la habilidad cognitiva humana]. Behavioral and Brain Sciences, 29, 109-160.

Bolivar, A. (2005). Equidad educativa y teorías de la justicia. Revista electrónica de iberoamericana sobre calidad, eficacia y cambio en educación, 3(2), 42-69.

Çakir, M. (2012). Epistemological Dialogue of Validity: Building Validity in Educational and Social Research [Diálogo epistemológico de la validez: construcción de la validez en investigación educativa y social]. Education, 132 (3), 664-674.

Carnoy, M. (2005). La búsqueda de la igualdad a través de las políticas educativas: alcances y límites. Revista electrónica de iberoamericana sobre calidad, eficacia y cambio en educación, 3(2), 1-149.

Castelain, T.; Villarreal, M.P.; Molina, M.; Rodríguez, O. (s.f.). Developing a psychometric-cognitive model for a fluid intelligence test [Desarrollo de un modelo psicométrico-cognitivo para un test de inteligencia fluida]. Manuscrito inédito.

Cattell, R.B. (1963). Theory of fluid and crystallized intelligence: A critical experiment [Teoría de la inteligencia fluida y cristalizada: un experimento crítico]. Journal of Educational Psychology, 54, 1-22.

Cattell, R.B. y Cattell. A.K.S. (2001). Factor “g”, escalas 2 y 3. Madrid: TEA.

Cervantes, V. (2005). Interpretaciones del coeficiente Alpha de Cronbach. Avances en Medición, 3, 9-28.

FAO (Organización de las Naciones Unidas para la Agricultura y la Alimentación) (2004). Educación para la población rural en Brasil, Chile, Colombia, Honduras, México, Paraguay y Perú. Roma: FAO.

González, M.R., Aragón, L.E. y Silva, A. (2000). Baremación del test de inteligencia factor «g» de Cattell, en la zona metropolitana de la ciudad de México. Psicothema, 12(2), 275-278.

Hoffman, L. M., Loeb, D. F., Brande, J., y Gillamd, R. B. (2011). Concurrent and Construct Validity of Oral Language Measures with School-Age Children with Specific Language Impairment [Validez concurrente y de constructo de las mediciones de lenguaje oral en niños en edad escolar con una discapacidad específica de lenguaje]. Journal of Speech, Language, and Hearing Research, 54, 1597–1608.

Kane, M.J. y Engle, R.W. (2002). The role of prefrontal cortex in working memory capacity, executive attention, and general fluid intelligence: An individual-differences perspective [El rol de la corteza prefrontal en la capacidad de la memoria de trabajo, la atención ejecutiva, y la inteligencia general: una perspectiva de las diferencias individuales]. Psychonomic Bulletin and Review, 9(4), 637-671.

Messick, S. (1989). Meaning and Values in Test Validation: The Science and Ethics of Assessment. Educational Researcher, 18 (2), 5-11.

MIDEPLAN (Ministerio de Planificación Nacional y Política Económica) (2007). Índice de Desarrollo Social 2007. San José, Costa Rica: MIDEPLAN.

Montero, E. (2008). The balance between excellence and equity in admission tests: Contributions of cognitive psychology in an emergent experience from the University of Costa Rica [El balance entre excelencia y equidad en examines de admisión: contribuciones de la psicología cognitiva a una experiencia emergente de la Universidad de Costa Rica]. World Linguistic Conference, Essen, Germany.

Neisser, U., Boodoo, G., Bouchard, T., Boykin, A., Brody, N., Ceci, S., Halpern, D., Loehlin, J., Perloff, R., Sternberg, R. y Urbina, S. (1996). Intelligence: Knowns and Unknowns [Inteligencia: lo conocido y lo desconocido]. American Psychologist, 51(2), 77–101.

Padilla, J., Gómez, J., Hidalgo, M. y Muñiz, J.(2006). La evaluación de las consecuencias del uso de los test en la teoría de la validez. Psicothema, 18 (2), 307-312.

PNUD (Programa de las Naciones Unidas para el Desarrollo) (1995). Informe sobre Desarrollo Humano 1995. México: Harla S.A.

PNUD (Programa de las Naciones Unidas para el Desarrollo) (2011). Informe sobre Desarrollo Humano 2011: Sostenibilidad y equidad: Un mejor futuro para todos. Madrid: Ediciones Mundi-Prensa.

Programa Estado de la Nación en Desarrollo Humano Sostenible. (2010). Decimosexto Informe Estado de la Nación en Desarrollo Humano Sostenible. San José: Programa Estado de la Nación.

Schweizer, K. y Koch, W. (2002). A revisión of Cattell’s Investment Theory: Cognitive properties influencing learning [Una revisión de la teoría de la inversión de Cattell: propiedades cognitivas que influencian el aprendizaje]. Learning and Individual Differences, 13, 57-82.

UNICEF (Fondo de las Naciones Unidas para la Infancia) (2006). Niñez y Adolescencia Indígena en Costa Rica: Su derecho a la Salud d y a la Educación. San José, Costa Rica: Editorama.

Vindas, L. (2010). Índice de Desarrollo Humano de Costa Rica sigue creciendo desde 1980. Recuperado de: http://www.elfinancierocr.com/ef_archivo/2010/noviembre/07/economia2579072.html