Rev. Gestión de la Educación, Vol. 6, N° 2, [149-168], ISSN: 2215-2288, julio-diciembre, 2016

DOI: http://dx.doi.org/10.15517/rge.v1i2.25499

URL: http://revistas.ucr.ac.cr/index.php/gestedu

Analítica de datos de aprendizaje (ADA) y gestión educativa

Educational Data Analytics (EDA) and School Administration

Jorge Alexánder Aristizabal F.1

Universidad Santo Tomás

Bogotá, Colombia

alexanderaristizabal@hotmail.com

Recibido 30 noviembre 2015 • Aceptado 23 mayo 2016 • Corregido 27 mayo 2016

Resumen. Este artículo surge como una derivación del marco teórico, metodológico y avances del proyecto de tesis doctoral del autor sobre minería de datos educativos en un aula presencial, teniendo como variables las actividades de enseñanza, el enganchamiento estudiantil y la evaluación del aprendizaje. La idea central se basa en el hecho de que las instituciones educativas cuentan con una gran variedad de datos e información provenientes de sistemas de información escolar, tales como resultados de evaluaciones internas o externas, asistencia a clases, nivel socioeconómico, esquemas de alimentación, llegadas tarde, desempeño año por año, entre otros, los cuales, de acuerdo con las tendencias mundiales, son insumos importantes para la toma de decisiones informadas. No obstante, muchas veces esta información queda acumulada o almacenada en algún lugar de la institución sin que se le dé uso efectivo a esta, o peor aún, la gran cantidad de información del día a día no se recopila o registra, perdiendo así un gran potencial para mejoras académicas. El presente trabajo tiene como objetivo presentar unos conceptos generales acerca de la analítica de datos en el contexto escolar y cómo este proceso puede contribuir a la gestión educativa, principalmente para la toma de decisiones informadas y el desarrollo de planes de acción.

Palabras clave. Analítica de datos de aprendizaje; gestión educativa; minería de datos educativos

Abstract. This article stems from the theoretical and methodological framework of the author´s doctoral thesis which researches Educational Data Mining (EDM) onsite in the classroom. The variables studied include teaching strategies, student engagement and evaluation of student learning. School information systems process vast quantities of information including, internal and external evaluations, student attendance, socioeconomic status, meal programs, tardiness, yearly performance, to name a few, all which significantly contribute to informed decision-making at schools.

Such information is often stockpiled and stored in obscure files somewhere within the school without ever making any effective use of it. Even worse, important information tends to be underrecorded, thereby jeopordazing any opportunities for academic improvement. The objective of this article is to introduce concepts associated with data analysis in a school context and its contribution to educational management which leads to informed decision-making and the development of action plans.

Keywords. Learning analytics; educational management; educational data mining

Introducción

¡Los tiempos modernos son los tiempos del Big Data! Este concepto, que en español sería como grandes cantidades de datos, consiste en la disponibilidad y variedad de información en formatos estructurados y desestructurados de imágenes, números, posición geográfica, voz, texto, transacciones, etc., almacenados en Bodegas de Datos o Data Warehouses cuyo objetivo es aumentar la capacidad analítica de una organización para mejorar su desempeño (Salvador, 2014).

Usualmente este concepto se asocia con grandes corporaciones o conglomerados industriales; sin embargo, hoy en día, las instituciones educativas cuentan con enormes cantidades de datos recopilados a través de los años con diversos procesos y mecanismos, los cuales, tradicionalmente, han sido muy manuales o artesanales, pero que, gracias al desarrollo tecnológico, han evolucionado hacia sistemas más dinámicos y complejos. Estos datos incluyen, entre otros, la asistencia a clase, la participación en actividades extracurriculares, deportes, plan de alimentación, desempeño académico, comportamientos, números de asignaturas, tasas de promoción, deserción, resultados de evaluaciones internas e incluso datos sobre resultados en pruebas estandarizadas de índole nacional o internacional. No obstante, ¿qué se puede hacer con toda esta cantidad de datos e información, en tal forma que su procesamiento contribuya al mejoramiento de los procesos de enseñanza y aprendizaje? ¿Cómo los datos del día a día del acto educativo pueden complementar y servir para mejorar los procesos de enseñanza, aprendizaje, evaluación y en general, la gestión escolar? ¿Existe un modelo específico para tratamiento de datos en el contexto escolar?

Estas preguntas son el fundamento del presente artículo, el cual surge de las reflexiones en torno a la investigación doctoral del autor y tiene como objetivos presentar unos conceptos generales acerca de la analítica de datos en el contexto escolar y plantear una opción metodológica de cómo este proceso puede contribuir a la gestión educativa, principalmente para la toma de decisiones informadas y el desarrollo de planes de acción. El artículo como tal, no corresponde al resultado final de la investigación, la cual está aún en curso, sino más bien a la construcción conceptual del autor en torno al tema y los alcances y aplicaciones emergentes de los marcos conceptuales y categoriales de la tesis doctoral.

Teniendo en cuenta el problema de investigación, los objetivos y la aproximación planteada para su solución, el estudio se ha desarrollado desde una perspectiva mixta, pues se realizan análisis cuantitativos, cuyos resultados se analizan desde un punto de vista cualitativo con inclusión de técnicas de ambos enfoques. Es decir, “implica un proceso de recolección, análisis y vinculación de datos cuantitativos y cualitativos en un mismo estudio o una serie de investigaciones para responder a un planteamiento del problema” (Hernández, Fernández & Baptista, 2010, p. 544). Gracias a esta perspectiva, la información cuantificable es un componente que permite describir o tratar de explicar los fenómenos que se estudian desde un nivel de estructuración lógica (Briones, 2002), lo que significa que con este enfoque no se trata solamente de reseñar una serie de datos y hallazgos a partir de un proceso de minería en el aula (estadística descriptiva, correlaciones, agrupaciones, asociaciones, etc.), sino ir más allá, pasando por la descripción y análisis de constructos propios del acto pedagógico.

Marco teórico

¿Qué es la analítica de datos de aprendizaje o Learning Analytics?

Es claro que el aprendizaje está mediado por muchos factores, tanto internos como externos, los cuales pueden entenderse como variables que, dependiendo de sus interacciones, relaciones o asociaciones, conducen a determinados tipos de aprendizaje. Por ejemplo, un estudiante que llega tarde a clase por problemas de transporte o porque tiene que trabajar, que además no posee recursos en su casa para reforzar su aprendizaje, que sus padres tienen muy bajos niveles de escolares o que se encuentra en una zona rural del país con difícil acceso, seguramente tendrá aprendizajes muy diferentes al estudiante citadino con variados recursos y acceso a la información. El uso de los datos disponibles en las instituciones educativas, a través de herramientas de análisis, usualmente estadísticas, es lo que se conoce en inglés como Learning Analytics o Analítica de datos de aprendizaje (ADA), cuyo objetivo principal es mejorar los procesos y sistemas de enseñanza y aprendizaje a través del análisis datos del aprendizaje (Elías, 2011; Buckingham, 2012).

La ADA usualmente se relaciona con la Minería de Datos Educativos (MDE), la cual, de acuerdo con la Sociedad Internacional de Minería de Datos Educativos (s. f.), es una disciplina emergente preocupada por el desarrollo de métodos para explorar los tipos de datos particulares a los contextos educativos y utilizar dichos métodos para mejorar la comprensión de los estudiantes y las condiciones en que estos aprenden. Según Romero, Ventura, Pechenizky & Baker (2011), el objetivo primario de la MDE es utilizar los grandes conjuntos de datos educativos para mejorar la comprensión del aprendizaje y su proceso. Desde la perspectiva de Papamitsiou & Economides (2014), la Analítica del aprendizaje y la MDE constituyen un ecosistema de métodos y técnicas, generalmente procedimientos, que, sucesivamente, recolectan, procesan, reportan y actúan en datos que una máquina puede leer de forma continua, con el fin de mejorar el ambiente educativo y reflexionar sobre el proceso de aprendizaje. En últimas, con la MDE se busca mejorar los procesos de enseñanza y aprendizaje a partir de los mismos datos provenientes del acto pedagógico como tal, al identificar patrones, algunos de los cuales podrían ser no evidentes para los actores involucrados.

Una forma de ver cómo funciona la analítica de datos en un contexto particular sucede cuando se hacen compras por Internet. En este caso, el sistema hace una relación de los artículos que un cliente usualmente compra, los cataloga y clasifica en grupos y envía información o le muestra al cliente otros productos en los cuales podría estar interesado con base en su historial de compras. Es decir, crea un perfil particular, analiza sus hábitos y tendencia, y realiza una predicción que, muchas veces, el cliente ni siquiera había contemplado. Así mismo, tiene en cuenta la situación geográfica de los clientes, los productos más vendidos en ciertas áreas, las cantidades, etc., permitiendo a los distribuidores decidir sobre qué productos destinar a ciertas zonas, las cantidades y qué otros productos podrían necesitarse en el corto, mediano y largo plazo. Esta toma de decisiones informadas ahorra tiempo y dinero que, usualmente, puede utilizarse o invertirse en otras áreas. De acuerdo con Dawson, Heathcote & Poole (2010), estos sistemas proporcionan al usuario una experiencia mucho más oportuna, personalizada y relevante, y a las compañías, una mejor línea de base.

El término correcto para el sector empresarial de este proceso e incorporación de sistemas es Bussiness Inteligence o Inteligencia de Negocios, empleados para identificar patrones significativos en los datos a través de un conjunto de tecnologías como la minería de datos, los modelos de predicción y la visualización de la información (Chaudhuri, Dayal & Narasayya, 2011). Esta idea de inteligencia de negocios, lo mismo que el de la minería de datos, se ha importado al contexto educativo con el único fin de utilizar las grandes cantidades de datos e información disponible en las instituciones educativas y analizarlos para encontrarles usos directos en los procesos de administrativos, de enseñanza y aprendizaje, particularmente para la toma de decisiones informadas.

La Minería de Datos Educativos es un área de investigación emergente, pero con gran proyección, ya que las instituciones educativas cuentan, cada vez más, con sistemas de registro más eficientes y sofisticados, permitiendo la recolección de grandes cantidades de información que, tratada correctamente, puede ser una fuente valiosa para realizar predicciones, asociaciones y otro tipo de estudios que ayuden a una mejor comprensión de los procesos de enseñanza y aprendizaje. Por tanto, es importante tener una mejor comprensión de la ADA y sus implicaciones en los nuevos procesos de gestión, dado que la tendencia es a un uso más efectivo de la información disponible.

Una aproximación a la analítica de datos del aprendizaje en el contexto escolar

Las instituciones educativas son ricas en datos e información. De cada aula de clase emergen datos que alimentan un sistema institucional, el cual a su vez, alimenta un sistema local, municipal, nacional y así, hasta el conjunto global. Estos niveles, en analítica de datos del aprendizaje, se conocen como analítica de macro, meso y micronivel (Buckingham, 2012). Por consiguiente, puede haber análisis horizontales o al mismo nivel, o análisis transversales o entre niveles. Cada uno proporciona diferentes tipos de información, haciendo que los hallazgos en un nivel fortalezcan los hallazgos en otros niveles, o deriven en otros estudios o relaciones. Por ejemplo, la identificación de factores específicos de aprendizaje en una institución particular, comparados con varias instituciones a nivel zonal, puede dar indicios de cuáles son los estilos particulares de aprendizaje o necesidades específicas en una zona del país. Esto, a su vez, permite diseñar currículos o estrategias adecuadas a la población en un contexto particular.

Solamente en los niveles micro y meso existe suficiente información, prácticamente imposible o muy difícilmente manipulable por medios manuales. Por esto, una forma adecuada consiste en clasificar los datos en grupos o categorías específicas, según los actores o funcionalidad. Una de las primeras clasificaciones la proporciona Bernhardt (1998), quien propone cuatro categorías generales para agrupar los datos de una institución educativa. De acuerdo con este modelo, en una institución se puede tener datos acerca de (a) las percepciones, (b) el aprendizaje de los estudiantes, (c) los procesos escolares y (d) los aspectos demográficos. A través de la interrelación de estos datos, pueden responderse diversas preguntas acerca de los procesos académicos y administrativos, permitiendo la intersección de las cuatro categorías, resolver preguntas acerca de las acciones, los procesos y los programas que mejor se ajustan a las necesidades de los estudiantes.

Bernhardt (1998) menciona que, por separado, cada categoría proporciona información y conocimiento sobre aspectos puntuales, como por ejemplo, ¿cuántos estudiantes están matriculados para este año? O, ¿cómo ha variado la matrícula en los últimos años? Pero al combinar dos, tres o las cuatro categorías, pueden responderse preguntas más complejas como, ¿cuál es el desempeño académico en pruebas estandarizadas de los estudiantes que asisten puntualmente todos los días comparado con los de asistencia irregular? ¿Perciben el ambiente escolar de manera diferente los hombres o las mujeres en la institución educativa? O incluso mucho más complejas como, ¿existen diferencias en el desempeño entre hombres y mujeres del grado 8 luego de la implementación del nuevo libro texto en los últimos tres años comparado con años anteriores? Por consiguiente, el uso combinado de las cuatro categorías de datos permitirá responder preguntas a nivel institucional con la capacidad de predecir o estudiar si las acciones, procesos, iniciativas, recursos y programas han tenido o están teniendo un efecto a nivel de gestión escolar, en general y en procesos de enseñanza y aprendizaje, en particular.

Un aspecto clave en la ADA es tener preguntas claras sobre los procesos educativos para así, encontrar las diversas variables o dimensiones que pueden intervenir en estas. Una vez se identifican, puede hacerse un cruce de datos con el fin de encontrar nueva información que derive en conocimiento y este, en acciones concretas. Estas acciones a su vez, generarán nuevos datos que deberán interpretarse y analizarse, con el fin de determinar si han tenido efecto o no y qué rumbo debe tomarse.

Tableros analíticos de control (Analytics dashboards)

Imagínese una institución educativa en donde en cada aula de clase o en cada oficina de dirección hubiera un tablero de control similar al de los aviones, que indica diversas variables de vuelo como altura, velocidad, nivel de combustible, fuerza y dirección del viento, etc. Manteniendo las justas proporciones, se tendría medidores que indicarían, constantemente, cómo va la asistencia a clases, cuáles son los promedios individuales o grupales, las tendencias de las notas académicas en cada asignatura o en cada grado, marcaría naranja cuando algún estudiante está teniendo una tendencia a disminuir su desempeño académico, en fin, sería un instrumento de gran utilidad, tanto para la gestión administrativa como para la pedagógica. A pesar de que todavía no se ha llegado a este nivel de especificidad, sí puede hablarse de tableros analíticos, particularmente en cursos virtuales, en donde los registros del estudiante pueden visualizarse a través de una serie de gráficas, mapas, tablas o reportes personalizados de fácil uso e interpretación. En estos tableros, el alumnado, los docentes, los administrativos docentes o los analistas de datos encuentran una herramienta crítica y extremadamente útil de visualización para realizar comparaciones de desempeño, progreso sobre un tiempo, predicciones, entre otros (Baker, 2007; Duval, 2011; Buckingham, 2012). En la gestión administrativa y pedagógica es muy probable que la información presentada de forma gráfica, coherente y de fácil lectura, facilite la toma decisiones y disminuya las controversias.

Para este tipo de visualizaciones no se requiere de software particularmente costoso o complicado. Con bajo presupuesto y como punto de partida, puede utilizarse las herramientas gráficas de las hojas de cálculo en los programas básicos de los computadores. Sin embargo, existen, sin lugar a dudas, software cada vez más poderosos para análisis y visualización de datos que han sido importados del sector comercial, pero que cobran otro sentido en el sector educativo.

En vista de que los datos en el mundo solo tienden a aumentar de forma exponencial, las herramientas para su análisis y visualización también aumentan. Para el campo educativo, Brown (2014) identifica tres tipos específicos de secciones que deberían tener los tableros analíticos de control: (a) para quien realice la función de instructor y diseñe el curso (b) para estudiantes y docentes y (c) los propios de un sistema de analítica de datos del aprendizaje (ADA). Por supuesto, cada uno tiene funciones y objetivos específicos, ya que las preguntas de cada uno de los actores en los procesos pedagógicos son diferentes, como lo pueden ser igualmente sus intenciones. Un docente puede preguntarse sobre cuál fue la sección o pregunta más difícil para sus estudiantes en una evaluación en particular; mientras que un administrativo puede preguntarse sobre cuántos estudiantes están con notas de aprobación y asisten puntualmente a clases; o quizás, un estudiante solo quiera saber cómo se compara su promedio con el promedio de su clase. Sin importar qué tan sencillo o sofisticado sea el tablero de control o software para análisis de datos, lo más importante es la pregunta que se hacen los actores educativos, ya que en últimas, esta guiará las acciones, interpretación, análisis y toma de decisiones con respecto a la gestión administrativa o pedagógica.

La transformación de datos en información y la información en conocimiento, no es una tarea trivial. Se requieren ciertas habilidades y conocimientos, los cuales aunque no son necesariamente complicados, sí platean cierta disposición y competencia. Una mala presentación de información, a pesar de que haya una buena fuente de datos, puede conducir a una mala interpretación o viceversa, lo que puede acarrear problemas al momento de tomar decisiones. Por tanto, los tableros de control deben ser suficientemente explícitos, claros y causar un impacto visual significativo para generar, en el observador, una idea inmediata que, posteriormente, evolucionará en un juicio o una conclusión. Así mismo, el tipo y cantidad de información que se muestra es fundamental, con el fin de no sobrecargar la observación con información no relevante. Las visualizaciones deben mostrarse en formatos consistentes a intervalos regulares de tiempo, para mantener el foco en lo que realmente tiene impacto en el logro de los estudiantes (Washington State School Directors’ Association, 2008). De esta forma, se tiene información precisa en determinados momentos del año escolar, permitiendo así, realizar las correcciones y adopciones necesarias en el momento justo, sin tener que esperar hasta el final cuando ya no es mucho lo que se puede hacer.

El tipo de visualización y la métrica utilizada es de extrema importancia para evitar caer en falsos juicios, lo cual se ilustra con el siguiente ejemplo: En una institución se presentaban datos a la comunidad sobre el logro de los estudiantes, año tras año, en una medida o métrica que mostraba progreso permanente. Cuando toda la comunidad veía esta información quedaba satisfecha, pues la institución estaba mostrando progreso, es decir, los estudiantes aprendían más con cada año que pasaba. Por un tiempo no hubo interés en realizar mayores ajustes ni cambios a los planes de estudio, ni revisar lo que se estaba haciendo porque la percepción, a partir de la visualización, era muy positiva. No obstante, al cambiar la métrica a puntos percentiles y rehacer las visualizaciones, el panorama se transformó radicalmente. Ese progreso que mostraba la primera métrica era propio y esperado, ya que cada año los estudiantes maduraban y adquirían mayor conocimiento; no obstante, en términos de percentiles, es decir, comparados con el desempeño grupal esperado para cada grado, los estudiantes iban en descenso. A partir de este momento, la percepción cambió completamente y se dio inicio a un proceso de reestructuración interna. Este ejemplo muestra cómo la selección de las métricas y las visualizaciones en los tableros de control son fundamentales para no llegar a conclusiones o decisiones erradas. Por métricas erróneas e interpretaciones equivocadas se han caído muchos aviones.

La gestión educativa y la toma de decisiones informada

Es poco probable que, actualmente, las Facultades de Educación cuenten dentro de sus programas curriculares con una asignatura llamada análisis de datos para mejoras académicas, a pesar de que la literatura muestra que este es uno de los primeros aspectos a tratar con el profesorado, si se quiere hacer uso efectivo de los datos para mejorar la calidad de la educación (Parker, 2008; Bernhardt, 2009a; Mandinach, Gummer & Muller, 2011). Esto hace muchas veces que el análisis de datos para los docentes se torne en una misión compleja y nada atractiva, no por el proceso como tal, sino por la falta de una cultura organizacional de trabajo colaborativo que hagan de la interpretación y análisis de datos, tareas interesantes con impacto directo en la práctica docente, aprendizaje de los estudiantes y el clima institucional, entre otros. Las respuestas a las preguntas sobre el acto pedagógico tienen su fuente en los datos disponibles en la institución; por tanto, cada integrante de la comunidad educativa tiene su cuota de responsabilidad en la interpretación, análisis y acciones en la medida de su alcance y papel en esta.

Si se quieren obtener cambios se deberán variar los procesos y las actitudes, pues las instituciones al actuar en la forma que operan, seguirán produciendo los resultados que obtienen. De esta manera, para lograr los cambios es importante medir, interpretar, analizar y concluir, individual y colectivamente, para así constituir las condiciones necesarias para alcanzar los resultados que realmente se desean. Para comenzar a ver cambios significativos se debe medir, tal como lo afirma Bernhardt (2009b), las instituciones no pueden mejorar lo que no miden. Es muy arriesgado volar a ciegas, sin información sobre las condiciones que proporcione un viaje seguro. Por esto, una buena forma de ver en dónde se está, de dónde se viene y para dónde se va, es mediante una interpretación y análisis de los datos que surgen de las mediciones.

Varios investigadores en educación han planteado diferentes mecanismos para crear una cultura organizacional que dé valor a los datos y su uso para el mejoramiento académico. Una de estas es una propuesta de la Universidad de Harvard con el proyecto Data Wise: A Step-by-Step Guide to Using Assessment Results to Improve Teaching and Learning (Boudett, City & Murnane, 2005). En ese trabajo se plantea una metodología en la cual se generan las condiciones necesarias para propiciar, en la institución educativa, una cultura del uso de los datos de la evaluación para mejorar los procesos de enseñanza y aprendizaje, lo que hace a través de tres categorías, en ocho etapas a seguir, conforme se específica en la siguiente tabla.

En el proceso de Data-Wise propuesto por Harvard, se presta gran importancia al trabajo en equipo y la formación docente en análisis de datos, ante todo, para manejar un lenguaje común y comprender la importancia de estos. Involucra también, aspectos generales de los sistemas integrales de gestión de calidad, como el Ciclo Deming de Planear, Hacer, Verificar y Actuar, permitiendo así la posibilidad de mejoras y optimización de los productos, entendidos estos como procesos pedagógicos y administrativos, en general.

Otra propuesta para generar esta cultura institucional de análisis de datos es presentada por Hamilton, Halverson, Jackson, Mandinach, Supovitz & Wayman (2009), quienes en lugar de proponer etapas, establecen cuatro recomendaciones, las cuales parecen estar dirigidas a las directivas de los centros educativos, a fin de generar las condiciones necesarias hacia una cultura de datos en la institución. Según esto, se recomienda lo siguiente: (1) Haga de los datos parte integral de un ciclo continuo de mejoramiento de la enseñanza, (2) Enséñeles a los estudiantes cómo analizar sus propios datos y cómo establecer metas de aprendizaje, (3) Establezca una visión clara a nivel institucional acerca el uso de los datos y (4) Proporcione el apoyo necesario para desarrollar una cultura institucional orientada al uso de los datos.

De la anterior perspectiva, un aspecto interesante a resaltar es el papel que tienen los estudiantes en el análisis de sus propios datos y las acciones que este debe generar. Usualmente, a los estudiantes se les entrega los resultados de sus evaluaciones, pero no se realiza un estudio acerca de lo que significa ese resultado. Por ejemplo, ¿hasta qué punto y con qué frecuencia los mismos estudiantes realizan una comparación con otros grupos en la misma prueba, determinan su ranking o posición en percentiles o hacen una correlación con otras pruebas anteriores para identificar fortalezas y debilidades y así, diseñar un plan de mejoramiento personal? Al realizar esta acción se está empoderando y haciendo responsable al estudiante de su desempeño, generando una conciencia y actitud hacia el cambio. Por supuesto, una retroalimentación efectiva y oportuna por parte de los docentes es conveniente en esta etapa, para no dejarlos solos y perder valores agregados como la autorreflexión, concientización del desempeño propio y rutas para construcciones y reconstrucciones de conocimiento.

Un sistema de gestión de datos en una institución educativa, es una herramienta que permite a todos los miembros de la comunidad educativa conocer antecedentes, identificar y analizar situaciones actuales, planear intervenciones y proyectarse hacia un mejor desempeño. Existen diferencias fundamentales en la toma de decisiones cuando estas se realizan sin contar con el soporte y poder otorgado por la información. La siguiente tabla muestra algunos ejemplos en donde se ilustran estas diferencias.

Mandinach, Gummer, & Muller (2011) manifiestan que los datos deben utilizarse para la mejora continua de estudiantes, colegios y distritos, y no solo para cumplir y rendir cuentas, siendo esta última, según Murray (2013), su objetivo actual. Si se tratara nada más de rendir cuentas, se perdería el verdadero potencial de los datos, como por ejemplo la investigación sistemática de los factores que apoyan o desfavorecen los procesos de enseñanza y aprendizaje. Por tal razón, es indispensable no perder su verdadero objetivo y utilizar la gestión de datos como un mecanismo para generar espacios de trabajo colaborativo; lo que se busca es el surgimiento de ideas para la investigación en el aula y el mejoramiento institucional producto de una institución con docentes investigadores.

Los procesos de reflexión en torno a la gestión de datos en las instituciones educativas, deben ser continuos y estar incorporados a las dinámicas regulares. Es común que en un aula se enseñe un tema, se realice un proyecto o ejercicios y se termine con una evaluación del aprendizaje. No obstante, ¿en cuántas instituciones se asigna un tiempo o se crean las condiciones para que los docentes y estudiantes puedan reflexionar sobre los resultados de la evaluación, o que se reúnan los docentes de un mismo nivel y discutan sobre sus hallazgos de sus resultados para encontrar patrones, semejanzas o diferencias entre sus estudiantes?

Bernhardt (1998) considera que el análisis de datos a nivel institucional debe ser acerca de cómo ayudar a entender si se están logrando los propósitos y principios institucionales, así como si se están satisfaciendo las necesidades de todos los estudiantes; pero si no es así, de analizar por qué no, por lo cual propone se formulen preguntas clave a responder. La calidad de las respuestas a estas preguntas dependerá, significativamente, de la calidad de la información disponible, del análisis que se realice y de las conclusiones que se logren; por supuesto, mucho mejor si sucede en un ambiente colegial de colaboración con una meta común para el mejoramiento institucional continuo en múltiples dimensiones.

Marco metodológico

Como se mencionó anteriormente, la aproximación a este proceso investigativo es mixta, lo cual en algunos casos puede ser controversial, razón por la cual y con el fin de aclarar las contribuciones desde cada perspectiva, se establece lo que se entiende por cualitativo y cuantitativo al interior de esta. En términos cualitativos se consideran los siguientes aspectos:

1. Los comentarios y explicaciones dadas por los estudiantes y los profesores a ciertos aspectos puntuales de la investigación, ya que corresponden a sus propias expresiones con base en sus juicios de valor.
2. El uso de instrumentos como la entrevista estructurada, con el fin de obtener categorías específicas con base en las respuestas dadas por los actores.
3. La construcción de conocimiento en procesos de discusión en los que participan los profesores, estudiantes, administrativos docentes y el investigador.

Estos aportes permitirán darle sentido a los hallazgos cuantitativos provenientes de los resultados de la analítica de datos, a partir de las técnicas visuales de minería de datos. Esta complementariedad entre estos dos enfoques, es lo que permite conectar significativamente las premisas de ambos paradigmas con teorías sustantivas (Hernández & Mendoza, 2008, citado en Hernández et al., 2010). En este caso particular de investigación en educación y en general, en las ciencias sociales, el enfoque mixto parece altamente recomendable para aumentar la capacidad discursiva de los hallazgos y su implicación social, lo cual según Creswell & Garrett (2008) proporciona una mayor variedad de fuentes de información y obedece a las necesidades del investigador en el campo educativo, de contar con una gran caja de herramientas con métodos y diseños para afrontar problemas de investigación complejos y multidisciplinarios.

Las etapas propuestas para esta investigación pueden desglosarse de la siguiente forma:

1. Selección de la muestra: Se cuenta con una muestra de 10 estudiantes de un grupo de 30 seleccionados aleatoriamente y dos profesores -uno de química y otro de ciencias sociales- del mismo grupo. Los docentes fueron seleccionados por la dirección de la institución educativa. La institución educativa es de carácter privado, sin ánimo de lucro, y ofrece educación desde preescolar hasta secundaria completa. Sirve a una población de estratos socioeconómicos bajos en la ciudad de Bogotá, Colombia.
2. Validación de instrumentos: Los instrumentos pasaron por un proceso de validación, primero por los profesores que participan en la investigación y por dos docentes investigadores en educación de dos universidades locales.
3. Recolección de datos: Se proporcionó a los estudiantes y a los profesores las encuestas para ser diligenciadas durante dos semanas, para cada una de las clases de química y de ciencias sociales. Estas encuestas recopilan información sobre las actividades de enseñanza empleadas por el o la docente y el enganchamiento de los estudiantes durante las actividades de enseñanza. Los profesores diligencian una encuesta parecida, pero registran su percepción del enganchamiento de los estudiantes frente a sus actividades de enseñanza. Otro instrumento corresponde a un registro documental sobre la evaluación del aprendizaje de los estudiantes, en donde se indica el tipo de instrumento de evaluación empleado, la calificación a cada una de las preguntas de las evaluaciones y el indicador o indicadores de aprendizaje evaluados.
4. Diseño de base de datos funcional: Todos los datos recopilados a partir de las encuestas y del registro documental, se registran en una base de datos tipo hoja de cálculo, siguiendo las directrices básicas para generar una base de datos.
5. Elaboración de visualizaciones o tableros analíticos de control: En este caso y con el fin de hacer un proceso de minería de datos más accesible a la comunidad educativa, por supuesto luego de un proceso de búsqueda, exploración y análisis, se optó por un software específico para inteligencia de negocios, el cual permite utilizar técnicas visuales de minería de datos y produce gráficos altamente intuitivos para dar respuesta a las preguntas orientadoras.
6. Socialización de las visualizaciones y tableros (estudiantes, profesores y administrativos): En este proceso, las contribuciones de los actores son fundamentales, pues al final son ellos quienes ayudan a establecer los aportes de un proceso de minería con datos recogidos en el día a día del acto pedagógico.
7. Elaboración de conclusiones: La información proporcionada por cada uno de los actores deberá ser codificada y sistematizada para así, identificar y proponer los aportes de los diferentes actores que, desde sus propios roles, surgen luego de aplicar un modelo metodológico de minería de datos en aula de educación presencial.

   8. En un proceso como este, los datos solamente se convierten en información y esta, a su vez, en conocimiento útil cuando cobran sentido para los actores directamente involucrados. En esta investigación, los sujetos son vitales, ya que, desde sus estructuras conceptuales e intereses, se derivarán aportes potenciales que, en últimas, pretenden mejorar los procesos de enseñanza y aprendizaje y la educación, en general.

   Análisis preliminar de resultados

Siendo esta una investigación aún en curso, los resultados que pueden reportarse están centrados principalmente en su componente metodológico. Al momento de escribir este artículo, la investigación se encontraba en el proceso de recolección de datos en el aula. No obstante, la propuesta de un Sistema Integrado de Gestión de Datos Escolares (SIGDE) es, en sí misma, un producto de esta investigación, la cual sin importar el contexto y los datos recopilados puede implementarse en cualquier institución educativa que tenga como objetivo la mejora continua ayudada por procesos constantes de búsqueda, medición y registro de datos.

A continuación, se describirá en qué consiste el SIGDE y cómo puede implementarse en las instituciones educativas.

Propuesta metodológica para gestión de datos escolares

El siguiente modelo de gestión de datos integra diversos aspectos de modelos anteriores y pretende, únicamente, dar una idea de un proceso comprensivo para la conformación de una cultura organizacional alrededor del uso de datos en una institución educativa. No es una lista de pasos a seguir, son solamente unas ideas, en cierto orden, que pueden acomodarse de acuerdo con las dinámicas institucionales y como tal, solo pretende proporcionar un punto de partida hacia la organización de una cultura en gestión de datos.

En este modelo, la primera sugerencia es Cuestionar con el fin de tener preguntas claramente definidas y de solución viable. Algunos ejemplos de este tipo de preguntas pueden ser:

• ¿Se están obteniendo los resultados que se quieren? Si no es así, ¿qué se puede hacer en los diferentes niveles institucionales para obtenerlos?
• ¿En qué forma puede mejorarse la gestión institucional?
• ¿Se están invirtiendo los recursos adecuadamente? ¿Se están logrando aprendizajes significativos en los estudiantes? Si no es así ¿cómo lograrlo?
• ¿Se sienten los estudiantes motivados hacia el aprendizaje y seguros en la institución?

En general, deben ser preguntas orientadoras que lleven a la búsqueda de datos e información y motiven a una indagación más profunda; en últimas, deben generar curiosidad.

La segunda sugerencia es Conocer, es decir, saber qué se tiene y acceder a la información disponible en la institución educativa, determinar los usos de cada una de estas piezas de información, comprender qué tipo de información se presenta, dónde y cómo se encuentra almacenada y cuál es la forma más efectiva de acceder a ella. Es importante comprender cómo se presenta la información y las métricas utilizadas en cada caso para poder relacionar unidades comunes y realizar una interpretación acertada de la información. No es igual, información sobre el desempeño estudiantil presentada en percentiles a información de lo mismo presentada en porcentajes o deciles.

Seguidamente, Preparar, lo cual consiste en establecer las mejores condiciones posibles para la gestión de datos. Por ejemplo, talleres de capacitación docente acerca de la importancia del uso de datos en el mejoramiento institucional, interpretación y análisis de información, tamizado de datos e información, presentación de informes en forma comprensiva para fácil interpretación y análisis. No todos los docentes en una institución educativa deben ser expertos analizando datos; no obstante, sí deben tener una comprensión global de su importancia y ciertas habilidades básicas para comprender métricas en los informes; esto hace parte de la formación profesional hoy en día. Lo fundamental es contar con un grupo líder, conformado principalmente por sujetos altamente motivados, comprometidos con el avance institucional y ante todo con deseos de aprender y motivar a otros en la gestión de datos institucionales. En todo grupo de trabajo, la forma más eficiente de trabajar es mediante normas o protocolos acordados al interior de este, en tal forma que se puedan manejar las sesiones de forma eficaz y efectiva. No hay nada más contraproducente que largas sesiones de trabajo con datos sin un horizonte definido y sin lograr nada al final de estas.

El Indagar, es quizás uno de los procesos más complejos, pero también más interesantes, en los sistemas de gestión de datos. Una vez que se tiene una pregunta y se filtra la información que puede servir a su solución, se comienza un proceso de búsqueda para relacionar algunas variables, profundizar en otras en particular, establecer correlaciones, identificar patrones; en general, se trata de encontrar la raíz de la situación. En medicina sería equivalente a tener un caso complejo en donde una junta médica realiza un diagnóstico consensuado después de mirar los diferentes resultados de los exámenes de laboratorio e imágenes para determinar la causa y así mismo, proceder a un posible tratamiento. Es importante tener en cuenta que un tratamiento no implica necesariamente una cura automática, tal como una serie de acciones no implica necesariamente un mejoramiento institucional inmediato. No obstante, el tratamiento como opción es un nuevo curso que puede ajustarse durante el proceso para ir llevándolo hacia los niveles o estadios esperados o ideales. Durante la indagación, la participación de los estudiantes y representantes de los padres de familia es estratégica; esto les brindará transparencia a los procesos y los involucrará en una dinámica donde todos son responsables en la obtención de beneficios comunes. Cuando las decisiones tienen un impacto en los procesos administrativos, es también importante involucrar personal líder de las diversas dependencias, ya que su contribución en la toma de decisiones puede afectar muchas de ellas. Las decisiones tomadas a través de la participación y concertación se asimilan, apoyan y ejecutan más fácilmente que aquellas en donde no hay participación y cooperación de las diversas partes. El proceso por el cual los diferentes actores se apropian de las decisiones colectivas no es una tarea fácil, pues muchas veces implica cambios paradigmáticos, los cuales no suceden prontamente.

Una vez se tiene una comprensión más profunda sobre aquello que se quiere mejorar y un posible origen de la situación, es necesario Hacer algo al respecto. Una manera conveniente es mediante el diseño de planes de acción, los cuales son una estrategia que permite priorizar una serie de acciones para lograr una o varias metas. Una sugerencia es plantear los objetivos en términos de metas SMART (Doran, 1981), por las siglas en inglés Specific, Measurable, Attainable, Realistic y Time-bound, en español sería eSpecíficas, Medibles, Alcanzables, Realistas y en un Tiempo dado. De esta forma, es posible medir sobre el proceso y realizar ajustes cuando sea necesario. El siguiente formato es una idea de cómo podría ser un plan de acción a nivel institucional.

Los planes de acción no son productos finalizados, son el principio y el final de un ciclo de mejoramiento continuo que se alimenta constantemente de nuevas fuentes de información, nuevos escenarios, contextos y actores. Los planes de acción requieren un gran compromiso institucional, ya que pueden plantear formas completamente no tradicionales de ver o hacer las cosas, pueden sugerir nuevos modelos de gestión, nuevas prácticas pedagógicas y didácticas, nuevas estrategias de evaluación, mayor disponibilidad de recursos, etc.; por esta razón, se debe tener en cuenta el alcance y no perder de vista las metas SMART.

A pesar de que en el plan de acción Reflexionar aparece como última etapa, de ninguna forma debe verse de esta manera, pues es un proceso que puede traer nuevas preguntas o generar un nuevo punto de divergencia; es un momento de coevaluación, autoevaluación y heteroevaluación, un espacio para analizar y comprender mucho mejor todos los procesos, un momento de aprendizaje y preparación. Es la oportunidad de analizar nuevamente los resultados y determinar si se respondieron las preguntas iniciales; es el final de un nuevo comienzo.

La tabla 4 muestra, de manera integrada, el Sistema Integrado de Gestión de Datos Escolares (SIGDE).

Conclusiones

Las siguientes se constituyen en conclusiones parciales de la investigación, derivadas del trabajo teórico de esta y como tal, permiten vislumbrar un horizonte de sus alcances prácticos. Las conclusiones definitivas se publicarán en un artículo posterior, el cual incluirá en mayor detalle la implementación del modelo metodológico para minería de datos en un contexto de aula presencial, el cual corresponde a una herramienta empleada en la etapa de preparación e indagación de datos del SIGDE.

En primer lugar, estudios en gestión de datos muestran que es más probable que los docentes que invierten más tiempo en la revisión de datos realicen ajustes a sus estrategias de enseñanza y decisiones académicas en sus aulas (Heppen, Faria, Sawyer, Thomsen, Townsend, Kutner y Stachel, 2010), particularmente, si los datos se utilizan como una fuente de sostenimiento, apoyan el crecimiento y desarrollo de una organización (Wilson, Miller y Rossman, 1985). Por tanto, es probable que una comunidad educativa que genere una cultura para la gestión de datos académicos, sea una comunidad que crece y se fortalece al propiciar espacios transparentes de discusión que lleven a la toma de decisiones informadas. La intuición, los mitos y la tradición, como mecanismos en la toma de decisiones, deberán evolucionar a formas que generen menos controversia y mejoren la gestión administrativa y pedagógica en las instituciones educativas, tal como lo propone la analítica de datos de aprendizaje y la gestión escolar informada.

En segunda instancia, la analítica de datos educativos, a través de técnicas de visualizaciones, es un mecanismo conveniente en el ámbito educativo por su potencial visual y la capacidad humana intuitiva hacia el análisis gráfico. Este, en sí mismo, es un proceso de minería de datos educativos, el cual se realiza sin la necesidad de hacer uso de programación algorítmica y conocimiento avanzado en programación, lo cual puede ser un factor limitante para un gran porcentaje del profesorado. Los resultados, a partir de técnicas visuales para minería de datos, se consideran en sí mismos una actividad de descubrimiento de conocimiento, pues se realizan procesos no triviales de identificación de patrones en los datos que son válidos, novedosos, potencialmente útiles y comprensibles (Goebel & Gruenwald, 1999).

Como se mencionó anteriormente, la visualización es un proceso intuitivo que permite a los sujetos identificar y derivar información a partir de algo que, normalmente, no se puede ver a simple vista, como es el caso de muchas variables del acto pedagógico. Así mismo, consiste en representar algo por medio de imágenes que cobran sentido o dan respuesta a las inquietudes del sujeto que indaga. No en vano, la exploración visual se ha probado como una herramienta poderosa para la minería de datos multivariado y descubrimiento de conocimiento (Wang, Luo, Freedman & Kung, 2000), precisamente por la capacidad que se tiene de presentar información en forma tal que los sujetos la pueden entender, modificar y adaptar con base en sus necesidades particulares de indagación. Estas visualizaciones es lo que permite generar procesos de reflexión y generación de preguntas y respuestas que buscan, en últimas, mejorar los procesos educativos.

Finalmente, una institución educativa con serias intenciones de mejoramiento constante, deberá tener en sus procesos, un sistema de gestión de datos que permita determinar de dónde se viene, qué se tiene y para dónde se va. Los datos educativos solo tienden a aumentar y una estrategia adecuada es aprender a utilizarlos efectivamente, lo cual incluye entre otros procesos recopilación, almacenamiento, tratamiento, análisis e impactos. Se debe pasar de la cultura de los datos e información sin uso y sin sentido, a una cultura de datos e información para autoconocimiento, autogestión y automejoramiento.

Esta investigación, una vez culmine, presentará los aportes al acto pedagógico desde la perspectiva de los actores, derivados de la aplicación de este sistema de gestión de datos junto con un modelo metodológico de minería de datos educativos con técnicas visuales en un aula de educación presencial. Solo resta esperar que el hacer evidente, a través de los datos, fenómenos que suceden en el aula y que muchas veces se toman por sentado o no se recopilan, también contribuyan a mejorar holísticamente aquello que se entiende por enseñar y aprender, y en general, lo que se entiende por educación.

Referencias

Baker, B. M. (2007). A conceptual framework for making knowledge actionable through capital formation (Tesis de doctorado). University of Maryland University College. Recuperado de: http://gradworks.umi.com/32/54/3254328.html

Bernhardt, V. (1998). Multiple measures. California Association for Supervision and Curriculum Development. Recuperado de: http://nces.ed.gov/pubs2007/curriculum/ pdf/multiple_measures.pdf

Bernhardt, V. (2009a). Measuring school process. Education for the future initiative. Recuperado de: http://eff.csuchico.edu/downloads/MeasuringProcesses.pdf

Bernhardt, V. (2009b). Data use: Data-driven decision making takes a big-picture view of the needs of teachers and students. Journal of Staff Development, 30 (1), pp 24-27. Recuperado de: http://eric.ed.gov/?id=EJ827537

Boudett, K. P., City, E. & Murnane, R. (2005). Data wise: A step-by-step guide to using assessment results to improve teaching and learning. Cambridge: Harvard Education Press.

Briones, G. (2002). Metodología de la investigación cuantitativa en las ciencias sociales. Recuperado de: https://www.contrasentido.net/wp-content/uploads/2007/08/modulo3.pdf

Brown, L. (2014). Improving student persistence with learning analytics tools and dashboards. (Tesis inédita de maestría). Athabasca University. Recuperado de: http://dtpr.lib.athabascau.ca/action/download.php?filename=scis-07/open/LornaBrownEssay.pdf

Buckingham, S. (2012). Learning analytics. Recuperado de: http://iite.unesco.org/files/policy_briefs/pdf/en/learning_analytics.pdf

Chaudhuri, S., Dayal, U. and Narasayya, V. (2011). An overview of business intelligence. Technology and Communications of the ACM, 54 (8), 88-98- Recuperado de: http://cacm.acm.org/magazines/2011/8/114953-an-overview-of-business-intelligence-technology

Creswell, J. W. & Garrett, A. L. (2008). The “movement” of mixed methods research and the role of educators. South African Journal of Education, 28 (3), 321-333. Recuperado de: http://www.sajournalofeducation.co.za/index.php/saje /article/viewfile/176/114

Dawson, S., Heathcote, L. & Poole, G. (2010). Harnessing ICT potential: The adoption and analysis of ICT systems for enhancing the student learning experience. International Journal of Educational Management, 24 (2), 116-128. Recuperado de: http://www.emeraldinsight.com/doi/full/10.1108/09513541011020936

Doran, G. T. (1981). There’s a SMART way to write management’s goals and objectives. Management Review, 70 (11), 35-36. Recuperado de: http://connection.ebscohost.com/c/articles/6043491/theres-s-m-a-r-t-way-write-managementss-goals-objectives

Duval, E. (2011). Attention please!: learning analytics for visualization and recommendation. (In Proceedings of the 1st International Conference on Learning Analytics and Knowledge LAK ‘11). Recuperado de: http://doi.acm.org/10.1145/2090116.2090118

Elias, T. (2011). Learning Analytics: Definitions, processes and potentials. Recuperado de: http://learninganalytics.net/LearningAnalytics DefinitionsProcessesPotential.pdf

Goebel, M. & Gruenwald, L. (1999). A survey of data mining and knowledge discovery software tools. ACM SIGKDD Explorations Newsletter, 1 (1), 20-33. Recuperado de: http://kdd.org/exploration_files/survey.pdf

Hamilton, L., Halverson, R., Jackson, S., Mandinach, E., Supovitz, J. & Wayman, J. (2009). Using student achievement data to support instructional decision making. Recuperado de: http://ies.ed.gov/ncee/wwc/publications/practiceguides/

Heppen, J., Faria, A. M., Sawyer, K., Thomsen, K., Townsend, M., Kutner, M., Stachel, S. (2010). Using data to improve instruction in the great city schools: Key dimensions of practice. Recuperado de: http://www.cgcs.org/cms/lib/DC00001581/Centricity/Domain/87/Strand%202%20Report%20-%20Key%20Dimensions%20of%20Data%20Use_122110.pdf

Hernández S., R., Fernández C., C. & Baptista L., P. (2010). Metodología de la Investigación. México: McGraw Hill.

International Educational Data Mining Society. (s. f.). Minería de datos educativos. Recuperado de: http://www.educationaldatamining.org/

Mandinach E., B., Gummer E., S. & Muller R., D. (2011). The complexities of integrating data-driven decision making into professional preparation in schools of education: It’s harder than you think. Alexandria, VA, Portland, OR y Washington, DC: CNA Education, Education Northwest and WestEd.

Murray, J. (2013). Critical issues facing school leaders concerning data-informed decision-making. School Leadership & Management, 33 (2), 169-177. Recuperado de: http://files.eric.ed.gov/fulltext/EJ1038162.pdf

Papamitsiou, Z. & Economides, A. (2014). Learning analytics and educational data mining in practice: A systematic literature review of empirical evidence. Educational Technology & Society, 17 (4), 49–64. Recuperado de: http://ifets.info/journals/17_4/4.pdf

Romero, C., Ventura, S., Pechenizkiy, M. & Baker, R. S. (Eds.). (2011). Handbook of educational data mining. Boca Ratón: CRC Press.

Salvador, F. (2014). Big Data: ¿La ruta o el destino? Tecnología y Crecimiento, 3. Recuperado de: http://www.ie.edu/fundacion_ie/Comun/Publicaciones /Publicaciones/Big%20Data%20ESP%207.pdf

Wang, Y., Luo, L., Freedman, M. T. & Kung, S. Y. (2000). Probabilistic principal component subspaces: a hierarchical finite mixture model for data visualization. Neural Networks, IEEE Transactions. 11(3), 625-636. Recuperado de: http://www.princeton.edu/ ~kung/papers_pdf/DNA/hierchical.pdf

Washington State School Directors’ Association. (2008). Data dashboards for school directors: Using data for acountability and student achievement. Recuperado de: http://wssda.org/Resources/Publications/DataDashboardsforSchoolDirectors.aspx

Wilson, B. L., Miller, R., Rossman, G. (1985). Models for uses of data in school improvement from fast food to five-star restaurant. Philadephia. PA: Research for Better Schools, Inc.

---