Introducción

Las evaluaciones de impacto son un tema pendiente en la gestión pública. Los altos costos de implementación, los tiempos, los seguimientos y los controles involucrados convierten la evaluación una tarea compleja. En este sentido, las limitaciones atentan a evidenciar las decisiones de reformulación, rediseño, mantenimiento o supresión de una política pública. Por tanto, es de suma relevancia aumentar la producción y el uso de evidencias de efectividad en las políticas públicas, de menor costo y de fácil levantamiento de la información.

Las políticas públicas son desarrolladas en programas y proyectos, los cuales deben alinearse entre ellos y, a la vez, ser su componente estructural. En este escenario se aborda la evaluación de impacto de programas formativos desde un enfoque pedagógico, sustentado en la toma de decisiones y posibilidades de cambio para la mejora, otorgando a la evaluación la idea de proceso de revisión y reflexión continua y de ejercicio de transparencia, participación y rendición de cuentas.

Para lograr el objetivo, el presente artículo efectúa una revisión bibliográfica sobre los enfoques de la evaluación de impacto, sumado a perspectivas teórico-prácticas de los modelos y diseños de las mediciones. Además, se desarrolla un posicionamiento teórico de evaluación del impacto de la formación sustentada en el análisis de los estudios e investigaciones actuales.

Evaluación de impacto de la formación: aspectos fundamentales

Las evaluaciones de impacto presentan una gama de dimensiones y diferenciaciones, dependiendo de sus características. Para despejar las dudas, se entenderá como política pública un conjunto de objetivos, decisiones y acciones diseñadas e implementadas por un gobierno para entregar soluciones a los problemas prioritarios en su contexto (Di Virgilio y Solano, 2012).

Las políticas públicas se ejecutan en planes, los cuales son articuladores estratégicos de acciones, programas y proyectos. En sí, los planes se conectan directamente con los objetivos de la política (Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios [AEVAL], 2010). Los programas son elementos operativos de los planes, los cuales agrupan a un grupo de intervenciones homogéneas con un conjunto de proyectos con objetivos similares (AEVAL, 2010).

Por medio de los programas se priorizan las intervenciones, en función del marco institucional y la asignación de recursos (Di Virgilio y Solano, 2012). Por tanto, los planes, programas y proyectos son dependientes de la política y de su desarrollo, de sus procesos y de la estructura generada. Considerando la premisa anterior, al evaluar un plan, programa o proyecto, asociados a una política pública, no se puede afirmar que la evaluación de la política se pueda reducir a la evaluación de un fragmento de esta (Feinstein, 2007).

La evaluación de la formación se define como una serie de procesos de recogida de información orientados a la emisión de juicios de mérito o valor respecto a una intervención con relevancia educativa (Cano, 2016; Ruiz, 2011). Subyace de la definición anterior el concepto de toma de decisiones (Abdala, 2004), las cuales deben encaminarse a las mejoras internas y externas de las acciones formativas. En el presente estudio, se define operacionalmente la evaluación de impacto como la medición de los cambios producidos en una persona, organización o comunidad atribuibles a una acción formativa o a un programa formativo. Se desprende del constructo anterior la relación de causalidad (causa-efecto) y de distintos impactos (personal, organización y social). Los cambios producidos dependen de los objetivos de la formación y del foco de la medición.

La evaluación se orienta a la mejora, centrándose en determinar el grado en que la formación ha dado respuesta a las necesidades personales, profesionales y de la organización, del programa o del plan de formación, verificando la consecución de sus objetivos, resultados e impactos. En sí, la evaluación proporciona importante información para identificar y resolver las debilidades del programa formativo, favoreciendo los bucles de mejora (Pineda, 2002; Ramos, Meizoso y Guerra, 2016; Renta, 2013; Román, 2017).

El medir la influencia o resultados de una formación, identificando los diferentes cambios, ya sean a niveles personales, sociales y organizativos (Cejas, 2018; Centro Interamericano para el Desarrollo del Conocimiento en la Formación Profesional [OIT/Cinterfor], 2011; Feixas, Lagos, Fernández y Sabaté, 2015; Pineda, 2011) significa considerar diferentes niveles de impacto. Principalmente en lo relativo al logro de objetivos, considerando en qué medida se desarrollaron los resultados previstos y determinando magnitudes o mediciones de cambio en las personas participantes de la intervención (Gertler, Martínez, Premand, Rawlings y Vermeersch, 2017).

Atendiendo a la perspectiva de resultados y de impacto, es necesario desarrollar conceptos operacionales de la eficacia, eficiencia y efectividad de la formación. Para tales efectos, se define como eficacia como la aplicación de la formación en las condiciones ideales, circunscrita a niveles de cumplimiento de los objetivos; efectividad como el resultado esperado de cada persona participante de la formación. Por último, la eficiencia como la obtención de los objetivos con el menor coste posible. La efectividad es la comprobación de los objetivos iniciales, mientras en el impacto se constatan los cambios post formación (Feixas et al., 2015).

Desde la consideración de los enfoques, medir el impacto de los objetivos siempre es necesario para verificar la ejecución de los objetivos de la formación. Además, la formación incide en otros aspectos, tales como, la productividad, clima laboral, aprendizaje organizacional, procesos de innovación y ventajas comparativas de la organización (OIT/Cinterfor, 2011; Ramos et al., 2016). Por tanto, se debe considerar la evaluación de impacto de la formación como una herramienta útil para la toma de decisiones en diferentes ámbitos. Las evaluaciones de impacto se asocian directamente a la toma de decisiones y a su potencial para mejorar y ajustar las acciones formativas (Abdala, 2004). Asimismo, se convierte en una herramienta significativa para mejorar la gestión del programa y una apertura al aprendizaje organizacional (OIT/Cinterfor, 2011).

Metodología

El presente estudio se desarrolló con base en la metodología de revisión sistemática de la literatura, con el propósito de identificar y clasificar los diferentes modelos de evaluación de impacto de la formación.

La primera etapa fue la búsqueda de estudios sobre la evaluación de impacto de programas formativos ejecutados durante 2014-2019 en las bases de datos de Dialnet, Scielo y Google Académico. En total se analizaron más de 120 artículos teóricos y prácticos sobre el tema en diferentes contextos.

Al cotejar los artículos académicos extraídos de la búsqueda inicial, se exploraron los modelos de evaluación utilizados por los equipos de investigación, con el propósito de identificarlos y clasificarlos.

Posterior al proceso anterior, se conformó un corpus de 14 modelos de evaluación de impacto de programas formativos. Desde esta configuración se estructuró la segunda etapa de análisis de los modelos con base en tres criterios claves para el presente estudio: diseño de la evaluación, enfoque de la medición y aporte del modelo.

Resultados

A continuación, se analizan los resultados de la clasificación ejecutada con base en los criterios señalados y la propuesta de Gessler y Hinrichs (2015), la cual determina tres tipos de modelos de evaluación de los programas formativos, según su orientación a los resultados, a los procesos y los modelos integrados.

Modelos de evaluación de programas formativos

Los modelos orientados a los resultados o efectos producidos en quienes participan en la formación se vinculan a temas economicistas, de rendimiento profesional y laboral en la organización, las cuales miden el desempeño en términos socio-económicos y los efectos en la organización, en diferentes niveles de profundización de la evaluación, ver Tabla 1.

Los enfoques metodológicos de investigación de programas formativos son heterogéneos y se vinculan a diversos focos, por ejemplo, al mantenimiento de una relación estrecha con el cliente, desde una perspectiva de la persona formadora, del profesional y la empresa (Robinson y Robinson, 1989), al retorno de la inversión de la formación (Phillips, 1990), a la medición en estándares de rendimiento de la formación y a la comunicación de los resultados obtenidos.

Wade (1994), presenta un enfoque mixto, vinculando aspectos cualitativos y cuantitativos, con una propuesta de evaluación doble, tanto en el puesto de trabajo como en la organización. La OIT/Cinterfor (2011) desarrolló una guía, en la cual amplia el campo de evaluación de los resultados al retorno de la inversión (ROI), sumado al impacto a la sociedad, asociando a temas más sociocomunitarios.

Las dificultades de los modelos de evaluación con orientación a los resultados es la falta de seguimiento del proceso, tanto en el aprendizaje como en los factores o variables influyentes en los cambios conductuales y organizativos, generando sesgos en los progresos, procesos, transformaciones y procedimientos de la obtención de los resultados.

La orientación de modelos hacia la evaluación de procesos cavila una serie de variables vinculadas e interrelacionados entre fases, ver Tabla 2. Los principales resultados están relacionados a los niveles clásicos de la medición de la formación, como factores facilitadores u obstaculizadores de la transferencia al puesto de trabajo. Las evaluaciones de programas formativos se han centrado en la identificación y detección de factores o variables influyentes a la hora de aplicar los aprendizajes adquiridos en el puesto de trabajo (Baldwin y Ford, 1988; Chang, 2000; Feixas, Fernández, Lagos, Quesada y Sabaté, 2013; Ford y Weissbein, 1997; Gessler y Hinrichs, 2015; Guskey, 2002; Holton, 2005; Noe, 1986; Ramos et al., 2016; Román, 2017; Zabalza, 2011).

La investigación Baldwin y Ford (1988) categoriza una serie de variables en tres niveles: a) características personales, b) diseño de la formación y c) ambiente de trabajo, las cuales han demostrado las conexiones existentes y las interrelaciones entre factores. El modelo ha sido identificado como un precursor en el análisis de los factores y la revisión de las influencias en los diversos niveles a sondear.

Por otra parte, Holton (2005) desarrolla un modelo centrado en los procesos de transferencia del aprendizaje y la influencia de los factores de la persona, de la formación y de la organización de una forma secuencial y lineal. Gessler y Hinrichs (2015) desarrollan un análisis de los factores del modelo de Holton (2005) y las relaciones entre sus variables, determinando dos puntos: la influencia entre factores es mutua, paralela y no secuencial, y la relación entre variables siempre es situacional y contextual.

Los modelos orientados a los procesos han profundizado en diferentes niveles de las características personales, diseño de la formación y ambiente de trabajo (Baldwin y Ford, 1988). Además, han incorporado nuevas variables y una diversificación de la evaluación de la transferencia en diferentes áreas de la formación (Cano, 2016).

Los enfoques de los estudios de modelos integrados compatibilizan los procesos con los resultados, ver Tabla 3. Los modelos estructurales en su primer nivel, incluyen la satisfacción de las personas que se forman (Pineda, 2000), las expectativas (Biencinto y Carballo, 2004) y el contexto de la formación (Garzón, 2008). Los procesos son consistentes con el diseño de la formación, concreción de objetivos, coherencia pedagógica (Pineda, 2000), los insumos (Stufflebeam y Shinkfield, 1987) y la evaluación del plan formativo de una forma amplia y general (Garzón, 2008).

En cuanto a los productos, impactos o efectos (Stufflebeam y Shinkfield, 1987), se presentan diferentes niveles de medición; valor añadido, mejora del status profesional, mejora organizacional asociada al incremento de las competencias en ambos ámbitos (Biencinto y Carballo, 2004) e impacto de la capacitación en los objetivos de la organización (Pineda, 2011).

Fuente. Elaboración propia

Diseño de la evaluación de acciones formativas: Posicionamiento

A fin de contextualizar la propuesta de la presente reflexión teórica, se ha desarrollado un posicionamiento investigativo, para tales fines, se consideró las dimensiones básicas mencionadas en los modelos anteriores, con el propósito de generar una evaluación de impacto multidimensional. Para efectuar una sistematización coherente, ordenada y sistémica de los niveles, significados, aportaciones y las respectivas conceptualizaciones en el tema de la evaluación de impacto, se ha elaborado un modelo estructural de seis niveles, el cual se fundamenta en trespropuestas empíricas de medición, Kirkpatrick (1999), Phillips (1990) y Pineda (2000). El modelo estructural propuesto es un sistema integrado (Baldwin y Ford, 1988; Kirkpatrick, 1999; OIT/Cinterfor, 2011), con relaciones causales (Holton, 2005) y paralelas entre los niveles (Gessler y Hinrichs, 2015).

En el nivel 1 de evaluación de la coherencia pedagógica se propone evaluar los elementos de una formación y su coherencia para conseguir los objetivos planteados en el diseño. La propuesta de medición en este nivel se enfoca en el programa, en el diseño, la consistencia y congruencia de los objetivos con la acción formativa. El nivel se sustenta en el aporte de la coherencia y valor pedagógico de la evaluación de la formación como un agente de mejora (Pineda, 2000).

Las investigaciones sobre el nivel 2 la evaluación de la satisfacción se vincula a la satisfacción de quienes participan en la formación como un prerrequisito para el aprendizaje de los conocimientos, habilidades, actitudes y competencias desarrolladas en el programa, siendo necesarias para su aplicación en el puesto de trabajo. En sí, la motivación condiciona los aprendizajes adquiridos en la formación (Biencinto y Carballo, 2004; Cano, 2015; Cejas, 2018; Kirkpatrick, 1999; Naquin y Holton, 2003; Pineda, 2011; Ramos et al., 2016; Renta, 2013; Román, 2017; Wehrman, Shin y Poertner, 2002).

La literatura revisada señala a la motivación de las personas participantes como un factor significativo, motor del aprendizaje, de la transferencia (Noe y Schmitt, 1986) y del impacto, siendo identificada como la actitud intrínseca de quien participa en su formación (Naquin y Holton, 2003), desencadenante de la posterior transferencia a su puesto de trabajo y el impacto del programa y la política pública en la organización.

El nivel 3 de evaluación de los aprendizajes se circunscriben al grado en que las personas participantes cambian las actitudes, amplían sus conocimientos y/o mejoran habilidades, como consecuencia de su acción formativa (Chang, 2000; Kirkpatrick, 1999; Noe y Schmitt, 1986; Zabalza, 2011). El enfoque del estudio circunscribe el aprendizaje a un proceso de desarrollo personal, de cambio continuo y mejora constante. Los hallazgos de Baldwin y Ford (1988) y de Feixas et al. (2013), confirman el postulado anterior, afirmando que los factores asociados al diseño y al aprendizaje adquirido en la formación presentan un mayor efecto en la aplicación de la formación.

Las valoraciones iniciales de las personas que participan en la acción formativa logran ser un aspecto relevante a la hora de revisar la eficacia del programa en el desarrollo de competencias, el aprendizaje adquirido en la formación es en sí mismo el objetivo y propósito de la formación. Por tanto, cobra una relevancia para la gestión interna, la toma de decisiones y la validación de la formación. En este sentido, es de suma importancia medir el impacto de los aprendizajes y la transferencia de las personas que se forman dada la cadena causal entre los dos niveles y su importancia para la existencia de impactos (Feixas et al., 2013; Párraga y Cuello, 2010).

La evaluación de la transferencia del aprendizaje al puesto de trabajo (nivel 4), es el desarrollo efectivo y práctico del aprendizaje, en sí, la aplicación en la práctica de lo aprendido (Guskey, 2002; Kirkpatrick, 1999; Ramos et al., 2016; Tejada y Ferrández, 2007). Específicamente, se determina el cambio de comportamiento efectivo en el puesto de trabajo, incluyendo aspectos como el saber ser y saber hacer, y el clima laboral (Kirkpatrick, 1999; Renta, 2013).

Para la presente investigación, se entiende la transferencia de la formación en referencia a la educación de personas adultas, en formación profesional o en el puesto de trabajo como el grado de aplicación efectiva de los conocimientos, habilidades y actitudes, adquiridas en las acciones de la formación y en el contexto del trabajo (Baldwin y Ford, 1988). Para producir tal cambio, según Kirkpatrick (1999), deben existir cuatro condiciones, vinculadas con la persona: (1) debe tener deseo de cambiar; (2) debe saber lo que tienen que hacer y cómo lo tiene que hacer; (3) debe trabajar en un clima adecuado y (4) debe existir una recompensa por el cambio.

Por otra parte, las investigaciones de la transferencia, en diferentes áreas del conocimiento, han logrado identificar una multidimensionalidad de factores de transferencia, las cuales coinciden o convergen con la triple clasificación de factores desarrollada por Baldwin y Ford (1988): las características de las personas, el diseño de la formación y el ambiente de trabajo.

Las características de las personas se circunscriben, según las investigaciones, a variables de autoeficacia (De Rijdt, Stes, Van der Vleuten y Dochy, 2013), autoestima (Holton, 2005), motivación para aprender y para transferir (Noe, 1986), locus control (Holton, 2005; Pineda, 2011), y percepción de utilidad (Baldwin y Ford, 1988), por nombrar algunos.

Los estudios centrados en la formación, se enfocan en los cambios en el comportamiento, orientación del equipo docente, cambio conceptual, práctica reflexiva y aprendizaje del estudiantado, temas de percepción, creencias, desempeño de las personas participantes, percepción del personal docente y cultura de la institución (Trowler y Bamber, 2005).

Los estudios circunscritos al ambiente de trabajo, han considerado la influencia del clima de la organización (Baldwin y Ford, 1988; Holton, 1996, 2005; Kirkpatrick, 1999; Pineda, 2011), en asociación directa a tres aspectos claves: 1) vinculado con el apoyo social percibido de la dirección superior, apoyo del personal colaborador, apoyo de las redes sociales entre pares y oportunidades de aplicar (Guskey, 2002; Kirkpatrick, 1999; Párraga y Cuello, 2010; Román, 2017); 2) al asumir la relación entre ambos, se visualiza la entrega de respuesta a la resolución de problemas desde la formación a la organización (Tejada y Ferrández, 2007); 3) la permeabilidad de la formación desde la persona hacia la organización y la influencia en medio laboral (Pineda, 2003; Ruiz, 2011), denominado impacto organizacional.

Siguiendo la línea argumental, un estudio de Cano (2016) ratifica que las nuevas investigaciones han enriquecido la identificación y detección de variables influyentes en la transferencia, pero en líneas generales, todas mantienen los factores relacionados con los tres propuestos por Baldwin y Ford (1988).

En los estudios se demuestra como la transferencia de los aprendizajes al puesto de trabajo está condicionada por una serie de factores intrínsecos de quienes se forman y extrínsecos, tales como, el diseño de la formación y los factores interpersonales, contextuales y organizacionales que facilitan u obstaculizan la transferencia de la formación (Kirkpatrick, 1999). Las variables externas condicionan las posibilidades de transferencia de las variables internas, facilitando, dificultando o limitando la transferencia efectiva en el trabajo. Las falencias asociadas se condicionan la eficacia, efectividad, valoración y rentabilidad (Pineda, 2002; Renta, 2013; Román, 2017).

En 2005, Holton reformula su modelo (1996), ampliando las variables vinculadas y centradas en el sistema de transferencia del aprendizaje. El modelo reúne a los factores de formación, del entorno del trabajo y de las propias personas participantes. Sumado a lo anterior, incorpora nuevos conceptos en las influencias secundarias, ampliando el espectro hacia los rasgos de la personalidad, autoeficacia en el desempeño y actitudes hacia el trabajo. Además, redefine el concepto de motivación con un doble significado, motivación por aprender y motivación por y para transferir.

Burke y Hutchins (2007) elaboraron una exhaustiva identificación de las taxonomías de factores y sus respectivas influencias. Al finalizar su revisión de 170 artículos empíricos desarrollaron un modelo, el cual incorporaba nuevas relaciones entre las variables y nuevos elementos explicativos del proceso de transferencia. La importancia de la propuesta es la inclusión del soporte organizacional, entendido como la relación y apoyo del personal par dentro del contexto del trabajo.

Entre los factores identificados por la investigación de Feixas et al. (2013), se aprecia la predisposición al cambio y la organización personal del trabajo, como un riesgo de barrera. En cuanto a los facilitadores, se observa la influencia débil en la cultura docente del equipo de trabajo, el reconocimiento institucional, el feedback al estudiantado, los recursos del entorno y el apoyo del responsable docente. A diferencia del diseño de la formación y del aprendizaje, el cual actúa como facilitador fuerte.

El estudio ejecutado por Tomás-Folch y Durán-Bellonch (2017), determina los facilitadores en tres niveles: a) personales: motivación intrínseca y predisposición al cambio, b) programa formativo: utilidad, coherencia interna, contextualización, generación de un producto al finalizar la formación y c) organización: apoyo del personal que ejerce la coordinación o responsables docentes, apoyo de la dirección departamental, coordinación entre docentes, reconocimiento al esfuerzo y apoyo entre igual. Las barreras detectadas por la investigación son: los recursos insuficientes, el poco feedback por parte del estudiantado, la falta de reconocimiento académico de la docencia y una cultura de equipo insuficiente.

En síntesis, se puede afirmar que los estudios sobre facilitadores y obstaculizadores de la transferencia son heterogéneos, en muchos casos transversales y focalizados. Pero todos miden la influencia de las variables en la aplicación de la formación al puesto de trabajo en diferentes niveles, según el foco de investigación (Baldwin y Ford, 1988; Cejas, 2018; Feixas et al., 2013; Holton, 2005; Pineda, 2011; Ramos et al., 2016; Román, 2017).

La medición de impacto de la formación (nivel 5) se desarrolla por medio de indicadores de impacto, los cuales se determinan desde los objetivos planteados en el diseño, hasta los cambios esperados. Los indicadores, tanto cuantitativos como cualitativos, son definidos conceptual y operacionalmente para cada investigación. Por tanto, siempre se debe tener presente el objetivo de cada evaluación para su elaboración.

Los indicadores proporcionan información para representar medidas estandarizadas, siendo una herramienta para valorar diferentes magnitudes o criterios. La formulación de indicadores de impacto es decisiva a la hora del medir los programas de formación, por tanto, el proceso de selección se encuentra vinculado con el propósito, los objetivos y resultados esperados de la acción formativa. El estudio de Nickols (1979) plantea tres preguntas básicas para la construcción de un sistema de indicadores: ¿cuál es el indicador?, ¿cómo se calcula? y ¿cuáles son las variables de entrada?

La propuesta de indicadores de Párraga y Cuello (2010), se sustentan en tres principios básicos: coste moderado, fiabilidad e índice de baja contaminación, asociados a los costos de recogida de información, correspondencia del indicador con la realidad y la reducción de interferencias en la medida. La propuesta se sustenta en el modelo para medir el impacto de la formación diseñado por Wade (1994), en el cual se propone una serie de indicadores por nivel (respuesta, aplicación, resultado e impacto), centrados fuertemente en la transferencia y en los resultados de la formación en el trabajo.

La evaluación de los resultados o la rentabilidad (nivel 6) para la organización o el retorno de la inversión (Phillips, 1990) es una tarea compleja, en especial, con lo vinculado a la determinación de relación de los resultados con la participación o ausencia de la formación. El retorno de la inversión (ROI) es un indicador para evaluar los beneficios financieros de la inversión comparándola con los costos.

En 2010 aparece el modelo de retorno sobre expectativas, return on expectations (ROE), el cual busca la valoración del impacto del valor organizacional de la formación. La propuesta se inserta en el nivel 4 del modelo de Kirkpatrick (1999), considerando: la centralidad de la misión de la organización, la identificación de los indicadores principales, la definición de comportamientos críticos, la determinación de los controles necesarios, el diseño del aprendizaje y el monitoreo y ajuste (Kirkpatrick y Kirkpatrick, 2010).

Perspectivas actuales en temas de impacto

En la actualidad, las evaluaciones de impacto de la formación se centran en medir la satisfacción de las personas participantes, en un nivel básico, pero no se profundiza en niveles superiores, tales como, la transferencia en el puesto de trabajo o impacto en el desarrollo de competencias o en su práctica profesional (Stes y Van Petegem, 2015). Siendo una preocupación, la falta de evaluaciones rigurosas, válidas y fiables (Cano, 2015). Sumado a lo anterior, se constata la poca evidencia acerca del impacto en la calidad de los aprendizajes de las personas formadas, de su desarrollo profesional, su influencia en el clima y la cultura institucional (Feixas et al., 2015).

En vista a lo mencionado anteriormente, la necesidad de conocer el impacto de la formación ha aumentado, en niveles más profundos y superiores, en cuanto a la inversión pública y privada, la toma de decisiones de la política pública, asumiendo, por otra parte, el poder intrínseco de las evaluaciones, la retribución a la sociedad, la transparencia y la rendición de cuentas a la sociedad civil (Consejo para la Transparencia, 2016; Feinstein, 2007; Gertler et al., 2017; Ramos et al., 2016; Román, 2017).

Por tanto, las evaluaciones son de suma importancia para revisar los desempeños de las políticas, programas y proyectos públicos, desde una perspectiva ciudadana (Romero y Romero, 2018; Gertler et al., 2017). Las evaluaciones de impacto desarrollan bases sólidas para la transparencia, aportando a determinar si se han logrado los resultados esperado (Consejo para la Transparencia, 2016).

El principio de transparencia y acceso a la información, en la dimensión política de la evaluación, se han instalado en la esfera del mundo de las políticas públicas y la participación ciudadana, tanto como una herramienta de control social, regulación financiera y rendición de cuentas, vinculándose directamente con la reducción de prácticas indebidas desde la administración pública y desde la facilitación de la democracia (Consejo para la Transparencia, 2016).

Varios países están llevando a cabo proceso de reforma interna, encaminándose al modelo de gestión de nueva gerencia pública, los cuales se considera la medición de resultados, la participación ciudadana, la transparencia y las dimensiones cualitativas de la gestión, con el propósito de mejora del desempeño del gobierno en relación a los resultados (AEVAL, 2010; Feinstein, 2007; Román, 2017).

Discusión y conclusiones

Las evaluaciones de impacto de programas y políticas públicas son procesos robustos, generadores de evidencias sólidas, las cuales entregan posibilidades de mejoras a los equipos de diseño de los programas o políticas, potenciando la innovación, la calidad y la efectividad de esta (Romero y Romero, 2018; Gertler et al., 2017).

Las evidencias generadas proporcionan base y sustento para la construcción de conocimiento sobre los cambios producidos en una persona o comunidad atribuibles a una acción formativa, proyecto, programa o política gubernamental. Los nuevos atributos entregados por este externo, es lo medible, lo cuantificable o cualificable, lo diferenciador es el impacto.

Los mayores retos y desafíos de la evaluación de impacto es identificar la causalidad entre este externo y el atributo, siendo la medición del resultado esperado por la participación en la intervención programada. Pero existe una premisa clave ¿Se puede atribuir el impacto o causalidad (causa-efecto) a una intervención? La respuesta al interrogante anterior es no, dada la existencia de una serie de factores implicados en la ejecución de los programas de las políticas públicas, los cuales limitan la implementación en su totalidad, impactando de forma negativa o positiva. Además, se debe señalar la presencia de efectos o atributos no considerados de forma inicial (Feinstein, 2007).

Por tanto, para mitigar posibles atributos de intervenciones externas y/o ajenas a la intervención en medición, las evaluaciones de impacto deben considerar temas cruciales para medir un programa o proyecto, tales como: los objetivos, el contexto, el marco orientativo o normativo, los distintos tipos de repercusiones, influencias y horizontes de cambios a diferente escala, tanto internos como externos, desencadenados por la participación en una formación.

Las mediciones de impacto de las acciones formativas son un proceso de levantamiento de información de los cambios producidos por las relaciones causales en niveles personales, organizacionales y sociales, atribuibles a un programa formativo. Por tanto, las evaluaciones de impacto son una herramienta útil para la toma de decisiones, la participación y la rendición de cuentas. Desde esta premisa, se considera inherente el potencial de desarrollo de cambio para la mejora presente en la medición de un programa formativo.

Referencias

Abdala, E. (2004). Manual para la evaluación de impacto en programas de formación para jóvenes. Montevideo, Uruguay: Centro Interamericano para el Desarrollo del Conocimiento en la Formación Profesional. Recuperado de https://bit.ly/2tIEetv

Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios [AEVAL]. (2010). Fundamentos de Evaluación de políticas públicas. España: Ministerio de Hacienda y Administraciones Públicas. AEVAL. Recuperado de https://bit.ly/2ODbRnF

Baldwin, T., y Ford, J. (1988). Transfer of training: A review and directions for future research. Personnel Psychology,41, 63-105. http://doi.org/cq3btj

Biencinto, C., y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo general a lo específico. RELIEVE. Revista Electrónica de Investigación y Evaluación Educativa, 10(2),101-116. doi: http://doi.org/dmcr

Burke, L., y Hutchins, H. (2007). Training Transfer: An Integrative Literature Review. Human Resource Development Review, 6(3), 263–296. http://doi.org/fqp3gr

Cano, E. (2015). Evaluación de la formación. Algunas lecciones aprendidas y algunos retos de futuro. Educar, 51(1), 109-125. http://doi.org/c2x8

Cano, E. (2016). Factores favorecedores y obstaculizadores de la transferencia de la formación del profesorado en educación superior. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 14(2), 133-150. http://doi.org/c2wx

Cejas, R. (2018). La formación en TIC del profesorado y su transferencia a la función docente. Tendiendo puentes entre tecnología, pedagogía y contenidos disciplinar. (Tesis Doctoral). Universidad Autónoma de Barcelona, Barcelona, España. Recuperado de https://bit.ly/37eZMvo

Centro Interamericano para el Desarrollo del Conocimiento en la Formación Profesional [OIT/Cinterfor]. (2011). Guía para la evaluación de impacto de la formación. Montevideo, Uruguay: Organización Internacional del Trabajo/Centro Interamericano para el Desarrollo del Conocimiento en la Formación Profesional. Recuperado de https://goo.gl/BLQ61H

Chang, E. (2000). Perfectionism as a predictor of positive and negative psychological outcomes: Examining a mediation model in younger and older adults. Journal of Counseling Psychology, 47(1), 18-26. http://doi.org/c8cm7j

Consejo para la Transparencia. (2016). La evaluación de las políticas públicas, un elemento fundamental para la transparencia y la rendición de cuentas. Chile: Consejo para la transparencia. Recuperado de https://goo.gl/BGvboJ

De Rijdt, C., Stes, A., Van der Vleuten, C., y Dochy, F. (2013). Influencing variables and moderators of transfer of learning to the workplace within the area of staff development in higher education: research review. Educational Research Review, 8, 48-74. http://doi.org/c2w4

Di Virgilio, M., y Solano, R. (2012). Monitoreo y evaluación de políticas, programas y proyectos sociales. Buenos Aires, Argentina: Centro de Implementación de Políticas Públicas para la Equidad y el Crecimiento. Recuperado de https://goo.gl/wk2E4c

Feinstein, O. (2007). Evaluación pragmática de políticas públicas. ICE, Revista de Economía, 1(836), 19-31. Recuperado de https://bit.ly/2tOrtO2

Feixas, M., Fernández, A., Lagos, P., Quesada, C., y Sabaté, S. (2013). Factores condicionantes de la transferencia de la formación docente en la universidad: un estudio sobre la transferencia de las competencias docentes. Infancia y Aprendizaje, 36(3), 401-416. http://doi.org/c2wz

Feixas, M., Lagos, P., Fernández, I., y Sabaté, S. (2015). Modelos y tendencias en la investigación sobre efectividad, impacto y transferencia de la formación docente en educación superior. Educar,51(1), 81-107. http://doi.org/c2zc

Ford, J., y Weissbein, D. (1997). Transfer of training: An updated review and analysis. Performance Improvement Quarterly, 10(2), 22-41. http://doi.org/cmbghx

Garzón, A. (2008). Modelo EIFO para la evaluación del impacto de la formación en la organización. (Tesis Doctoral). Universidad de Barcelona, Barcelona, España. Recuperado de https://goo.gl/4acJJy

Gertler, P., Martínez, S., Premand, P., Rawlings, L., y Vermeersch, C. (2017). La evaluación de impacto en la práctica (Segunda edición). Washington, DC, EE.UU.: Banco Interamericano de Desarrollo y Banco Mundial. Recuperado de https://bit.ly/3fOZ8uc

Gessler, M., y Hinrichs, C. (2015). Key predictors of learning transfer in continuing vocational training: Development of a Theoretical Framework and Testing of an Empirical Model with Structure Equation Modelling (SEM). En S. Bohlinger, U. Haake, C. Helms-Jørgensen, H. Toiviainen y A. Wallo (Eds.), Working and Learning in Times of Uncertainty (pp. 43-60). Rotterdam, Países Bajo: Sense Publishers. Recuperado de https://bit.ly/38u8QxV

Guskey, T. (2002). Professional development and teacher change. Teachers and teaching: theory and practice, 8(4), 381-391. http://doi.org/fnm4h7

Holton, E. (1996). The flawed four-level evaluation model. Human Resources Development Quarterly, 7(1), 5-21. http://doi.org/cjv4f3

Holton, E. (2005). Holton’s Evaluation Model: New Evidence and Construct Elaborations. Advances in Developing Human Resources, 7(1), 37–54. http://doi.org/dqnj7v

Kirkpatrick, D. (1999). Evaluación de las acciones formativas: Los cuatro niveles. Barcelona, España: Gestión 2000.

Kirkpatrick, J., y Kirkpatrick, W. (2010). ROE's rising star: why Return on Expectations is getting so much attention. TyD magazine, 8(10), 34-38. Recuperado de https://goo.gl/q15wVD

Naquin, S., y Holton, E. (2003). Motivation to improve work through learning in human resource development. Human Resource Development International, 6(3), 355-370. http://doi.org/dfqrj4

Nickols, F. (1979). Finding the Bottom-line payoff for training. Training y Development Journal, 33(12), 54-63. Recuperado de https://goo.gl/LqDRTh

Noe, R. (1986). Trainees' attributes and attitudes: Neglected influences on training effectiveness. The Academy of Management Review, 11(4), 736-749. http://doi.org/b74893

Noe, R., y Schmitt, N. (1986) The influence of trainee attitudes on training effectiveness: test of a model. Personnel Psychology, 39(3), 497-523. doi. http://doi.org/dr4k2m

Párraga, M., y Cuello, F. (2010). Guía práctica para evaluar el impacto de la formación en una organización. Murcia, España: Escuela de Administración Pública. Recuperado de https://goo.gl/XXq36G

Phillips, J. (1990). Handbook of training evaluation and measurement methods. Houston, EE.UU: Kogan Page.

Pineda, P. (2000). Evaluación de impacto de la formación en las organizaciones. Educar, 27, 119-133. http://doi.org/c2zf

Pineda, P. (2002). Gestión de la formación en las organizaciones. Barcelona, España: Ariel.

Pineda, P. (2003). Cómo se evalúa el impacto de la formación. En C. Armengol y J. Gairín (coords.). Estrategias de formación para el cambio organizativo (pp. 198-203). Barcelona, España: Cisspraxis.

Pineda, P. (2011). Cómo medir el impacto de la formación: Un ejemplo del sector sanitario. Formación XXI, 18, 407-421. Recuperado de https://goo.gl/CFp7Dy

Ramos, F., Meizoso, M., y Guerra, R. (2016). Instrumento para la evaluación del impacto de la formación académica. Revista Universidad y Sociedad, 8(2), 114-124. Recuperado de https://bit.ly/38nSpU2

Renta, A. (2013). La transferencia de aprendizaje en contextos de formación para el trabajo y el empleo. (Tesis doctoral). Universitat Rovira I Virgili, Tarragona, España. Recuperado de https://bit.ly/2Ul1kke

Robinson, D., y Robinson, J. (1989). Training for impact: How to link training to business needs and measure the results. San Francisco, EE.UU.: Jossey-Bass.

Román, M. (2017). La evaluación de impacto de la formación. Una aproximación desde los modelos clásicos y las experiencias de investigación. Estudios del Desarrollo Social: Cuba y América Latina, 5(3), 116-129. Recuperado de https://bit.ly/2WvGdwR

Romero, E., y Romero, E. (2018). Balance de la evaluación de políticas públicas en América Latina en el presente siglo. JURIS - Revista da Faculdade de Direito, 28(1), 11-24. http://doi.org/c294

Ruiz, C. (2011). La evaluación de programas de formación de formadores en el contexto de la formación en y para la empresa. (Tesis Doctoral). Universidad Autónoma de Barcelona, Barcelona, España. Recuperado de https://bit.ly/31F4EZG

Stes, A., y Van Petegem, P. (2015). Impacto de la formación del profesorado universitario: Aspectos metodológicos y propuesta para futuras investigaciones. Educar, 51(1), 13-36. http://doi.org/c2x9

Stufflebeam, D., y Shinkfield, A. (1987). Evaluación sistemática: guía teórica y práctica. Barcelona, España: Paidos.

Tejada, J., y Ferrández, E. (2007). La evaluación del impacto de la formación como estrategia de mejora en las organizaciones. REDIE. Revista Electrónica de Investigación Educativa, 9(2), 1-15. Recuperado de https://goo.gl/gRRZXA

Tomás-Folch, M., y Duran-Bellonch, M. (2017). Comprendiendo los factores que afectan la transferencia de la formación permanente del profesorado. Propuestas de mejora. Revista Electrónica Interuniversitaria de Formación del Profesorado, 20(1), 145-157. http://doi.org/c2w3

Trowler, P., y Bamber, R. (2005). Compulsory higher education teacher training: joined-up policies, institutional architectures and enhancement cultures. International Journal for Academic Development, 10(2), 79-93. http://doi.org/c6zccp

Wade, P. (1994). Measuring the Impact of Training. Londres, Reino Unido: Kogan Page.

Wehrman, K., Shin, H., y Poertner, J. (2002). Transfer of training. Journal of Health and Social Policy, 15(3-4), 23-37. http://doi.org/bbgbfx

Zabalza, M. (2011). Evaluación de los planes de formación docente de las universidades. Educar, 47, 181-197. http://doi.org/c238