Indicadores de calidad en educación superior. Jairo Sánchez Quintero
10
Las teorías de sistemas y los indicadores dentro de un sistema no trivial tipo balanced scorecard
Un sistema de indicadores cruciales de calidad en educación superior
Conclusiones: lecciones aprendidas sobre indicadores de calidad en educación superior
Anexo A. Instrumento para la validación de indicadores por expertos
Introducción
Este libro es fruto de la investigación doctoral del autor que partió de la necesidad de disponer de un sistema de indicadores cruciales de calidad para mejorar programas académicos colombianos universitarios de administración de empresas. Con dicho propósito, el presente trabajo toma como objeto de estudio los indicadores de calidad de programas universitarios.
Los indicadores tanto cualitativos como cuantitativos son expresiones que, según el Consejo Nacional de Acreditación de Colombia (CNA) suministran referentes empíricos y verificables que permiten observar y apreciar la calidad y el desempeño de un programa. Adicionalmente, el CNA considera que a través de ellos las “características” y los “factores” de calidad se hacen patentes y valorables. En ese orden de ideas, se considera que el grado de calidad existente en un programa universitario se puede identificar mediante indicadores que permiten enfocar la mirada hacia lo relevante, pertinente y necesario para luego establecerles metas que permitan valorar su mejoramiento, lo que lleva a preguntarse: ¿cuál es el sistema de indicadores cruciales necesario para mejorar la calidad integral de programas universitarios?
El conjunto de indicadores interconectados aquí propuesto configura un sistema que surgió del análisis de los procesos claves que se desarrollan en los programas académicos universitarios, así como de las prácticas académicas y administrativas en relación con el mejoramiento de los resultados de las pruebas estandarizadas en Colombia ECAES o Saber Pro1. De igual forma, se contemplaron las buenas prácticas en acreditación y los indicadores reportados en antecedentes de investigaciones similares y en la revisión de la literatura nacional e internacional.
A la luz de los antecedentes se pudo constatar que ha existido un interés mundial sobre el tema desde los años noventa, tanto por parte de académicos como de Gobiernos y organismos internacionales tales como la Unesco y el Banco Mundial, entre otros. Es así como se revelaron importantes trabajos realizados en Estados Unidos, España, Francia, Reino Unido, Países Bajos, México, Suráfrica, Egipto, Australia y Chile, entre otros países. Particularmente, en el caso colombiano existió una lista de 183 indicadores del CNA (2006) que no se evaluaron, definieron ni interconectaron en un sistema de información y que fueron incorporados dentro de más de 200 aspectos2 en los lineamientos del CNA (2013). Asimismo, se pudo observar que los indicadores han ocupado un papel importante en las reformas de la mayoría de los países y se han asociado a buenas prácticas de gestión y educación, toma de decisiones, información para la formulación de políticas públicas y para la transformación social y económica de la población, así como en acciones de responsabilidad social pública de las instituciones de educación superior (IES).
Así las cosas, la categoría teórica principal que se abordó en la presente investigación fue la de indicadores, conectada a otras categorías claves como calidad, acreditación, sistema y pruebas estandarizadas en educación superior. Las categorías “calidad” y “acreditación” se abordaron por cuanto se trata de indicadores de calidad en procesos de acreditación, en tanto que la categoría sistema se relaciona con la concepción de los indicadores de manera interconectada, influyéndose mutua y recíprocamente.
Las estrategias metodológicas de la investigación giraron alrededor del logro de los objetivos específicos dentro de una posición epistemológica hermenéutica crítica, iluminada por los desarrollos mundiales de indicadores de desempeños cualitativos y cuantitativos, las teorías contemporáneas de gestión de la calidad, y los pros y los contras de las pruebas estandarizadas. A su vez, se consideraron las buenas prácticas en acreditación, las teorías de sistemas autorreferentes, autopoiéticos, no triviales y con autoclausura y los sistemas de indicadores tipo balanced scorecard de Kaplan y Norton (2001) que hacen parte de los sistemas de medición y sistemas de información que en la actualidad son ampliamente utilizados por diversas organizaciones a nivel mundial.
Desde el punto de vista metodológico, el libro trata de una investigación cualitativa realizada en seis momentos que tributaron al logro de los objetivos específicos. En el primer momento se identificaron y analizaron programas de pregrado en administración de empresas con variación positiva o incremental año a año en los resultados de pruebas denominadas Exámenes de Calidad de la Educación Superior (ECAES) 2004-2010. Luego, en el segundo momento, se elaboró una construcción conceptual sobre sistemas de indicadores de calidad. Para el tercer momento se analizaron y jerarquizaron 183 indicadores del CNA mediante la herramienta ATLAS.ti 5, lo que llevó a identificar, en un cuarto momento, los indicadores de calidad. En esta etapa se analizaron las prácticas de acreditación de alta calidad de los tres programas del país que reflejaron las mejores pendientes en las pruebas mencionadas, así como las de un cuarto programa recientemente acreditado y con pendiente decreciente o negativa en sus resultados, donde se realizaron entrevistas piloto, y las carencias de un quinto programa que no había logrado la acreditación de alta calidad ni resultados crecientes en ECAES.
En el quinto momento se identificaron las perspectivas y los aportes de egresados, profesores, directivos y pares evaluadores de programas de administración de empresas. Con este fin se aplicó una entrevista semiestructurada a 24 actores universitarios de los cinco programas antes mencionados en relación con los mejores indicadores asociados a procesos claves del programa, que contribuyeron tanto a la acreditación de alta calidad como a los resultados obtenidos en las pruebas ECAES.
Finalmente, en el sexto momento se configuró el sistema de indicadores de calidad con la información obtenida en los momentos anteriores para la evaluación y el mejoramiento de programas de pregrado en administración de empresas, con miras a que estos contribuyan de mejor manera al desarrollo social y económico de la nación colombiana. Asimismo, cabe anotar que, si bien la investigación se realizó en programas de administración que pertenecen a las ciencias sociales, el sistema de indicadores se puede aplicar también en otros programas universitarios.
La investigación cualitativa que se presenta en este libro fue sólida ya que contó con triangulación de fuentes (documentales, bases de datos, análisis de sitios web de los programas con las mejores pendientes en ECAES del país, literatura nacional e internacional y datos de entrevistas a directivos, profesores, egresados y pares evaluadores). Los 34 indicadores que configuran el Sistema de Indicadores Cruciales en Educación Superior (Sicrues), propuesto como resultado principal de este trabajo, están asociados a buenas prácticas de acreditación, resultados satisfactorios en ECAES 2004-2010 y los siguientes procesos que se realizan en los programas académicos: planeación, enseñanza, investigación, responsabilidad social, gestión, internacionalización, bienestar y manejo de recursos. Adicionalmente, dentro del Sicrues los 34 indicadores finales obtenidos quedaron conectados entre sí mediante cuatro perspectivas derivadas de la propuesta de sistema tipo balanced scorecard de Kaplan y Norton (2001), adaptadas para la educación de la siguiente manera: 1) formación y experiencia; 2) finanzas; 3) procesos, y 4) estudiantes