Indicadores de calidad en educación superior. Jairo Sánchez Quintero
por debajo del promedio nacional entre sus estudiantes. Estos sirvieron para confrontar perspectivas, hacer triangulación15 y facilitar el análisis en relación con lo que se hace en los programas con buenas prácticas y los resultados favorables tanto en acreditación como en pruebas ECAES 2004-2010. En estos programas con resultados insatisfactorios se hicieron las mismas preguntas, pero enfocadas a la comprensión de los resultados negativos obtenidos en su variación cada vez peor en el promedio de las pruebas ECAES y en su ausencia de acreditación por alta calidad.
Con la anterior base de programas se realizó un análisis holístico16, en el cual se describieron detalladamente cada programa y los temas o procesos relacionados con los indicadores de desempeño que permiten juzgar su calidad (planeación, investigación, enseñanza, responsabilidad social, bienestar universitario, gestión, internacionalización y manejo de recursos). De este modo se pudo llevar a cabo posteriormente un análisis transversal17 con afirmaciones e interpretaciones derivadas de los cinco programas.
El análisis de los cinco programas siguió lo planteado por Yin (2003), esto es, aproximándose desde explicaciones rivales o antagónicas (lo que contribuye a la validez externa o transferibilidad y a la comparabilidad), descripciones, lógica de coincidencias entre programas (esto aporta a la validez interna o credibilidad) y síntesis transversal de hallazgos específicos. También se contemplaron las posturas de Dowd, Sawatzky y Korn (2011), quienes afirman que la validez es “el grado al cual la evidencia acumulada soporta o apoya la interpretación intencionada” (p. 23), y de Bonilla-Castro y Rodríguez (2000), para quienes “la validez hace referencia al grado de coherencia lógica interna de los resultados de otras investigaciones o estudios bien establecidos” (p. 150). Finalmente, se asumió, de acuerdo con Bonilla-Castro y Rodríguez (2000), que la validez interna corresponde al “grado en el cual los resultados reflejan la situación estudiada [y la validez externa] al nivel de aplicación de las conclusiones a grupos similares” (Bonilla et al, 2000, p. 150).
En cuanto a fuentes secundarias se utilizaron bases de datos del Icfes, documentos del CNA y de antecedentes nacionales e internacionales en forma de artículos científicos, libros resultantes de investigación y documentos de los sitios web de los programas de administración de empresas analizados. Por otro lado, como fuentes primarias se hicieron entrevistas a directivos, profesores, egresados y pares evaluadores. En cuanto a estrategias metodológicas de investigación que también contribuyeron a la validez de los resultados de la investigación se encuentran: triangulación, confrontación de perspectivas rivales, análisis de coincidencias entre programas, identificación de indicadores de buenas prácticas y análisis holístico o integrador de la totalidad de los datos obtenidos en la investigación. Por último, con la validación de 28 expertos mediante un cuestionario diligenciado en la Conferencia 2013 de la Asociación de Facultades de Administración (Ascolfa), se logró la confirmabilidad, que permitió dar mayor validez a los resultados obtenidos.
Como dimensión espacial de la investigación se consideran programas académicos de administración18 con resultados opuestos o contrarios en ECAES, seleccionados por conveniencia19, de cinco IES: cuatro privadas, de las cuales tres contaban con buenas prácticas en acreditación, y una oficial, también con buenas prácticas en acreditación y resultados satisfactorios en ECAES 2004-2010. Esta universidad oficial y dos de las universidades privadas se localizan en Medellín, otra universidad privada se encuentra en Bucaramanga, y la última universidad privada se ubica en Barranquilla (en el programa de esta se realizaron las entrevistas piloto).
A partir de lo anterior, se puede afirmar que (1) la presente investigación sobre indicadores de calidad universitaria trata de un objeto de estudio abstracto, simbólico, imaginado, razonado o construido por la mente humana (sistema de indicadores de evaluación de la calidad) que no se puede aislar del contexto de los programas académicos de pregrado en Colombia; (2) no se realizó control de variables pues se permitió que jugaran la intencionalidad y las categorías elegidas y resultantes del estudio; (3) el énfasis se hizo en la interpretación de los datos tanto teóricos como empíricos (obtenidos en las entrevistas) a través del sentido que les daban los autores y actores universitarios a los indicadores que consideraban cruciales y prioritarios, y (4) predominó la reflexión necesaria para el mejoramiento de la calidad de la educación superior desde la perspectiva del investigador (recordando que la reflexión es considerada como una categoría central para la comprensión y transformación de la realidad tanto por Gadamer como por Habermas, citado por Campos, 1999). Así se desarrollaron cada uno de los cinco momentos dinámicos20 de la investigación.
Con base en lo anterior, se realizaron inicialmente tres entrevistas piloto: una a un director, otra a un egresado y la tercera a un profesor. Estas primeras indagaciones permitieron hacer ajustes en las preguntas del cuestionario y determinar el tiempo apropiado de duración de cada entrevista. Así pues, adicionalmente se acordaron 21 entrevistas más en cuatro programas: uno de naturaleza oficial (cuatro entrevistas), y tres de naturaleza privada (17 entrevistas). La tabla 2 muestra la distribución de las entrevistas realizadas.
Tabla 2. Distribución de entrevistas individuales a profundidad
Fuente: elaboración propia.
Para lograr la colaboración de los entrevistados, se envió una carta a los directivos de los programas seleccionados solicitando el apoyo para llevar a cabo las entrevistas individuales. En síntesis, se realizaron entrevistas a 24 actores universitarios, entre los que se encuentran directivos, profesores, egresados y pares evaluadores en administración. Estos últimos fueron seleccionados a través de contactos de las mismas universidades, dos de ellos por su condición de ser o haber sido consejeros del CNA, y un tercer par evaluador muy prominente en la disciplina (administración), con título de posdoctorado. Las entrevistas fueron grabadas y luego se procedió a la transcripción correspondiente utilizando el software gratuito Audacity y, en algunos casos, un software de reconocimiento de voz. De este modo se generaron más de 450 páginas.
Las entrevistas semiestructuradas contenían preguntas a las cuales se llegó como consecuencia de la revisión y análisis de antecedentes y referentes teóricos y de la coherencia necesaria entre las tareas metodológicas y el logro de los objetivos, es decir, las respuestas a las preguntas del cuestionario de entrevistas semiestructuradas debían tributar al logro de los objetivos específicos y del objetivo general para responder la pregunta de investigación ligada al objeto de estudio. En consecuencia, se buscó que las preguntas estuvieran vinculadas a información relacionada con indicadores cruciales y prioritarios que dieran cuenta de los factores o procesos que se consideran en los programas académicos de pregrado, los resultados en ECAES 2004-2010, las buenas prácticas en acreditación y, finalmente, las perspectivas de los actores universitarios protagonistas en los programas de pregrado de universidades de Medellín, Bucaramanga y Barranquilla.
En ese orden de ideas, el contenido de la entrevista utilizada fue el siguiente:
Con el propósito de configurar un sistema de indicadores cruciales de calidad a partir de las experiencias en acreditación de alta calidad y de los resultados en ECAES 2004-2010, comedidamente solicito su colaboración contestando las siguientes preguntas:
1.Según la literatura y la experiencia, se han establecido los principales factores asociados a la calidad de un programa académico: la planeación, la investigación, la enseñanza, el aprendizaje, la proyección social, el bienestar universitario, la gestión y los recursos. Dentro de los anteriores factores, ¿qué indicadores cruciales (los que no pueden faltar) o prioritarios evidencian mejor la calidad de un programa en administración de empresas? En cuanto a planeación… etc., ¿qué otros factores e indicadores agregaría?
2.De este listado de indicadores, ¿cuáles considera más decisivos para que un programa de administración de empresas alcance la acreditación? ¿Qué indicadores cruciales tuvieron mayor influencia en el logro de (o en no haber logrado) la acreditación de alta calidad?
3.Al observar los datos obtenidos por su programa en las bases de datos del Icfes se encontró una variación positiva (o negativa). De acuerdo con los resultados