Guía práctica para la evaluación de impacto. Raquel Bernal
y ambos brindan una importante información para la toma de decisiones.
El análisis de proyectos no permite obviamente tener en cuenta los beneficios o efectos no esperados. El análisis de impacto, en la mayoría de los casos, no permite medir efectos de largo plazo o efectos dinámicos. Hoy en día casi la totalidad de los proyectos de infraestructura cuentan con un análisis exhaustivo de costo-beneficio. De la misma manera, los programas sociales deberían contemplar, desde su mismo diseño, un análisis exhaustivo del impacto. El impacto estimado del programa es un insumo indispensable para la medición de los beneficios del programa que se requieren para el análisis costo-beneficio. Este tipo de análisis, como se dijo previamente, contribuye a aumentar la calidad del gasto y la eficiencia de las iniciativas sociales.5 Sin embargo, para el caso de las políticas sociales, es difícil realizar un análisis costo-beneficio robusto. Con frecuencia, los resultados son muy sensibles a la manera como se valoran los beneficios de las intervenciones y a los supuestos que se hacen.
El libro logra un balance entre la diversidad de temas cubiertos y la profundidad con la que se describe cada uno. Este libro hace una presentación clara, detallada y exhaustiva de las principales metodologías de evaluación de impacto en un lenguaje fácil. La presentación es rigorosa pero no se centra en los aspectos técnicos. En cambio, se enfatiza la intuición detrás de los métodos. En cada capítulo se combina una explicación rigorosa de los temas con la presentación de diversos ejemplos y casos de la vida real. Las diferentes metodologías se ponen en perspectiva, enfatizando las ventajas y desventajas de las técnicas de manera comparativa, así como los requerimientos técnicos y de datos de cada una, para orientar al evaluador en la escogencia de la metodología más apropiada. El libro pretende ayudar a los evaluadores que operan bajo restricciones; no sólo se discute cuál es el ideal evaluativo, sino que también se proveen consejos prácticos acerca de qué metodologías se pueden aplicar cuando los datos no son ideales, que es un hecho la mayoría de las veces.
El libro supone alguna familiaridad con la estadística aplicada y con algunos conocimientos básicos de econometría. Sin embargo, no es un libro para especialistas. Todo lo contrario: es un libro para practicantes, un manual para evaluadores. El libro también puede ser usado como material docente en cursos avanzados de pregrado o de maestría. El material es suficiente para un curso de un semestre, pero puede usarse en cursos más cortos.
Todas las metodologías descritas se ilustran con ejemplos y aplicaciones reales. A lo largo de los capítulos se desarrolla un ejemplo que ilustra las diferentes metodologías para el programa de nutrición infantil Canasta. Al final de cada capítulo se incluyen algunos ejemplos del uso de las metodologías tomados de la literatura nacional e internacional.
El libro contiene dos innovaciones pedagógicas. Incluye, en primer lugar, una serie de ejercicios prácticos, programados en Stata, que ilustran con ejemplos comparables la forma de abordar el análisis cuantitativo para cada una de las metodologías expuestas. Siguiendo al paquete estadístico, a lo largo del libro presentamos los números según la siguiente convención: el punto separa los decimales y la coma es el separador de miles. En segundo lugar, el libro incluye un conjunto de presentaciones en Power Point que resumen esquemáticamente los principales puntos de las metodologías tratadas. Los ejercicios y las presentaciones deberían ser de gran utilidad para docentes y evaluadores.
El libro está dividido en tres partes. La primera parte hace una presentación formal del problema de la evaluación y una descripción teórica y práctica del llamado sesgo de selección. El problema de la evaluación consiste en la medición de los efectos de un programa sobre un conjunto de variables de resultado previamente definidas. Esta medición está basada en el llamado análisis contrafactual. Las diversas metodologías abordan este análisis de manera diferente.
La segunda parte del libro describe las metodologías experimentales y cuasi experimentales de evaluación. En la situación ideal, los beneficiarios del programa son escogidos aleatoriamente de un grupo de beneficiarios potenciales. En una situación similar, la asignación aleatoria no se hace de manera deliberada sino que obedece a una circunstancia fortuita, independiente del programa (por ejemplo, un accidente geográfico define quiénes son los beneficiarios y quiénes no, dentro de una población homogénea). En ambos casos, en los experimentos aleatorios y en los experimentos naturales, el sesgo de selección es (al menos en teoría) inexistente y la medición del impacto resulta de una comparación entre los beneficiarios y los no beneficiarios.
La tercera parte del libro presenta las principales metodologías no experimentales: la de emparejamiento, la de variables instrumentales, la de regresiones discontinuas, la metodología de funciones de control, la estimación de modelos estructurales y, finalmente, el análisis de intensidad. Cada metodología tiene una forma distinta de lidiar con el sesgo de selección. La escogencia de la metodología depende, en última instancia, de las características del programa bajo análisis y la disponibilidad de datos. Las conclusiones describen brevemente las variables que se deben tener en cuenta a la hora de escoger una metodología de evaluación.
Existe un reconocimiento público y privado de la relevancia de la evaluación de impacto en el diseño de políticas públicas en países en desarrollo. De hecho, muchos países han adoptado políticas de evaluación de impacto de programas nuevos o establecidos. Para lograr el mejor aprovechamiento de los resultados evaluativos, es necesario mejorar la capacidad de evaluación en el sector público mediante el diseño y difusión de metodologías e instrumentos de evaluación, y la capacitación de los funcionarios públicos. Es incluso deseable mejorar la comprensión de las evaluaciones de impacto por parte de los políticos y de la ciudadanía, para que mejore la rendición de cuentas. La difusión del conocimiento de cómo realizar evaluaciones y de cómo interpretar los resultados, sin embargo, no ha avanzado al ritmo requerido. Esto se debe, en gran parte, a que esta literatura, por ser relativamente nueva, no ha sido incorporada aún en los libros de texto, y menos aún traducida al español. Por tanto, el conocimiento de las técnicas de evaluación de impacto se reduce a un limitado grupo de técnicos. Este libro tiene por objetivo llenar este vacío.
No existe, ni internacional ni nacionalmente, un libro de texto en español que describa y compare las diferentes metodologías de punta para la evaluación de impacto. Se encuentran disponibles, sin embargo, algunos resúmenes de literatura6 (survey papers) en inglés que presentan el material para un público experto. Este libro, al presentar las metodologías de manera básica pero rigorosa, puede ser utilizado tanto por técnicos que aplican las metodologías como por diseñadores de política o políticos que requieren interpretar los resultados de evaluaciones existentes. Sería deseable que también fuera usado por políticos interesados en impulsar las mejores políticas y los ciudadanos que quieren realizar una rendición de cuentas mejor informada.
Queremos agradecer a la Facultad de Economía de la Universidad de los Andes por la financiación que hizo posible este proyecto. Agradecemos especialmente a Alejandro Gaviria por su apoyo e insumos en diferentes etapas de desarrollo del proyecto. La valiosa ayuda de Rodrigo Azuero en la elaboración de las bases de datos y los programas de Stata que acompañan este libro, la de Lorena Caro en el diseño de las presentaciones de clase que complementan este texto, y la de Liliana Olarte con el proceso de edición de los diferentes capítulos, fueron fundamentales.
Los comentarios de personas que leyeron porciones del libro en distintos momentos de avance enriquecieron el texto, y les estamos muy agradecidas. Queremos agradecer especialmente a Marcos Vera por su juiciosa y comprehensiva lectura del texto entero; sus sugerencias mejoraron sustancialmente el texto. Agradecemos