Guía práctica para la evaluación de impacto. Raquel Bernal
1: Estimación de mínimos cuadrados ordinarios
Anexo 2: El estimador de MCO es insesgado
Anexo 3: Estimador del impacto del programa por MCO en el modelo de diferencias
Anexo 4: Estimación de variables binarias: probabilidad lineal, logit y probit
Anexo 5: Traducción y explicación de una salida de Stata
El uso de métodos cuantitativos para medir el impacto de programas sociales ha cobrado un gran interés recientemente. En los últimos años han surgido organizaciones dedicadas a la elaboración y el financiamiento de evaluaciones de impacto. Las entidades multilaterales de crédito y las agencias de cooperación han enfatizado, cada vez con mayor fuerza, la necesidad de evaluar concienzudamente los proyectos de desarrollo. Muchos países han creado oficinas independientes de evaluación y monitoreo de programas públicos. Las evaluaciones de impacto han comenzado a desempeñar un papel preponderante en el diseño de políticas públicas y, por ende, en el control político y la controversia democrática.
Hace apenas unos años la evaluación de impacto era un tema casi desconocido en la gestión social. En el mejor de los casos, se percibía como una curiosidad de especialistas; en el peor, como un desperdicio de recursos y un obstáculo tecnocrático a las iniciativas sociales. El impacto de la mayoría de las políticas públicas era desconocido. La pregunta sobre el impacto no se planteaba y menos aún se respondía. Las buenas intenciones y la inercia operativa desplazaban cualquier intento de escrutinio cuantitativo.
White (2009) describe el caso del Programa Integrado de Nutrición de Bangladesh. Este programa identificaba, mediante mediciones en campo, a los niños desnutridos en aldeas rurales y los asignaba a un tratamiento que incluía alimentación suplementaria a los menores y educación nutricional a sus madres. Por muchos años el programa fue considerado como un gran éxito. Las cifras oficiales mostraban una aparente mejoría en los indicadores antropométricos de los niños. El Banco Mundial decidió, con base en esta evidencia incompleta, aumentar los recursos destinados al programa. Ni los financiadores ni los ejecutores parecían dudar de la bondad del programa.
Pero las primeras evaluaciones de impacto, realizadas por el Grupo Independiente de Evaluación del mismo Banco Mundial y por la ONG inglesa Save the Children, mostraron que la mejoría de los indicadores de los beneficiarios era similar (o inferior en algunos casos) a la de otros niños con características comparables que no hacían parte del programa. Las pesquisas que siguieron a la evaluación encontraron que la educación nutricional dada a las madres era irrelevante, pues ellas ni iban al mercado ni decidían sobre la elaboración de los alimentos. En suma, la evaluación señaló que las percepciones de los administradores del programa y de las entidades financiadores eran erradas, y sugirió algunos correctivos al programa.
El caso del programa colombiano Hogares Comunitarios de Bienestar también es ilustrativo. Este programa, creado en 1986, ofrece servicios de cuidado infantil y nutrición a niños de familias de escasos recursos. El servicio es prestado en sus viviendas por madres pertenecientes a las comunidades beneficiadas y la alimentación es provista por el Estado. Durante sus primeros quince años de operación, el programa nunca fue evaluado. La evaluación se consideraba innecesaria: el programa era visto mayoritariamente como costo-efectivo, es decir, de calidad aceptable y costo muy bajo (Perotti, 2005).
Las primeras evaluaciones permitieron conocer el impacto del programa y ayudaron a despejar algunos malentendidos (Attanasio y Vera-Hernández, 2004, y Bernal et ál., 2009). Las evaluaciones mostraron que el programa tiene un impacto sustancial sobre los niños más vulnerables, especialmente los que llegan en condiciones críticas de nutrición, pero no sobre el resto de los beneficiarios. Además, el impacto parece circunscrito a los niños entre 2 y 4 años. Para los niños menores, el impacto es incierto; para los mayores, adverso. En suma, las evaluaciones permitieron cuantificar el impacto y conocer quiénes se benefician y quiénes no de la existencia del programa, a la vez que facilitaron el diagnóstico de correctivos clave en el programa.
1.1. El impacto de las evaluaciones de impacto
Las evaluaciones de impacto ayudan a revelar la realidad de muchas políticas públicas y pueden afectar positivamente las decisiones por dos vías diferentes. La primera vía es la vía directa. En un esquema de presupuesto por resultados, por ejemplo, las evaluaciones inciden sobre la asignación de recursos. En términos generales, hacen que se asignen más recursos a los buenos programas y que se eliminen o corrijan los malos proyectos. De esta manera, las evaluaciones pueden aumentar la eficiencia del Estado o de la cooperación internacional.
La segunda vía es indirecta. La asignación de recursos no obedece siempre a criterios técnicos. Como han enfatizado repetidamente Buchanan y Tullock (1962), entre otros, el choque de intereses es inevitable. Muchos programas, buenos y malos, tienen defensores interesados. Las evaluaciones son un argumento insoslayable en un debate complejo, dominado frecuentemente por los intereses políticos.1 Las evaluaciones contribuyen a la fiscalización mediática y aumentan la calidad de la controversia democrática. Aunque no retroalimenten directamente la toma de decisiones, pueden incidir sobre la eficiencia del gasto por medio de su impacto sobre la calidad del debate público.
En suma, las evaluaciones corrigen muchos de los “juicios impresionistas” de los administradores públicos y pueden ayudar a contrarrestar algunos intereses políticos. Sin evaluaciones los juicios apresurados de la burocracia o las opiniones interesadas de los políticos prevalecen más fácilmente. Con evaluaciones ambos enfrentan mayor resistencia; un contrapeso técnico difícil de ignorar.
1.2. Los pasos previos a la evaluación
Como se discutirá en este libro, la evaluación de impacto debe responder un interrogante complejo: ¿qué habría pasado con los beneficiarios en ausencia del programa en cuestión? Esta pregunta consume buena parte del tiempo y el esfuerzo del evaluador. Pero no es la única pregunta relevante. El evaluador debe realizar dos tareas preliminares e indispensables: un rigoroso análisis factual y un análisis del contexto del programa.
El análisis factual comienza por una estimación del número de beneficiarios y la cobertura del programa en cuestión. En algunos casos, es importante contrastar los registros oficiales con información de encuestas que incluyen preguntas directas sobre la participación en el programa que se va a evaluar. En el caso de Colombia, por ejemplo, las cifras oficiales sobre el número de afiliados al Régimen Subsidiado de Salud o de inscritos en los cursos de capacitación del Servicio Nacional de Aprendizaje (SENA) no coinciden usualmente con los datos de las encuestas. Los registros oficiales contienen duplicaciones o no son actualizados con la frecuencia requerida. Las encuestas también pueden contener errores.
En general, el evaluador debe tener una idea aproximada del número de beneficiarios. Si hay discrepancias en las fuentes información, debe discutir las posibles explicaciones. Además, debe conocer los costos totales del programa y la distribución regional de los beneficiarios y los recursos. Los reportes de evaluación deberían ser profusos en información fáctica.