Guía práctica para la evaluación de impacto. Raquel Bernal
demasiado general y, por tanto, evaluar los logros de tales intervenciones es generalmente muy difícil. En suma, el evaluador debe tratar de relacionar, de la mejor manera posible, los objetivos, lineamientos y forma de operación del programa, con variables de resultado que se espera que puedan medir de manera relativamente razonable el desempeño del programa.
Blundell, R. y M. Costa Dias, 2009, “Alternative Approaches to Evaluation in Empirical Microeconomics,” Journal of Human Resources, University of Wisconsin Press, vol. 44(3), 565-540.
Caliendo, M. y S. Kopeinig, 2005, “Some Practical Guidance for the Implementation of Propensity Score Matching”, IZA Discussion Paper Series, No. 1588.
Heckman, J., R. LaLonde y J. Smith, 1999, “The Economics and Econometrics of Active Labor Market Programs,” en O. Ashenfelter y D. Card, capítulo 31, Handbook of Labor Economics, vol. IV, 1865-2073.
Smith, J., 2000, “A Critical survey of Empirical Methods for Evaluating Active Labor Market Policies”, Schweizerische Zeitschrift fr Volkswirthschaft und Statistik, 136(6), 1-22.
Roy, A., 1951, “Some Thoughts on the Distribution of Earnings”, Oxford Economic Papers, 3, 135-145.
Rubin, D., 1974, “Estimating Causal Effects to Treatments in Randomised and Nonradomised Studies”, Journal of Educational Psychology, 66, 688-701.
7 Este punto se discute en detalle más adelante en la sección 4.5.
8 Average Treatment Effect.
9 Average Treatment on the Treated.
10 Average Treatment on the Untreated.
11 Con excepción de casos en los cuales el tratamiento se haya aplicado de manera aleatoria en la población (ver capítulo 4).
12 Note que para estimar
13 Las variables binarias también se conocen en la literatura como variables dummy, dicótomas o dicotómicas.
14 Ver anexo 1.
15 Ver anexo 2.
16 Ver anexo 3.
17 Sistema de Identificación de Potenciales Beneficiarios de Programas Sociales. Es un instrumento desarrollado con el objetivo de focalizar los programas de política pública hacia la población más vulnerable en Colombia. El puntaje Sisbén se construye con base en una encuesta que indaga sobre las características sociodemográficas del hogar, toma valores entre 0 y 100, donde puntajes más bajos indican mayores niveles de pobreza del hogar.
Como se detalló en el capítulo anterior, la evaluación de impacto consiste en la estimación de:
donde E[Yi(1)|Di = 1] es el valor esperado de la variable de resultado entre los participantes en el programa en presencia del programa y E[Yi(0)|Di = 1], o resultado contrafactual, es el valor esperado de la variable de resultado entre los participantes en ausencia del programa. En otras palabras, evaluar la diferencia entre la variable de resultado entre el grupo de tratados si existe el programa y la variable de resultado entre el grupo de tratados si no se hubiera implementado el programa. Claramente no es posible observar ambos resultados al mismo tiempo. Sin embargo, sí se puede observar la variable de resultado entre un grupo de individuos elegibles que no participan en el programa (o grupo de control), E[Yi(0)|Di = 0].
El principal reto de la evaluación de impacto es determinar las condiciones bajo las cuales E[Yi(0)|Di = 0] se puede utilizar como una aproximación válida de E[Yi(0)|Di = 1] y, por tanto, utilizarse en la ecuación (3.1) para obtener el efecto del programa
Evidentemente E[Yi(0)|Di = 0] se podría utilizar como una aproximación adecuada del contrafactual si
Es decir, si la variable de resultado en ausencia del programa es idéntica para el grupo de individuos tratados (D = 1) que para el grupo de individuos de control (D = 0).
El supuesto (3.2) se viola toda vez que la participación en el programa es una elección del individuo elegible. La razón es que los participantes y los no participantes generalmente son diferentes, aun en ausencia del programa, y por tal motivo es precisamente que se observa que unos escogen participar y otros no, aun si todos son elegibles para recibir el tratamiento. Es decir, existen características (observadas y/o no observadas) que causan que unos individuos participen y otros no. Probablemente, las diferencias en estas características entre individuos participantes e individuos no participantes también originen diferencias en la variable de resultado entre un grupo y el otro. Por ende, es muy probable que la variable de resultado del grupo de tratamiento y la variable de resultado del grupo de control sean diferentes, aun si el programa no existiera. Este hecho se conoce como sesgo de selección.
Recuerde que el
En la ecuación (3.3) es claro que si los individuos del grupo de tratamiento y el grupo de control son diferentes, aun en ausencia del tratamiento (la segunda parte al lado derecho de la ecuación), entonces la diferencia entre la media del grupo de tratamiento y la media del grupo de control (el lado izquierdo de la ecuación) será igual al