Guía práctica para la evaluación de impacto. Raquel Bernal
clases de evaluación por habernos mostrado la relevancia de este proyecto.
Agradecemos a Francisco Gallego por tener la iniciativa de publicar esta segunda edición del libro en Chile, y a él y a Claudia Martínez por sus valiosas sugerencias acerca de los ejemplos.
Finalmente, a Mauricio, Helena, Juan Pablo y Juan Miguel por el aliento diario.
Attanasio, O. y M. Vera-Hernández, 2004, “Medium and Long Run Effects of Nutrition and Child Care: Evaluation of a Community Nursery Programme in Rural Colombia”, The Institute for Fiscal Studies, Working Paper 04/06.
Bernal, R., C. Fernández, C. E. Flórez, A. Gaviria, P. R. Ocampo, B. Samper y F. Sánchez, 2009, “Evaluación de impacto del Programa Hogares Comunitarios de Bienestar del ICBF”, Documento CEDE, No. 16, julio.
Blundell, R. y M. Costa Dias, 2009, “Alternative Approaches to Evaluation in Empirical Microeconomics,” Journal of Human Resources, University of Wisconsin Press, vol. 44(3), 565-640.
Buchanan, J. M. y G. Tullock , 1962, The Calculus of Consent: Logical Foundations of Constitutional Democracy. Ann Arbor: Ann Arbor Paperbacks.
Filmer, D. y L. H. Pritchett, 2001, “Estimating Wealth Effects without Expenditure Data–or Tears: An Application to Educational Enrolments in States of India”, Demography, vol. 38(1), 115-132.
Gaviria, A., 2002, “Household Responses to Adverse Income Shocks in Latin America”, Desarrollo y Sociedad, No. 49.
Gaviria, A. y C. E. Vélez, 2001, “¿Quiénes soportan la carga del crimen en Colombia?”, Coyuntura Económica, vol. XXXI, No. 2, 75-93.
Heckman, J., R. LaLonde y J. Smith, 1999, “The Economics and Econometrics of Active Labor Market Programs,” en O. Ashenfelter y D. Card, capítulo 31, Handbook of Labor Economics, Vol. IV, 1865-2073.
Lasso, F., 2004, “Incidencia del gasto público social sobre la distribución del ingreso y la reducción de la pobreza”, Misión para el Diseño de una Estrategia para la Reducción de la Pobreza y la Desigualdad, Departamento Nacional de Planeación, Colombia.
Perotti, R., 2005, “Public Spending on Social Protection in Colombia: Analysis and Proposals”, en Alberto Alesina (ed.), Institutional Reforms: The Case of Colombia. Cambridge: MIT Press.
Ravallion, M., 1999, “The Mystery of the Vanishing Benefits: Ms. Speedy Analyst’s Introduction to Evaluation”, Policy Research Working Paper 2153, World Bank, Development Economics Research Group, Washington, D.C.
Robinson, J. A. y T. Ragnar, 2005, “White elephants”, Journal of Public Economics, vol. 89, 197-210.
Smith, J., 2000, “A Critical survey of Empirical Methods for Evaluating Active Labor Market Policies”, Schweizerische Zeitschrift fr Volkswirthschaft und Statistik, 136(6), 1-22.
White, H., 2009, “Theory-Based Impact Evaluation: Principles and Practice”, Working Paper No. 3, International Initiative for Impact Evaluation, junio.
1 Robinson y Ragnar (2005) argumentan que, en general, los políticos prefieren los proyectos de baja rentabilidad y bajo impacto social, pues éstos son más eficaces para demostrar ante sus electores su capacidad de influir sobre los presupuestos públicos.
2 Filmer y Pritchett (2001) argumentan que la clasificación socioeconómica basada en las características de las viviendas y la posesión de activos fijos es menos susceptible a las fluctuaciones de corto plazo que la basada en el ingreso o en el consumo corriente. Gaviria y Vélez (2001) compararon ambas clasificaciones, con base en la Encuesta de Calidad de Vida de Colombia, y no encontraron diferencias sustanciales.
3 Ver, por ejemplo, el capítulo 7 de este libro para mayor detalle al respecto.
4 Ver capítulo 2 para la definición detallada del contrafactual en una evaluación de impacto.
5 Arnold Harberger, uno de los principales promotores de la evaluación en los países en desarrollo, ha dicho reiteradamente que para manejar la macroeconomía de un país basta con cinco o seis personas, pero que para gastar bien se necesita un ejército de evaluadores de programas y proyectos.
6 Ver, por ejemplo, Heckman, LaLonde y Smith (1999), Blundell y Costa Dias (2009), Smith (2000).
EL PROBLEMA DE EVALUACIÓN DE IMPACTO
DEFINICIÓN DE PARÁMETROS DE IMPACTO DEL TRATAMIENTO
El problema de evaluación consiste en medir el impacto del programa (o tratamiento) sobre un conjunto de variables de resultado en un conjunto de individuos. Por ejemplo, el efecto que tiene un programa de nutrición en los indicadores antropométricos (estatura y peso) de los individuos participantes. Las variables de resultado son las variables sobre las cuales se espera que el programa tenga un efecto en los individuos beneficiarios del programa evaluado. En nuestro ejemplo, serían los indicadores de estado nutricional porque el programa es un programa de nutrición.
El problema de evaluación de impacto consiste entonces en establecer la diferencia entre la variable de resultado del individuo participante en el programa en presencia del programa y la variable de resultado de ese individuo en ausencia del programa. Esta diferencia es lo que se conoce como efecto del tratamiento o programa. El problema fundamental que se enfrenta en una evaluación de impacto es que para construir el efecto del tratamiento necesitaríamos conocer la diferencia entre la variable de resultado del individuo participante una vez se ha implementado el programa y la variable de resultado que habría obtenido ese individuo en el caso hipotético de que no existiera el programa. Claramente, no se pueden observar ambos resultados para el mismo individuo al mismo tiempo. El segundo resultado, es decir, el resultado del individuo participante si el programa no existiera, es hipotético y, por ende, no se observa. Este resultado hipotético se denomina resultado contrafactual en la literatura de evaluación de impacto.
El marco teórico estándar para formalizar el problema de la evaluación de impacto se basa en el modelo de resultado potencial o modelo Roy-Rubin (Roy (1951) y Rubin (1974)). Formalmente, definimos el indicador del tratamiento como Di. En el caso en que el tratamiento es binario (por ejemplo, el niño participa en el programa de nutrición o no participa) entonces Di = 1 si el individuo i recibe el tratamiento (es tratado) y 0 de lo contrario. Las variables de resultado las definimos como Yi(Di) para cada individuo i = 1 … N y N denota la población total. Es decir, Yi(1) es la variable de resultado si el individuo i es tratado y Yi(0) es la variable de resultado si el individuo i no es tratado. El efecto del tratamiento (o impacto del programa) para un individuo i se puede escribir como: