Guía práctica para la evaluación de impacto. Raquel Bernal
el investigador no puede descifrar qué parte se debe a qué.
En suma, los individuos que se autoseleccionan en el grupo de tratamiento son sistemáticamente diferentes (en formas que observamos y formas que no observamos) de los individuos que se autoseleccionan en el grupo de control, y precisamente por eso participan en el programa. Esas diferencias sistemáticas pueden estar relacionadas, a su vez, con la variable de resultado, objeto de la evaluación de impacto.
En el capítulo anterior se explicó que si se cumple el supuesto (3.2), entonces el efecto del programa sobre la variable de resultado, Yi, es la pendiente estimada por mínimos cuadrados ordinarios de la siguiente regresión lineal:
donde Di es el indicador del estatus de tratamiento.
En este caso,
Ejemplo 3.1:
Suponga que el programa Canasta se ofrece y los individuos elegibles deben decidir si quieren participar o no. Además, participar tiene un costo en tiempo y trámites, debido a que la mamá del niño elegible debe acercarse a una oficina de la institución encargada de administrar el programa, diligenciar un formulario de inscripción y llevar al niño potencialmente participante a un control médico en el que se registran sus medidas antropométricas (estatura y peso). Aunque todas las mamás de niños entre los 0 y 6 años de edad que pertenecen a Sisbén 1 y 2 son elegibles para el programa, es muy probable que un conjunto de madres considere que el costo de inscribirse para participar en el programa es muy alto porque las filas son muy largas, el examen médico es muy demorado o el hospital en el que se lleva a cabo es muy lejos, por lo cual preferirán no recibir el mercado. Es decir, se podría pensar que las mamás que sí deciden participar son aquellas más proactivas y motivadas y que, a pesar del costo de participación, se preocupan por sus hijos y su bienestar lo suficiente (o tienen el tiempo disponible) como para ir hasta la oficina, hacer la fila, sacar la cita en el hospital, ir al hospital para asistir a la cita médica, volver a la oficina administradora a reclamar el mercado, etcétera.
Note entonces que las madres participantes y las madres no participantes son diferentes en cuanto a su perfil de madre, la disponibilidad de tiempo, su disposición a ocuparse de los hijos, etc. Estas características, algunas de las cuales no son observadas por el evaluador porque no existen mediciones o porque no fueron registradas en los datos (como qué tan dedicada es la mamá a sus hijos), pueden también afectar el estado nutricional de los niños participantes y no participantes. Por ejemplo, las mamás más proactivas y motivadas pueden ser también aquellas que se preocupan más por la nutrición de los niños y, por tanto, les ofrecen una dieta más balanceada, llevan a los niños a controles médicos, etc. Es decir, sería una variable contenida en ui porque explica la medida antropométrica (o variable de resultado), Yi .
Dado que existen características observadas y no observadas de los individuos, contenidas en ui, que explican tanto la decisión de participar en el programa como la variable de resultado, entonces
Es decir, la participación en el programa, Di, sí está correlacionada con el término de error en la regresión (3.4). Esto constituye la violación de uno de los supuestos fundamentales del modelo de regresión lineal (independencia condicional) y, por ende, los estimadores de mínimos cuadrados ordinarios no serán insesgados.19 Esto implica que el valor esperado del estimador del efecto del programa estimado por MCO no corresponde al efecto verdadero del programa sino que está subestimado o sobrestimado, según sean las características no observadas de los individuos. En otras palabras, el efecto del programa no se puede obtener por la simple comparación de medias de la variable de resultado entre el grupo de tratamiento y el grupo de control.
Intuitivamente, si hay variables que explican tanto la participación en el programa como la variable de resultado, la comparación de medias puede estar atribuyendo al programa un efecto que en realidad se debe a las diferencias preexistentes entre el grupo de tratamiento y el grupo de control. En nuestro ejemplo del programa Canasta, si las madres participantes son más dedicadas y están más motivadas que las madres no participantes, entonces podemos estar atribuyendo al programa un efecto positivo sobre el estado nutricional de los niños, cuando en realidad la diferencia en las medidas antropométricas a favor de los niños tratados se debe a que tienen madres más pendientes de su dieta que los niños de control, y no al programa en sí. Si la característica del individuo, Xi, que explica tanto la participación en el programa como la variable de resultado, es observable y está contenida en la base de datos disponible, entonces este problema se soluciona simplemente incluyéndola en la regresión (3.4) como una variable explicativa adicional:
donde Xi es una característica observable del individuo, que explica tanto la participación en el programa como la variable de resultado Yi.
Por ejemplo, si los individuos más pobres son aquellos que deciden participar en el programa Canasta, mientras que los individuos más ricos eligen no hacerlo, entonces Xi sería el índice de riqueza del hogar. Si esta es la única diferencia entre los participantes y los no participantes, entonces el estimador de β1 en la ecuación (3.5) por MCO es un estimador consistente e insesgado del efecto del programa.
Si las diferencias entre los participantes y no participantes son todas observables (y la base de datos contiene información acerca de todas ellas), entonces la regresión (3.5) se puede extender para incluir todas esas características. Si todas las diferencias entre el grupo de tratamiento y el grupo de control se incluyen en la regresión, entonces los factores restantes contenidos en ui son efectivamente independientes de la decisión de participar, Di , y, por ende, el estimador de β1 por MCO es un estimador insesgado y consistente del efecto del programa.
Sin embargo, en la mayoría de los casos, algunas de las diferencias entre los participantes y los no participantes no se observan o son características (en principio observables) que no están contenidas en la base de datos.20 Por ejemplo, las madres más dedicadas a sus hijos pueden ser más propensas a participar en el programa Canasta que las madres menos dedicadas. Pero qué tan dedicada es una madre no es una variable incluida en las encuestas. Por ende, aunque sabemos que ésta es una diferencia entre los beneficiarios y los no beneficiarios por la que debemos controlar en la ecuación (3.5), no tenemos los datos a disposición. En este caso, el estimador de MCO de β1 está sesgado, es decir:
La dirección precisa del