Tema2 Regsimple p1 208355

TEMA 2: Modelo de regresion simple

Basado en Wooldridge (2010), Captulo 2

Profesora: Serafima Chirkova

Departamento de Economa.Universidad de Santiago

Econometra I. Primer semestre 2015

Serafima Chirkova (USACH) Tema 2. Regresion simple Econometra I, 2015 1 / 26

Estructura

1 Introduccion. Definicion del modelo de regresion simple.

2 Modelo de regresion lineal simple: estimacion


Introduccion

Objetivo: presentar un modelo econometrico para analizar larelacion entre dos variables: como x causa (provoca) cambiosen y .

Problemas basicos:1 Como se permite que otros factores afecten a y?

incorporar u: otros factores

2 Cual es la relacion funcional entre x y y? suponer unarelacion lineal

3 Como asegurarnos que se esta captando una relacion ceterisparibus? interpretacion de los parametros


Modelo de regresion lineal simple: definicionConsideramos una ecuacion que relacione y y x :

y = 0 + 1x + u, (1)

Nota: suponemos que se cumple en la poblacion de interes.

Elementos del modelo:

variables y termino de error,

relacion funcional,

parametros.

y variable dependiente, variable explicada, variable derespuesta o regresando.

x variable independiente, variable explicativa, variablede control o regresor.

u termino de error o perturbacion aleatoria que recoge elefecto de otros factores que afectan a y .


Modelo de regresion lineal simple: parametros

1 y 0 son parametros desconocidos que queremos estimarutilizando un muestra aleatoria de (x , y).

1 es el parametro de pendiente

1 refleja la variacion en y ante un aumento de una unidad en x ,

y = 1x si u = 0

manteniendo constantes el resto de los factores queinfluyen en y y que vienen recogidos en el termino de error u.

x tiene un efecto lineal sobre y : el aumento en una unidad en xtiene el mismo efecto sobre y con independencia del valor inicialde x .

x = 1 y = 1, x ,u = 00 es el intercepto o el termino constante


Modelo de regresion lineal simple: ejemplosEjemplo 1: salario y educacionConsideremos el modelo de regresion simple que relaciona elsalario de una persona con su nivel de educacion

wage = 0 + 1educ + u

El termino de error u contiene todos los demas factores queinfluyen en el salario, como la experiencia laboral, la habilidadinnata, la antiguedad en el empleo actual, etc.

Ejemplo 2: rendimiento de frijol de soya y el fertilizanteSupongamos que la produccion de soja esta determinada por elmodelo

yield = 0 + 1fertilizer + u

El termino de error u contiene todos los demas factores queinfluyen en la produccion de soja como la calidad de la tierra, lacantidad lluvia cada, etc.


Modelo de regresion lineal simple: supuestosSupuesto RLS.1 (linealidad en los parametros)En el modelo poblacional, la variable aleatoria dependiente, y ,esta relacionada con la variable aleatoria independiente, x , y conel error (o perturbacion), u, de la manera lineal con respecto alos parametros 0 y 1:

y = 0 + 1x + u, (2)

Ejemplos de modelos lineales:

wage = 0 + 1educ2 + u,

wage = 0 + 1lneduc + u,

Ejemplos de modelos no lineales:

wage = 0 + educ1 + u,

wage =0

1educ+ u.


Modelo de regresion lineal simple: supuestos

(cont.)

Supuesto RLS.2 (muestra aleatoria)Se cuenta con una muestra aleatoria de tamano n,{(xi , yi) : i = 1, 2, . . . , n} que sigue el modelo poblacional de laecuacion: yi = 0 + 1xi + ui , (3)

donde i indexa individuos de una muestra aleatoria de tamano n,i = 1, 2, . . . , n

Consecuencia: la informacion del individuo i es independientede la informacion del individuo j :

cov(ui , uj) = 0,i 6= j


Modelo de regresion lineal simple: relacion x y u

El parametro 1 mide el efecto de x sobre y , con todos losdemas factores (en u) fijos. Pero en que sentido mantenemoslos otros factores para llegar a tales conclusiones?

Como x y u son variables aleatorias necesitamos un conceptobasado en su distribucion de probabilidad.

Supuesto provisional : siempre que incluyamos el terminoconstante 0 en la ecuacion podemos suponer que el valorpromedio de u en la poblacion es cero:

E (u) = 0

Es simplemente una normalizacion: el efecto medio de los otrosfactores se renormaliza a cero,

Consecuencia: 0 = E (y) 1E (x)


Modelo de regresion lineal simple: supuestos

(cont.)

Problema: u pueden tener otro tipo de relacion (no lineal) con x :puede haber relacion u con x2, etc.

Supuesto RLS.3 (media condicionada nula)

E (u|x) = 0 (4)Consecuencia: E (u) = 0, para todos los posibles valores de x ,la media de u siempre es la misma constante, 0.

Supuesto RLS.4 (variacion muestral de una variableexplicativa)Los valores de la variable explicativa xi , i = 1, . . . ,N , no puedenser todos iguales, es decir, x no puede ser constante.


Ejemplo: salario y educacion

Como interpretar el supuesto (4) en el contexto de los ejemplosanteriores?

Ejemplo 1 (cont.)

Para simplificar supondremos que el termino de error u mideexclusivamente la habilidad innata.

El supuesto (4) implica que el nivel medio de habilidad nodepende de los anos de formacion.

Bajo este supuesto, el nivel de habilidad medio de los individuoscon 10 anos de formacion debera ser el mismo que el de losindividuos con 16 anos de formacion.

Sin embargo, si pensamos que los individuos con mayorhabilidad innata eligen adquirir mayor formacion, la habilidadmedia de los individuos con 16 anos de formacion sera mayorque la de los individuos con 10 anos de formacion, y el supuesto(4) no se verificara.


Ejemplo: rendimiento de frijol de soya y el

fertilizante

Ejemplo 2 (cont)

Para simplificar supondremos que en este ejemplo el termino deerror u mide exclusivamente la calidad de la tierra.

En este caso, si la cantidad empleada de fertilizante en lasdistintas parcelas es aleatoria y no depende de la calidad de latierra, entonces el supuesto (4) sera cierto: la calidad media dela tierra no depende de la cantidad de fertilizante.

Por el contrario, si las mejores parcelas reciben una mayorcantidad de fertilizante, el valor medio de u dependera de lacantidad de fertilizante y el supuesto (4) no sera cierto.


Funcion de regresion poblacionalVamos a obtener ahora la expresion de la media de ycondicionada a x bajo el supuesto (4). Si calculamos el valoresperado (condicionado a x) en la ecuacion (1) tenemos que

E (y | x) = E (0 + 1x + u | x) = 0 + 1x + E (u | x)

y bajo el supuesto (4)

E (y | x) = 0 + 1x (5)

Esta ecuacion muestra que, bajo el supuesto (4), la funcion deregresion poblacional, E (y | x), es una funcion lineal de x .De la ecuacion (5) se deduce que:

0 es la media de y cuando x es igual a cero.

1 mide al variacion en la media de y ante un aumento de unaunidad en x .


Modelo de regresion lineal simple: estimacion

Puesto que E (u) = 0, utilizando la ecuacion (1) y substituyendou en funcion de las variables observables tenemos que

E (y 0 1x) = 0 (6)

Por otra parte se puede demostrar que

E (u | x) = 0 E (xu) = 0

y utilizando la ecuacion (1) y substituyendo u en funcion de lasvariables observables tenemos que

E (x(y 0 1x)) = 0 (7)


Metodo de los momentos

Reemplazando en las ecuaciones (6) y (7) las esperanzaspoblacionales por las medias muestrales, se definen lasestimaciones 0 y 1 como las soluciones de las ecuaciones:

1

n

ni=1

(yi 0 1xi) = 0 (8)

1

n

ni=1

xi(yi 0 1xi) = 0 (9)

Notese que las ecuaciones (8) y (9) son las contrapartidasmuestrales de las ecuaciones (6) y (7). Los estimadoresobtenidos como contrapartidas muestrales de momentospoblacionales se denominan estimadores del metodo de losmomentos.


Los estimadores del Metodo de los Momentos

Los estimadores MM en el modelo de regresion simple:

MM0 = y MM1 x (10)

MM1 =

ni=1 (xi x) (yi y)n

i=1 (xi x)2=

SxyS2x

(11)

donde

Sxy =1

n1n

i=1 (xi x) (yi y) es la covarianza muestralentre x e y ,

S2x =1

n1n

i=1 (xi x)2 es la varianza muestral de x .Demostracion en clase.

A 0MM

lo denominamos estimador MM de 0 y a 1MM

estimador MM de 1.


Metodo de Mnimos Cuadrados Ordinarios (MCO)En el modelo de regresion simple:

yi = 0 + 1xi + ui , para i = 1, . . . ,N

El objetivo es estimar los valores de los coeficientes 0 y 1.

Para ellos tomamos una muestra de los datos de las variables yy x : (xi , yi) para i = 1, ,N .Ejemplo 1: salario y educacion

Queremos analizar si el nivel de educacion de un trabajadortiene algun efecto en su salario.

Se toman datos de 526 trabajadores, yi es el salario por hora deltrabajador i , y xi = es el numero de los anos de educacion deltrabajador i para i = 1, , 526.

Dibujamos la nube de puntos asociada a una determinadamuestra de tamano n y una recta cualquiera

y = b0 + b1xSerafima Chirkova (USACH) Tema 2. Regresion simple Econometra I, 2015 17 / 26

Metodo de MCO: interpretacion grafica

Cada punto representa una observacion.


Metodo de MCO: funcionamientoLa estimacion MCO consiste en minimizar la suma de loscuadrados de las distancias verticales de los puntos de la nube ala recta de regresion.

Graficamente la distancia vertical del punto (xi , yi) a la rectay = b0 + b1x viene dada por yi b0 b1xi .Por tanto la funcion objetivo que tenemos que minimizar es

minb0,b1

s(b0, b1) minb0,b1

ni=1

(yi b0 b1xi)2 (12)

Las derivadas parciales son:

s(b0, b1)

b0= 2

ni=1

(yi b0 b1xi )

s(b0, b1)

b1= 2

ni=1

xi (yi b0 b1xi )


Metodo de MCO: funcionamiento

Los coeficientes estimados se obtienen igualando a cero lasderivadas parciales de la funcion objetivo

ni=1

(yi 0 1xi ) = 0

ni=1

xi (yi 0 1xi ) = 0donde

El valor de b0 es el valor aproximado de 0, 0 = b0

El valor de b1 es el valor aproximado de 1, 1 = b1

Estas dos ecuaciones se denominan condiciones de primeroden de las estimaciones MCO y son identicas a las ecuaciones(8) y (9).


Estimadores MCOPor tanto los estimadores obtenidos minimizando la funcionobjetivo (12) coinciden con los estimadores MM definidos en lasecuaciones (10) y (11).

Los estimadores MCO en el modelo de regresion simple:

MCO0 = y MCO1 x (13)

MCO1 =

ni=1 (xi x) (yi y)n

i=1 (xi x)2=

SxyS2x

(14)

donde

Sxy =1

n1n

i=1 (xi x) (yi y) es la covarianza muestralentre x e y ,

S2x =1

n1n

i=1 (xi x)2 es la varianza muestral de x .A 0

MCOlo denominamos estimador MCO de 0 y a 1

MCO

estimador MCO de 1.Serafima Chirkova (USACH) Tema 2. Regresion simple Econometra I, 2015 21 / 26

Metodo de MCO: alternativaPor que se utiliza como criterio minimizar la suma de loscuadrados de los residuos?

La respuesta es que el criterio es sencillo y da lugar aestimadores con buenas propiedades bajo ciertos supuestos.

Notese que un criterio que consistiera en minimizar la suma delos residuos no sera apropiado, ya que los residuos pueden serpositivos y negativos.

S podramos considerar otros criterios alternativos como porejemplo minimizar la suma de los valores absolutos de losresiduos

mnb1,b2

ni=1

|yi b0 b1xi |

El problema de utilizar este criterio es que la funcion objetivo noes diferenciable y por tanto es mas complicado calcular elmnimo.


Interpretacion de los resultados de la regresionSe define la recta de regresion o funcion de regresionmuestral

y = 0 + 1x

y es la version estimada de la funcion de regresion poblacionalE (y | x) = 0 + 1x .Se definen el valor ajustado para y cuando x = xi como

yi = 0 + 1xi

este es el valor que predecimos para y cuando x = xi . Noteseque hay un valor ajustado para cada observacion de la muestra.

Se define el residuo para cada observacion de la muestra comola diferencia entre el valor observado yi y el valor ajustado yi .

ui = yi yiy tenemos un residuo para cada una de las observaciones de lamuestra.

Notese que el residuo de cada observacion es la distancia vertical(con su correspondiente signo) del punto a la recta de regresion

y = 0 + 1x , y por tanto, el criterio MCO consiste enminimizar la suma de los cuadrados de los residuos.


Interpretacion de los resultados de la regresion

(cont.)El termino constante, 0, es el valor predicho para y cuandox = 0.

En muchos casos no tiene sentido considerar x = 0, y en esoscasos 0 no tiene interes en s mismo. Sin embargo, esimportante que no olvidemos que tenemos que incluir 0 a lahora de predecir y para cualquier valor de x .

0 es tambien el valor estimado para la media de y cuandox = 0.

La pendiente, 1, mide la variacion en y cuando x aumenta enuna unidad .

De hecho si x cambia en x unidades, el cambio predicho en yes de y = 1x unidades.

1 mide tambien la variacion estimada en la media de y cuandox aumenta en una unidad.


Metodo de MCO: interpretacion grafica de los

resultados


Ejemplo 1: salario y educacion

En base a una muestra con n = 526 individuos (fichero WAGE1del libro de Wooldridge) para los que se observa el salario porhora en dolares, wage, y los anos de formacion, educ , se haobtenido la siguiente recta de regresion MCO

wage = 0,90 + 0,54 educEl valor estimado 0,9 para el termino constante significa que el salariopredicho para los individuos con 0 anos de educacion es de 90 centavos(0,9 dolares) por hora, lo que evidentemente no tiene ningun sentido.El valor estimado para la pendiente indica que un ano mas de formacionsupone un aumento en el salario por hora predicho de 54 centavos (0,54dolares). Si el aumento en el numero de anos de formacion fuese de 3 anos,el salario predicho aumentara en 3 0,54 = 1,62 dolares.En cuanto a la prediccion para distintos valores de educ, el salario por hora

predicho para individuos con 10 anos de educacion es

wage = 0,90 + 0,54 10 = 4,5 dolares por hora.


Introduccin. Definicin del modelo de regresin simple.Modelo de regresin lineal simple: estimacin

Documents

Tema2 Regsimple p1 208355