Regressão Linear Simples

Álgebra Linear - Um Livro Colaborativo

11.2 Regressão Linear Simples

Vamos apresentar uma aplicação de algumas das técnicas do método de mínimos quadrados à Estatística ou Econometria. Uma regressão linear simples é uma equação, tipicamente da forma

y = a + b x,

(11.21)

para estimar os valores $(x, y)$ apenas conhecendo alguns valores especíﬁcos $(x_{1}, y_{1}), (x_{2}, y_{2}), \dots,$ $(x_{k}, y_{k})$ . A ideia é tentar capturar como que mudanças na variável independente $x$ afetam a variável dependente $y$ (neste caso, supondo que esta dependência é linear).

Exemplo 104. ¹ Com o intuito de analisar se é razoável supor que há um relação linear entre a idade de um motorista e quão longe ele consegue ver, uma empresa (Last Resource, Inc., Bellefonte, PA) coletou dados de 30 motoristas. Para simpliﬁcar as nossas contas, vamos listar abaixo apenas alguns destes dados.


Idade	Distância (em $m$ )

20	590
32	410
41	460
49	380
66	350

Podemos pensar em $y$ como a distância e em $x$ como a idade. Gostaríamos de achar uma relação linear da forma

y = a + b x .

(11.22)

Desta forma, os dados obtidos implicam que

\{\begin{matrix} b + 20 a = 590 \\ b + 32 a = 410 \\ b + 41 a = 460 \\ b + 49 a = 380 \\ b + 66 a = 350 \end{matrix} ↭ [\begin{matrix} 1 & 20 \\ 1 & 32 \\ 1 & 41 \\ 1 & 49 \\ 1 & 66 \end{matrix}] [\begin{matrix} a \\ b \end{matrix}] = [\begin{matrix} 590 \\ 410 \\ 460 \\ 380 \\ 350 \end{matrix}]

(11.23)

Ora, diﬁcilmente um sistema linear com duas incógnitas e cinco equações terá solução (só terá solução se todos os pontos do conjunto de dados estiverem perfeitamente alinhados em uma reta!). Consequentemente, vamos procurar por uma solução de mínimos quadrados. Isto é regressão linear simpes.

Denotando

A = [\begin{matrix} 1 & 20 \\ 1 & 32 \\ 1 & 41 \\ 1 & 49 \\ 1 & 66 \end{matrix}] e \vec{b} = [\begin{matrix} 590 \\ 410 \\ 460 \\ 380 \\ 350 \end{matrix}]

(11.24)

precisamos calcular

A^{T} A = [\begin{matrix} 1 & 1 & 1 & 1 & 1 \\ 20 & 32 & 41 & 49 & 66 \end{matrix}] [\begin{matrix} 1 & 20 \\ 1 & 32 \\ 1 & 41 \\ 1 & 49 \\ 1 & 66 \end{matrix}] = [\begin{matrix} 5 & 208 \\ 208 & 9832 \end{matrix}]

(11.25)

A^{T} \vec{b} = [\begin{matrix} 1 & 1 & 1 & 1 & 1 \\ 20 & 32 & 41 & 49 & 66 \end{matrix}] [\begin{matrix} 590 \\ 410 \\ 460 \\ 380 \\ 350 \end{matrix}] = [\begin{matrix} 2190 \\ 85500 \end{matrix}] .

(11.26)

Em seguida, a matriz associada aumentada pode ser reduzida por escalonamento:

[A^{T} A | \vec{b}] = [\begin{matrix} 5 & 208 & 2190 \\ 208 & 9832 & 85500 \end{matrix}] \sim [\begin{matrix} 1 & 0 & 468510 ∕ 737 \\ 0 & 1 & - 7005 ∕ 1474 \end{matrix}] \Rightarrow \{\begin{matrix} a ≃ 635.7 \\ b ≃ - 4.75 \end{matrix} .

(11.27)

Os números são feios, mas as contas feitas foram as que sempre ﬁzemos ao escalonar uma matriz até sua forma escalonada reduzida.

A conclusão é que a reta de mínimos quadrados que melhor aproxima os nossos dados é a reta

y = a + b x = 635.7 - 4.75 x .

(11.28)

O erro de mínimos quadrados nesta aproximação (ou norma do resíduo) pode ser calculado como

A \vec{x} = [\begin{matrix} 1 & 20 \\ 1 & 32 \\ 1 & 41 \\ 1 & 49 \\ 1 & 66 \end{matrix}] [\begin{matrix} 635.7 \\ 4.75 \end{matrix}] ≃ [\begin{matrix} 730.7 \\ 787.7 \\ 830.45 \\ 868.45 \\ 949.2 \end{matrix}] ≃ {proj}_{Col A} \vec{b} \Rightarrow erro = ∥ \vec{b} - A \vec{x} ∥ ≃ 947.3

(11.29)

Na ﬁgura, mostramos um esboço da reta que melhor aproxima os dados deste exemplo $.$

De uma maneira geral, para encontrar uma reta de melhor ajuste a uma quantidade de pontos (dados coletados de algum problema)

(x_{1}, y_{1}), (x_{2}, y_{2}), \dots, (x_{k}, y_{k}),

(11.30)

devemos procurar pela solução $(a, b)$ de mínimos quadrados do sistema linear

\{\begin{matrix} a + b x_{1} & = y_{1} \\ a + b x_{2} & = y_{2} \\ ⋮ \\ a + b x_{k} & = y_{k} \end{matrix} ↭ [\begin{matrix} 1 & x_{1} \\ 1 & x_{2} \\ ⋮ & ⋮ \\ 1 & x_{k} \end{matrix}] [\begin{matrix} a \\ b \end{matrix}] = [\begin{matrix} y_{1} \\ y_{2} \\ ⋮ \\ y_{k} \end{matrix}] .

(11.31)

Vejamos um outro exemplo:

Exemplo 105. Encontrar a reta que melhor se ajusta aos pontos do plano

(1, 2), (2, 3), (2, 4), (3, 2), (4, 3), (4, 4), (5, 3), (5, 5), (6, 4) .

(11.32)

Como vimos acima, podemos considerar

A = [\begin{matrix} 1 & 1 \\ 1 & 2 \\ 1 & 2 \\ 1 & 3 \\ 1 & 4 \\ 1 & 4 \\ 1 & 5 \\ 1 & 5 \\ 1 & 6 \end{matrix}] e \vec{b} = [\begin{matrix} 2 \\ 3 \\ 4 \\ 2 \\ 3 \\ 4 \\ 3 \\ 5 \\ 4 \end{matrix}]

(11.33)

Assim,

A^{T} A = [\begin{matrix} 9 & 32 \\ 32 & 136 \end{matrix}] e A^{T} \vec{b} = [\begin{matrix} 30 \\ 114 \end{matrix}] .

(11.34)

A solução de mínimos quadrados, que é a solução de $A^{T} A \vec{x} = A^{T} \vec{b}$ , é dada por

b = 54 ∕ 25 = 2.16, a = 33 ∕ 100 = 0.33 .

(11.35)

A reta procurada é portanto $y = 0.33 x + 2.16$ .

Este texto é disponibilizado nos termos da licença Creative Commons Atribuição-CompartilhaIgual 3.0 Não Adaptada (CC-BY-SA 3.0). Página gerada em 19/8/2020 às 17:34:13.

Recursos

Projeto

IME - UFRGS
- Página do IME
- Página da UFRGS

UFRGS - IME - Recursos Educacionais Abertos de Matemática. Contato: reamat@ufrgs.br.

Informe erros ou edite você mesmo!