Ajuste linear geral

Cálculo Numérico - Versão Python

7.2 Ajuste linear geral

O problema geral de ajuste linear consiste em dada uma família $F$ gerada pelo conjunto de $m$ funções ${f_{1} (x), f_{2} (x), \dots, f_{m} (x)}$ e um conjunto de $n$ pares ordenados ${(x_{1}, y_{1})$ , $(x_{2}, y_{2})$ , $\dots$ , $(x_{n}, y_{n})}$ , calcular os coeficientes $a_{1}$ , $a_{2}$ , $\dots$ , $a_{m}$ tais que a função dada por

f (x) = \sum_{j = 1}^{m} a_{j} f_{j} (x) = a_{1} f_{1} (x) + a_{2} f_{2} (x) + \dots + a_{m} f_{m} (x)

(7.21)

minimiza o resíduo

R = \sum_{i = 1}^{n} {[f (x_{i}) - y_{i}]}^{2} .

(7.22)

Aqui, a minimização é feita por todas as possíveis escolhas dos coeficientes $a_{1}$ , $a_{2}$ , $\dots$ , $a_{m}$ .

Com o objetivo de tornar a desenvolvimento mais claro, vamos escrever $R$ como a soma dos resíduos parciais:

R = \sum_{i = 1}^{n} R_{i}, onde R_{i} : = {[f (x_{i}) - y_{i}]}^{2} .

(7.23)

Do fato que $f (x_{i}) = \sum_{j = 1}^{m} a_{j} f_{j} (x_{i})$ , temos que cada resíduo pode ser escrito como

R_{i} = {[\sum_{j = 1}^{m} a_{j} f_{j} (x_{i}) - y_{i}]}^{2} .

(7.24)

A fim de encontrar o ponto de mínimo, resolvemos o sistema oriundo de igualar a zero cada uma das derivadas parciais de $R$ em relação aos $m$ coeficientes $a_{j}$ , isto é, devemos resolver: $\begin{array}{rcl} \frac{\partial R}{\partial a_{1}} & = & 2 \sum_{i = 1}^{n} \frac{\partial R_{i}}{\partial a_{1}} = 2 \sum_{i = 1}^{n} [\sum_{j = 1}^{m} a_{j} f_{j} (x_{i}) - y_{i}] f_{1} (x_{i}) = 0, & (7.25) \\ \frac{\partial R}{\partial a_{2}} & = & 2 \sum_{i = 1}^{n} \frac{\partial R_{i}}{\partial a_{2}} = 2 \sum_{i = 1}^{n} [\sum_{j = 1}^{m} a_{j} f_{j} (x_{i}) - y_{i}] f_{2} (x_{i}) = 0, & (7.26) \\ ⋮ & (7.27) \\ \frac{\partial R}{\partial a_{m}} & = & 2 \sum_{i = 1}^{n} \frac{\partial R_{i}}{\partial a_{m}} = 2 \sum_{i = 1}^{n} [\sum_{j = 1}^{m} a_{j} f_{j} (x_{i}) - y_{i}] f_{m} (x_{i}) = 0 . & (7.28) \end{array}$

Dividindo cada equação por 2 e escrevendo na forma matricial, obtemos $M a = w$ , onde a matriz $M$ é dada por: $\begin{array}{rcl} M = [\begin{matrix} \sum_{i = 1}^{n} f_{1} {(x_{i})}^{2} & \sum_{i = 1}^{n} f_{2} (x_{i}) f_{1} (x_{i}) & \dots & \sum_{i = 1}^{n} f_{m} (x_{i}) f_{1} (x_{i}) \\ \sum_{i = 1}^{n} f_{1} (x_{i}) f_{2} (x_{i}) & \sum_{i = 1}^{n} f_{2} {(x_{i})}^{2} & \dots & \sum_{i = 1}^{n} f_{m} (x_{i}) f_{2} (x_{i}) \\ \sum_{i = 1}^{n} f_{1} (x_{i}) f_{3} (x_{i}) & \sum_{i = 1}^{n} f_{2} (x_{i}) f_{3} (x_{i}) & \dots & \sum_{i = 1}^{n} f_{m} (x_{i}) f_{3} (x_{i}) \\ ⋮ & ⋮ & ⋱ & ⋮ \\ \sum_{i = 1}^{n} f_{1} (x_{i}) f_{m} (x_{i}) & \sum_{i = 1}^{n} f_{2} (x_{i}) f_{m} (x_{i}) & \dots & \sum_{i = 1}^{n} f_{m} {(x_{i})}^{2} \end{matrix}] . & (7.29) \end{array}$

E os vetores $a$ e $w$ são dados por: $\begin{array}{rcl} a = [\begin{matrix} a_{1} \\ a_{2} \\ ⋮ \\ a_{m} \end{matrix}] e w = [\begin{matrix} \sum_{i = 1}^{n} f_{1} (x_{i}) y_{i} \\ \sum_{i = 1}^{n} f_{2} (x_{i}) y_{i} \\ \sum_{i = 1}^{n} f_{3} (x_{i}) y_{i} \\ ⋮ \\ \sum_{i = 1}^{n} f_{m} (x_{i}) y_{i} \end{matrix}] . & (7.30) \end{array}$

Agora, observamos que $M = V^{T} V$ e $w = V^{T} y$ , onde a matriz $V$ é dada por:

V = [\begin{matrix} f_{1} (x_{1}) & f_{2} (x_{1}) & \dots & f_{m} (x_{1}) \\ f_{1} (x_{2}) & f_{2} (x_{2}) & \dots & f_{m} (x_{2}) \\ f_{1} (x_{3}) & f_{2} (x_{3}) & \dots & f_{m} (x_{3}) \\ ⋮ & ⋮ & ⋱ & ⋮ \\ f_{1} (x_{n}) & f_{2} (x_{n}) & \dots & f_{m} (x_{n}) \end{matrix}]

(7.31)

e $y$ é o vetor coluna $y = (y_{1}, y_{2}, \dots, y_{N})$ .

Assim, o problema de ajuste se reduz a resolver o sistema linear $M a = w$ , ou $V^{T} V a = V^{T} y$ . Este sistema linear tem solução única se a matriz $M$ for inversível. O teorema a seguir mostra que isto acontece sempre a matriz $V$ possui posto $m$ , ou seja, o número de linhas linearmente independentes for igual ao número de colunas.¹

Teorema 7.2.1. A matriz $M = V^{T} V$ é quadrada de ordem $m$ e é inversível sempre que o posto da matriz $V$ é igual a número de colunas $m$ .

Demonstração. Para provar que

M

é inversível, precisamos mostrar que se

v

é um vetor de ordem

m

M v = 0

, então

v = 0

. Suponha, então, que

M v = 0

, isto é,

V^{T} V v = 0

. Tomando o produto interno da expressão

V^{T} V v = 0

com

v

, temos:

0 = <V^{T} V v, v> = <V v, V v> = ∥ V v ∥^{2}

(7.32)

Portanto $M v = 0$ implica obrigatoriamente $V v = 0$ . Como o posto de $V$ é igual ao número de colunas, $v$ precisar ser o vetor nulo.

$■$

Observação 7.2.1. Este problema é equivalente a resolver pelo métodos dos mínimos quadrados o seguinte sistema linear:

[\begin{matrix} f_{1} (x_{1}) & f_{2} (x_{1}) & \dots & f_{m} (x_{1}) \\ f_{1} (x_{2}) & f_{2} (x_{2}) & \dots & f_{m} (x_{2}) \\ f_{1} (x_{3}) & f_{2} (x_{3}) & \dots & f_{m} (x_{3}) \\ ⋮ & ⋮ & ⋱ & ⋮ \\ f_{1} (x_{n}) & f_{2} (x_{n}) & \dots & f_{m} (x_{n}) \end{matrix}] [\begin{matrix} a_{1} \\ a_{2} \\ ⋮ \\ a_{m} \end{matrix}] = [\begin{matrix} y_{1} \\ y_{2} \\ y_{3} \\ ⋮ \\ y_{n} \end{matrix}]

(7.33)

Observação 7.2.2. O caso de ajuste de um reta para um conjunto de pontos é um caso particular de ajuste linear.

Figura 7.2: Gráfico da solução do problema apresentado no Exemplo 7.2.1.

Exemplo 7.2.1. Encontre a reta que melhor se ajusta aos pontos dados na seguinte tabela:

$i$	$1$	$2$	$3$	$4$	$5$

$x_{i}$	$0, 01$	$1, 02$	$2, 04$	$2, 95$	$3, 55$
$y_{i}$	$1, 99$	$4, 55$	$7, 20$	$9, 51$	$10, 82$

Solução. O problema consiste em ajustar uma função da forma $f (x) = a_{1} + a_{2} x$ no conjunto de pontos dados. Notamos que $f (x)$ é uma função da família gerada pelo conjunto de funções ${f_{1} (x) = 1, f_{2} (x) = x}$ . Então, aplicando o procedimento acima, temos que o vetor dos coeficientes $a = (a_{1}, a_{2})$ é solução por mínimos quadrados do sistema linear $V a = y$ , onde:

V = [\begin{matrix} f_{1} (x_{1}) & f_{2} (x_{1}) \\ f_{1} (x_{2}) & f_{2} (x_{2}) \\ f_{1} (x_{3}) & f_{2} (x_{3}) \\ f_{1} (x_{4}) & f_{2} (x_{4}) \\ f_{1} (x_{5}) & f_{2} (x_{5}) \end{matrix}] = [\begin{matrix} 1 & 0, 01 \\ 1 & 1, 02 \\ 1 & 2, 04 \\ 1 & 2, 95 \\ 1 & 3, 55 \end{matrix}] .

(7.34)

Ou seja, é a solução do sistema $V^{T} V a = V^{T} y$ dado por

[\begin{matrix} 5 & 9, 57 \\ 9, 57 & 26, 5071 \end{matrix}] [\begin{matrix} a_{1} \\ a_{2} \end{matrix}] = [\begin{matrix} 34, 07 \\ 85, 8144 \end{matrix}]

(7.35)

A solução desse sistema é $a_{1} = 1, 9988251$ e $a_{2} = 2, 5157653$ . A Figura 7.2, apresenta um gráfico dos pontos e da reta ajustada.

$♢$

Figura 7.3: Gráfico da solução do problema apresentado no Exemplo 7.2.2.

Exemplo 7.2.2. Encontre a função $f (x) = a_{1} sen (π x) + a_{2} cos (π x)$ que melhor se ajusta pelo critérios dos mínimos quadrados aos seguintes pontos dados

$i$	$1$	$2$	$3$	$4$	$5$

$x_{i}$	$0, 00$	$0, 25$	$0, 50$	$0, 75$	$1, 00$
$y_{i}$	$- 153$	$64$	$242$	$284$	$175$

Solução. Pelo procedimento visto nesta seção, temos que os coeficientes $a_{1}$ e $a_{2}$ são dados pela solução por mínimos quadrados do seguinte sistema linear $V a = y$

\begin{matrix} \begin{aligned} a_{1} sen (π x_{1}) + a_{2} cos (π x_{1}) & = y_{1} \\ a_{1} sen (π x_{2}) + a_{2} cos (π x_{2}) & = y_{2} \\ a_{1} sen (π x_{3}) + a_{2} cos (π x_{3}) & = y_{3} \\ a_{1} sen (π x_{4}) + a_{2} cos (π x_{4}) & = y_{4} \\ a_{1} sen (π x_{5}) + a_{2} cos (π x_{5}) & = y_{5} \end{aligned} \end{matrix}

(7.36)

cuja matriz de coeficientes $V$ é:

V = [\begin{matrix} sen (0) & cos (0) \\ sen (0, 25 π) & cos (0, 25 π) \\ sen (0, 5 π) & cos (0, 5 π) \\ sen (0, 75 π) & cos (0, 75 π) \\ sen (π) & cos (π) \end{matrix}]

(7.37)

Então, a solução por mínimos quadrados é

a = {(V^{T} V)}^{- 1} V^{T} y = [\begin{matrix} 244, 03658 \\ - 161, 18783 \end{matrix}] .

(7.38)

Ou seja, $f (x) = 244, 03658 sen (π x) - 161, 18783 cos (π x)$ é a função ajustada ao conjunto de pontos dados. A Figura 7.3 apresenta o gráfica de $f (x)$ e dos pontos dados.

Em Python, podemos computar os coeficientes da função $f (x)$ da seguinte forma:

>>> xi = np.array([0,0.25,0.5,0.75,1])
>>> yi = np.array([-153,64,242,284,175])
>>> V = np.array([np.sin(np.pi*xi),np.cos(np.pi*xi)]).transpose()
>>> a = ((np.linalg.inv((V.transpose()).dot(V))).dot(V.transpose())).dot(yi)

$♢$

Observação 7.2.3. Em Python, quando resolvemos um sistema $A x = b$ usando

>>> x = np.linalg.inv(A).dot(b)

estamos computando a inversa da matriz $A$ e multiplicando por $b$ . Dde forma mais eficiente, podemos usar a função numpy.linalg.solve, digitando:

>>> x = np.linalg.solve(A,b)

Isto requer que a matriz $A$ seja quadrada e de posto completo. Alternativamente, para obtermos a solução por mínimos quadrados, podemos usar a função numpy.linalg.lstsq. Neste caso, digitamos:

>>> np.linalg.lstsq(A,b)

7.2.1 Ajuste polinomial

O ajuste polinomial é o caso particular do ajuste linear para funções polinomiais, isto é, funções do tipo

p (x) = a_{1} + a_{2} x + \dots + a_{m} x^{m - 1} .

(7.39)

Neste caso, a matriz $V$ associada ao ajuste dos pontos ${(x_{1}, y_{1})$ , $(x_{2}, y_{2})$ , $(x_{3}, y_{3})$ , $\dots$ , $(x_{n}, y_{n})}$ é dada por:

V = [\begin{matrix} 1 & x_{1} & x_{1}^{2} & \dots & x_{1}^{m - 1} \\ 1 & x_{2} & x_{2}^{2} & \dots & x_{2}^{m - 1} \\ 1 & x_{3} & x_{3}^{2} & \dots & x_{3}^{m - 1} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n} & x_{n}^{2} & \dots & x_{n}^{m - 1} \end{matrix}]

(7.40)

Então, os coeficientes $a_{i}$ , $i = 1, 2, \dots, m$ , são dados pela solução do sistema linear $V^{T} V a = v^{T} y$ :

\underset{V^{T} V}{\underset{︸}{[\begin{matrix} n & \sum_{j = 1}^{n} x_{j} & \dots & \sum_{j = 1}^{n} x_{j}^{m - 1} \\ \sum_{j = 1}^{n} x_{j} & \sum_{j = 1}^{n} x_{j}^{2} & \sum_{j = 1}^{n} x_{j}^{m} \\ ⋮ & ⋱ & ⋮ \\ \sum_{j = 1}^{n} x_{j}^{m - 1} & \sum_{j = 1}^{n} x_{j}^{m} & \dots & \sum_{j = 1}^{n} x_{j}^{2 m - 1} \end{matrix}]}} \underset{a}{\underset{︸}{[\begin{matrix} a_{1} \\ a_{2} \\ ⋮ \\ a_{p + 1} \end{matrix}]}} = \underset{V^{T} y}{\underset{︸}{[\begin{matrix} \sum_{j = 1}^{n} y_{j} \\ \sum_{j = 1}^{n} x_{j} y_{j} \\ ⋮ \\ \sum_{j = 1}^{n} x_{j}^{m - 1} y_{j} \end{matrix}]}}

(7.41)

Figura 7.4: Gráfico da solução do problema apresentado no Exemplo 7.2.3.

Exemplo 7.2.3. Entre o polinômio de grau 2 que melhor se ajusta aos pontos dados na seguinte tabela:

$i$	$1$	$2$	$3$	$4$	$5$

$x_{i}$	$0, 00$	$0, 25$	$0, 50$	$0, 75$	$1, 00$
$y_{i}$	$- 153$	$64$	$242$	$284$	$175$

Solução. Um polinômio de grau 2 pode ser escrito na seguinte forma:

p (x) = a_{1} + a_{2} x + a_{3} x^{2} .

(7.42)

Assim, o problema se resume em encontrarmos a solução por mínimos quadrados do seguinte sistema linear:

\begin{matrix} \begin{aligned} a_{1} + a_{2} x_{1} + a_{3} x_{1}^{2} & = y_{1} \\ a_{2} + a_{2} x_{2} + a_{3} x_{2}^{2} & = y_{2} \\ a_{3} + a_{2} x_{3} + a_{3} x_{3}^{2} & = y_{3} \\ a_{4} + a_{2} x_{4} + a_{3} x_{4}^{2} & = y_{4} \\ a_{5} + a_{2} x_{5} + a_{3} x_{5}^{2} & = y_{5} \end{aligned} \end{matrix}

(7.43)

Ou, escrita na forma matricial, $V a = y$ , onde:

V = [\begin{matrix} 1 & x_{1} & x_{1}^{2} \\ 1 & x_{2} & x_{2}^{2} \\ 1 & x_{3} & x_{3}^{2} \\ 1 & x_{4} & x_{4}^{2} \\ 1 & x_{5} & x_{5}^{2} \end{matrix}]

(7.44)

A solução por mínimos quadrados é, então:

a = {(V^{T} V)}^{- 1} V^{T} y = [\begin{matrix} - 165, 37143 \\ 1250, 9714 \\ - 900, 57143 \end{matrix}]

(7.45)

Ou seja, o polinômio de grau 2 que melhor ajusta os pontos dados no sentido de mínimos quadrados é $p (x) = - 165, 37143 + 1250, 9714 x - 900, 57143 x^{2}$ . A Figura 7.4 mostra o gráfico do polinômio ajustado e os pontos dados.

Em Python, podemos computar os coeficientes do polinômio $p (x)$ da seguinte forma:

>>> xi = np.array([0,0.25,0.5,0.75,1])
>>> yi = np.array([-153,64,242,284,175])
>>> V = np.array([xi**2,xi**1,xi**0]).transpose()
>>> a = ((np.linalg.inv((V.transpose()).dot(V))).dot(V.transpose())).dot(yi)

Para fazermos o gráfico do polinômio e dos pontos, digitamos:

>>> xx = np.linspace(-0.25,1.25)
>>> plt.plot(xi,yi,’ro’,xx,np.polyval(a,xx),’b-’)
>>> plt.grid();plt.show()

$♢$

Exercícios

E 7.2.1. Encontre o polinômio $p (x) = a_{1} + a_{2} x + a_{3} x^{2}$ que melhor se ajusta no sentido de mínimos quadrados aos pontos:

$i$	$1$	$2$	$3$	$4$

$x_{i}$	$- 1, 50$	$- 0, 50$	$1, 25$	$1, 50$
$y_{i}$	$1, 15$	$- 0, 37$	$0, 17$	$0, 94$

Resposta.

a_{1} = - 0, 67112

a_{2} = - 0, 12123

a_{3} = 0, 73907

E 7.2.2. Encontrar a parábola $y = a x^{2} + b x + c$ que melhor aproxima o seguinte conjunto de dados:

$i$	$1$	$2$	$3$	$4$	$5$

$x_{i}$	$0, 01$	$1, 02$	$2, 04$	$2, 95$	$3, 55$
$y_{i}$	$1, 99$	$4, 55$	$7, 20$	$9, 51$	$10, 82$

Resposta.

y = - 0, 0407898 x^{2} + 2, 6613293 x + 1, 9364598

E 7.2.3. Dado o seguinte conjunto de dados

$x_{i}$	$0, 0$	$0, 1$	$0, 2$	$0, 3$	$0, 4$	$0, 5$	$0, 6$	$0, 7$	$0, 8$	$0, 9$	$1, 0$

$y_{i}$	$31$	$35$	$37$	$33$	$28$	$20$	$16$	$15$	$18$	$23$	$31$

a): Encontre a função do tipo $f (x) = a + b sen (2 π x) + c cos (2 π x)$ que melhor aproxima os valores dados.
b): Encontre a função do tipo $f (x) = a + b x + c x^{2} + d x^{3}$ que melhor aproxima os valores dados.