Esercizio 87retta dei minimi quadrati per quattro punti

Testo (esercizio costruito sul metodo della lezione 34). Si vuole approssimare con una retta $y = mx + q$ i dati sperimentali

1. Scrivere il sistema (sovradeterminato) $AX = b$ che si otterrebbe chiedendo che la retta passi per tutti i punti e verificare che non ha soluzioni.
2. Trovare la retta dei minimi quadrati risolvendo le equazioni normali.
3. Verificare che il vettore dei residui è ortogonale alle colonne di $A$ e calcolare l'errore quadratico.

Teoria usata: Metodo dei minimi quadratiQuando un sistema AX = b non ha soluzioni si cerca X che rende minima la norma di AX − b: AX è la proiezione ortogonale di b su Im A, e X si trova risolvendo le equazioni normali AᵀA X = Aᵀb; applicazione alla retta di regressione.Metodo dei minimi quadrati →, Complemento ortogonale e proiezioni ortogonaliL'ortogonale U⊥ di un sottospazio è un sottospazio di dimensione n − dim U, e R^n = U ⊕ U⊥; ogni vettore si scompone in proiezione su U più componente ortogonale; la proiezione è il punto di U più vicino e si calcola con un sistema o con la matrice di proiezione A(AᵀA)⁻¹Aᵀ.Complemento ortogonale e proiezioni ortogonali →, Sistemi lineari e teorema di Rouché-CapelliUn sistema lineare si scrive AX = B; ha soluzioni se e solo se B sta nell'immagine di A, cioè se rango(A) = rango(A|B) (Rouché-Capelli); le soluzioni sono una soluzione particolare più il nucleo e dipendono da n − r parametri.Sistemi lineari e teorema di Rouché-Capelli →.

1. Il sistema impossibile

Chiedere che il punto $(x_i, y_i)$ stia sulla retta significa $m x_i + q = y_i$. Con i quattro punti:

$$\begin{cases} 0m + q = 1 \\ 1m + q = 1 \\ 2m + q = 2 \\ 3m + q = 4 \end{cases} \qquad A = \begin{pmatrix} 0 & 1 \\ 1 & 1 \\ 2 & 1 \\ 3 & 1 \end{pmatrix}, \quad X = \begin{pmatrix} m \\ q \end{pmatrix}, \quad b = \begin{pmatrix} 1 \\ 1 \\ 2 \\ 4 \end{pmatrix}.$$

Quattro equazioni, due incognite. Dalle prime due: $q = 1$ e $m = 0$; ma allora la terza darebbe $1 = 2$, falso. Il sistema è impossibile (per Rouché-CapelliUn sistema ha soluzioni se e solo se rango(A) = rango(A|b); qui rango(A) = 2 ma rango(A|b) = 3.Sistemi lineari e teorema di Rouché-Capelli →): i quattro punti non sono allineati, come si vede anche a occhio.

Lettura geometrica. $AX = b$ ha soluzione se e solo se $b$ è combinazione lineare delle colonne di $A$, cioè $b \in \operatorname{Im} A$ (un piano in $\mathbb{R}^4$). Qui $b$ non sta in quel piano.

2. Le equazioni normali

L'idea

Non potendo ottenere $AX = b$, si cerca $X$ che renda minimo l'errore $\|AX - b\|^2 = \sum_i (m x_i + q - y_i)^2$ (la somma dei quadrati degli scarti verticali: da qui "minimi quadrati"). Il vettore $AX$ più vicino a $b$ dentro $\operatorname{Im} A$ è la proiezione ortogonale di $b$ su $\operatorname{Im} A$Il vettore di un sottospazio più vicino a b è la proiezione ortogonale di b su quel sottospazio.Complemento ortogonale e proiezioni ortogonali →. La condizione è che il residuo $b - AX$ sia ortogonale a tutte le colonne di $A$:

$$A^T (b - AX) = 0 \quad \Longleftrightarrow \quad A^T A\, X = A^T b \qquad \text{(equazioni normali).}$$

I conti

$$A^T A = \begin{pmatrix} 0 & 1 & 2 & 3 \\ 1 & 1 & 1 & 1 \end{pmatrix} \begin{pmatrix} 0 & 1 \\ 1 & 1 \\ 2 & 1 \\ 3 & 1 \end{pmatrix} = \begin{pmatrix} 0 + 1 + 4 + 9 & 0 + 1 + 2 + 3 \\ 0 + 1 + 2 + 3 & 1 + 1 + 1 + 1 \end{pmatrix} = \begin{pmatrix} 14 & 6 \\ 6 & 4 \end{pmatrix},$$

$$A^T b = \begin{pmatrix} 0 \cdot 1 + 1 \cdot 1 + 2 \cdot 2 + 3 \cdot 4 \\ 1 + 1 + 2 + 4 \end{pmatrix} = \begin{pmatrix} 17 \\ 8 \end{pmatrix}.$$

(Si riconoscono le somme della statistica: $\sum x_i^2 = 14$, $\sum x_i = 6$, $n = 4$, $\sum x_i y_i = 17$, $\sum y_i = 8$.)

Il sistema normale è

$$\begin{cases} 14m + 6q = 17 \\ 6m + 4q = 8 \end{cases}$$

Dalla seconda (divisa per $2$): $3m + 2q = 4$, quindi $q = \frac{4 - 3m}{2}$. Nella prima: $14m + 3(4 - 3m) = 17$, cioè $5m + 12 = 17$, $m = 1$, e quindi $q = \frac12$.

Risultato 2: la retta dei minimi quadrati è $y = x + \frac12$.

Perché il sistema normale ha sempre una e una sola soluzione qui: $A^T A$ è invertibile perché le colonne di $A$ sono indipendenti ($\det A^T A = 56 - 36 = 20 \ne 0$). Succede ogni volta che i punti non hanno tutti la stessa ascissa.

3. Residui e errore

$$AX = \begin{pmatrix} \frac12 \\ \frac32 \\ \frac52 \\ \frac72 \end{pmatrix}, \qquad r = b - AX = \begin{pmatrix} 1 - \frac12 \\ 1 - \frac32 \\ 2 - \frac52 \\ 4 - \frac72 \end{pmatrix} = \begin{pmatrix} \frac12 \\ -\frac12 \\ -\frac12 \\ \frac12 \end{pmatrix}.$$

Ortogonalità alle colonne di $A$:

• prima colonna $(0, 1, 2, 3)$: $0 - \frac12 - 1 + \frac32 = 0$ ✓;
• seconda colonna $(1, 1, 1, 1)$: $\frac12 - \frac12 - \frac12 + \frac12 = 0$ ✓.

La seconda condizione dice che la somma dei residui è zero: la retta passa "in mezzo" ai punti. In effetti passa per il baricentro $(\bar x, \bar y) = (\frac64, \frac84) = (\frac32, 2)$: $\frac32 + \frac12 = 2$ ✓.

Errore quadratico: $\|r\|^2 = 4 \cdot \frac14 = 1$. Nessun'altra retta ha somma dei quadrati degli scarti minore di $1$. Per confronto, la retta $y = x$ (che passa per due punti) dà scarti $1, 0, 0, 1$ e errore $2$.

Errori comuni

• Risolvere solo due equazioni scelte a caso: si ottiene una retta che passa per due punti, non quella che approssima meglio tutti.
• Scrivere $A A^T$ invece di $A^T A$: $AA^T$ è $4 \times 4$ e non dà il sistema giusto.
• Minimizzare le distanze perpendicolari alla retta: il metodo dei minimi quadrati misura gli scarti verticali $y_i - (mx_i + q)$, che sono le componenti di $b - AX$.