Complemento ortogonale e proiezioni ortogonali

Lezioni 32 (fine) e 33 (videolezioni n. 32 e 33). Esercizi svolti: Esercizio 80 · U⊥ da un'equazione, Gram-Schmidt e vettore di minima distanza, Esercizio 81 · base ortogonale, U⊥, proiezione e un sottospazio impossibile, Esercizio 82 · (Im f)⊥ = Ker f per una matrice simmetrica, Esercizio 83 · U da un sistema, U⊥, proiezioni su U e U⊥, Esercizio 85 · dimensione con parametro, U⊥ e vettore con proiezione assegnata. Prerequisito: Prodotto scalare, norma e angoliIl prodotto scalare aggiunge a uno spazio vettoriale lunghezze e angoli: norma, disuguaglianza di Cauchy-Schwarz, angolo tra vettori in R^n, ortogonalità, proiezione su una retta, aree e volumi con il determinante della matrice dei prodotti scalari.Prodotto scalare, norma e angoli →. Seguito: Metodo dei minimi quadratiQuando un sistema AX = b non ha soluzioni si cerca X che rende minima la norma di AX − b: AX è la proiezione ortogonale di b su Im A, e X si trova risolvendo le equazioni normali AᵀA X = Aᵀb; applicazione alla retta di regressione.Metodo dei minimi quadrati →, Basi ortonormali e Gram-SchmidtUna base ortonormale è fatta di vettori di norma 1 a due a due ortogonali: le coordinate si calcolano con prodotti scalari e le proiezioni con una formula diretta. Il procedimento di Gram-Schmidt trasforma una base qualsiasi in una base ortogonale (e poi ortonormale) dello stesso sottospazio.Basi ortonormali e Gram-Schmidt →.

In tutta la nota si lavora in $\mathbb{R}^n$ con il prodotto scalare usuale.

L'ortogonale di un sottospazio

Definizione. Sia $U \subseteq \mathbb{R}^n$ un sottospazio vettoriale. L'ortogonale di $U$ è $$U^\perp = \{ v \in \mathbb{R}^n : v \cdot u = 0 \ \text{ per ogni } u \in U \},$$ l'insieme dei vettori perpendicolari a tutti i vettori di $U$.

Esempi in $\mathbb{R}^3$. Se $U$ è una retta per l'origine, $U^\perp$ è il piano per l'origine perpendicolare a essa. Se $U$ è un piano per l'origine, $U^\perp$ è la retta perpendicolare. $\{0\}^\perp = \mathbb{R}^3$ e $(\mathbb{R}^3)^\perp = \{0\}$.

$U^\perp$ è un sottospazio

Si verificano le due chiusure (criterio dei sottospaziUn sottospazio vettoriale è un sottoinsieme che è spazio vettoriale con le stesse operazioni: basta che sia chiuso per somma e per prodotto per scalari. Deve contenere il vettore nullo. In R^2 i sottospazi sono {0}, le rette per l'origine e tutto R^2.Sottospazi vettoriali →). Siano $v_1, v_2 \in U^\perp$, $\lambda \in \mathbb{R}$, e $u \in U$ qualsiasi.

• Somma: $(v_1 + v_2) \cdot u = v_1 \cdot u + v_2 \cdot u = 0 + 0 = 0$, quindi $v_1 + v_2 \in U^\perp$.
• Multiplo: $(\lambda v_1) \cdot u = \lambda (v_1 \cdot u) = \lambda \cdot 0 = 0$, quindi $\lambda v_1 \in U^\perp$.

(E $0 \in U^\perp$, quindi non è vuoto.) Si usa solo la linearità del prodotto scalare.

Basta controllare una base

Proposizione. Se $\{u_1, \dots, u_r\}$ è una base (o anche solo un insieme di generatori) di $U$, allora $$v \in U^\perp \iff v \cdot u_1 = 0, \ \ v \cdot u_2 = 0, \ \dots, \ v \cdot u_r = 0 .$$

Dimostrazione. ($\Rightarrow$) Se $v$ è ortogonale a tutti i vettori di $U$, lo è in particolare a $u_1, \dots, u_r$. ($\Leftarrow$) Ogni $u \in U$ si scrive $u = \lambda_1 u_1 + \dots + \lambda_r u_r$, quindi

$$v \cdot u = \lambda_1 (v \cdot u_1) + \dots + \lambda_r (v \cdot u_r) = \lambda_1 \cdot 0 + \dots + \lambda_r \cdot 0 = 0 \ ∎$$

Conseguenza pratica. Si ottengono subito le equazioni cartesiane di $U^\perp$: se $u_i = (a_{i1}, \dots, a_{in})$, allora

$$U^\perp: \begin{cases} a_{11} x_1 + \dots + a_{1n} x_n = 0 \\ \quad \vdots \\ a_{r1} x_1 + \dots + a_{rn} x_n = 0 \end{cases}$$

cioè: le componenti dei vettori di una base di $U$ sono i coefficienti delle equazioni di $U^\perp$.

Esempio. $U = \langle (1, 2, 0, 1),\ (0, 1, 1, -1) \rangle \subset \mathbb{R}^4$: $$U^\perp: \begin{cases} x_1 + 2x_2 + x_4 = 0 \\ x_2 + x_3 - x_4 = 0 \end{cases}$$

La dimensione dell'ortogonale

Teorema. Per ogni sottospazio $U \subseteq \mathbb{R}^n$: $$\dim U^\perp = n - \dim U .$$

Dimostrazione. Sia $\{u_1, \dots, u_r\}$ una base di $U$ ($r = \dim U$) e sia $A$ la matrice $r \times n$ che ha i vettori $u_i$ come righe. Per la proposizione precedente $v \in U^\perp \iff Av = 0$, cioè $U^\perp$ è lo spazio delle soluzioni del sistema omogeneo $AX = 0$, ossia il nucleoIl nucleo (vettori mandati in 0) e l'immagine (vettori raggiunti) di una funzione lineare sono sottospazi; f è iniettiva se e solo se Ker f = {0}; dim Ker f + dim Im f = dim V (nullità + rango); l'antimmagine di un vettore è una soluzione particolare più il nucleo.Nucleo e immagine → di $A$. Le righe di $A$ sono indipendenti, quindi $\operatorname{rango}(A) = r$, e per il teorema nullità + rango

$$\dim U^\perp = \dim \operatorname{Ker} A = n - \operatorname{rango}(A) = n - r \ ∎$$

Esempi: in $\mathbb{R}^3$ l'ortogonale di una retta ha dimensione $3 - 1 = 2$ (piano), quello di un piano ha dimensione $1$ (retta). In $\mathbb{R}^4$ l'ortogonale di un piano è ancora un piano.

$\mathbb{R}^n = U \oplus U^\perp$ e $(U^\perp)^\perp = U$

Teorema. Per ogni sottospazio $U \subseteq \mathbb{R}^n$:

1. $U \cap U^\perp = \{0\}$;
2. $\mathbb{R}^n = U \oplus U^\perp$;
3. $(U^\perp)^\perp = U$.

Dimostrazione.

1. Se $v \in U \cap U^\perp$, allora $v$ è ortogonale a tutti i vettori di $U$, in particolare a sé stesso: $v \cdot v = 0$, quindi $v = 0$ per la positività del prodotto scalare.
2. Per la formula di Grassmanndim(U + W) = dim U + dim W − dim(U ∩ W).Formula di Grassmann e somma diretta →: $\dim(U + U^\perp) = \dim U + (n - \dim U) - 0 = n$, quindi $U + U^\perp = \mathbb{R}^n$, e la somma è diretta per il punto 1.
3. Ogni $u \in U$ è ortogonale a ogni vettore di $U^\perp$ (è la definizione di $U^\perp$ letta al contrario), quindi $U \subseteq (U^\perp)^\perp$. Le dimensioni: $\dim (U^\perp)^\perp = n - (n - \dim U) = \dim U$. Un sottospazio contenuto in un altro della stessa dimensione coincide con esso ∎.

Conseguenza: equazioni e basi si scambiano. Se $U$ è dato da equazioni cartesiane indipendenti con righe dei coefficienti $r_1, \dots, r_k$, allora $U = \langle r_1, \dots, r_k \rangle^\perp$ e quindi

$$U^\perp = \langle r_1, \dots, r_k \rangle \qquad \text{(i coefficienti delle equazioni di } U \text{ sono una base di } U^\perp).$$

Esempio d'esame: se $U^\perp$ ha l'unica equazione $x_1 + 4x_2 - 3x_3 + 2x_4 = 0$, allora $U = \langle (1, 4, -3, 2) \rangle$ (Esercizio 80 · U⊥ da un'equazione, Gram-Schmidt e vettore di minima distanza).

Un legame con nucleo e immagine. Per una matrice $A$, $AX = 0$ significa che $X$ è ortogonale a tutte le righe di $A$: quindi $\operatorname{Ker} A = (\text{spazio delle righe})^\perp = (\operatorname{Im} A^T)^\perp$. Se $A$ è simmetrica righe e colonne coincidono e $\operatorname{Ker} A = (\operatorname{Im} A)^\perp$ (Esercizio 82 · (Im f)⊥ = Ker f per una matrice simmetrica).

Proiezione ortogonale su un sottospazio

Siccome $\mathbb{R}^n = U \oplus U^\perp$, ogni vettore $v$ si scrive in un solo modo come

$$v = v' + v'', \qquad v' \in U, \quad v'' \in U^\perp .$$

Definizione. $v' = p_U(v)$ è la proiezione ortogonale di $v$ su $U$; $v'' = v - p_U(v) = p_{U^\perp}(v)$ è la proiezione su $U^\perp$ (la "componente ortogonale").

Caratterizzazione da usare negli esercizi: $p_U(v)$ è l'unico vettore $v'$ tale che

$$v' \in U \qquad \text{e} \qquad v - v' \in U^\perp .$$

Generalizza la proiezione su una retta vista in Prodotto scalare, norma e angoliIl prodotto scalare aggiunge a uno spazio vettoriale lunghezze e angoli: norma, disuguaglianza di Cauchy-Schwarz, angolo tra vettori in R^n, ortogonalità, proiezione su una retta, aree e volumi con il determinante della matrice dei prodotti scalari.Prodotto scalare, norma e angoli →.

Metodo 1: con le incognite (va sempre bene)

Sia $\{u_1, \dots, u_r\}$ una base qualsiasi di $U$.

1. Si scrive $v' = a_1 u_1 + \dots + a_r u_r$ con $a_i$ incogniti (così $v' \in U$ automaticamente).
2. Si impone $v - v' \perp u_j$ per $j = 1, \dots, r$: sono $r$ equazioni lineari nelle $r$ incognite.
3. Si risolve e si sostituisce.

Variante furba: se $\dim U^\perp < \dim U$ conviene proiettare su $U^\perp$ (meno incognite) e poi fare $p_U(v) = v - p_{U^\perp}(v)$.

Esempio. $U = \langle u_1, u_2 \rangle$ con $u_1 = (1, 0, 1)$, $u_2 = (0, 1, 1)$, e $v = (1, 2, 0)$. Qui $\dim U^\perp = 1$: conviene la variante. $U^\perp$ ha equazioni $x_1 + x_3 = 0$, $x_2 + x_3 = 0$, quindi $U^\perp = \langle (1, 1, -1) \rangle =: \langle n \rangle$. Proiezione su una retta:

$$p_{U^\perp}(v) = \frac{v \cdot n}{n \cdot n}\, n = \frac{1 + 2 + 0}{3} (1, 1, -1) = (1, 1, -1), \qquad p_U(v) = v - (1, 1, -1) = (0, 1, 1).$$

Controllo: $(0, 1, 1) = u_2 \in U$ ✓.

Metodo 2: con una base ortogonale (formula diretta)

Se $\{u_1, \dots, u_r\}$ è una base ortogonale di $U$ ($u_i \cdot u_j = 0$ per $i \ne j$), il sistema del metodo 1 si "disaccoppia": l'equazione $(v - \sum a_i u_i) \cdot u_j = 0$ diventa $v \cdot u_j - a_j (u_j \cdot u_j) = 0$, perché tutti gli altri prodotti sono nulli. Quindi

$$p_U(v) = \frac{v \cdot u_1}{u_1 \cdot u_1}\, u_1 + \frac{v \cdot u_2}{u_2 \cdot u_2}\, u_2 + \dots + \frac{v \cdot u_r}{u_r \cdot u_r}\, u_r \qquad \text{(solo con base ortogonale!)}$$

È la somma delle proiezioni sulle singole rette $\langle u_i \rangle$. Con una base non ortogonale questa somma è sbagliata: è uno dei motivi per cui si costruiscono basi ortogonali con Gram-SchmidtUna base ortonormale è fatta di vettori di norma 1 a due a due ortogonali: le coordinate si calcolano con prodotti scalari e le proiezioni con una formula diretta. Il procedimento di Gram-Schmidt trasforma una base qualsiasi in una base ortogonale (e poi ortonormale) dello stesso sottospazio.Basi ortonormali e Gram-Schmidt →.

Metodo 3: la matrice di proiezione

Sia $A$ la matrice $n \times r$ che ha i vettori di una base di $U$ come colonne. Allora $v' = A a$ con $a = (a_1, \dots, a_r)^T$, e le condizioni "$v - Aa$ ortogonale a ogni colonna di $A$" si scrivono in un colpo solo come $A^T (v - Aa) = 0$:

$$A^T A\, a = A^T v .$$

La matrice $A^T A$ ($r \times r$) è invertibile perché le colonne di $A$ sono indipendenti (se $A^T A x = 0$ allora $x^T A^T A x = \|Ax\|^2 = 0$, quindi $Ax = 0$ e $x = 0$). Quindi $a = (A^T A)^{-1} A^T v$ e

$$p_U(v) = P\, v, \qquad P = A\, (A^T A)^{-1} A^T \qquad \text{(matrice di proiezione su } U).$$

Proprietà della matrice di proiezione:

Se la base è ortonormale, $A^T A = I$ e $P = A A^T$.

Esempio (retta in $\mathbb{R}^2$). $U = \langle (1, 2) \rangle$, $A = \begin{pmatrix} 1 \\ 2 \end{pmatrix}$, $A^T A = 5$:

$$P = \frac15 \begin{pmatrix} 1 \\ 2 \end{pmatrix} \begin{pmatrix} 1 & 2 \end{pmatrix} = \frac15 \begin{pmatrix} 1 & 2 \\ 2 & 4 \end{pmatrix}.$$

Controllo: $P \begin{pmatrix} 1 \\ 2 \end{pmatrix} = \frac15 \begin{pmatrix} 5 \\ 10 \end{pmatrix} = \begin{pmatrix} 1 \\ 2 \end{pmatrix}$ (resta fermo) ✓; $P \begin{pmatrix} 2 \\ -1 \end{pmatrix} = 0$ (il perpendicolare si annulla) ✓.

La proiezione è il punto più vicino

Teorema (migliore approssimazione). Per ogni $u \in U$: $$\|v - p_U(v)\| \le \|v - u\|,$$ con uguaglianza solo se $u = p_U(v)$. Cioè $p_U(v)$ è il vettore di $U$ più vicino a $v$, e la distanza di $v$ da $U$ è $\|v - p_U(v)\| = \|p_{U^\perp}(v)\|$.

Dimostrazione. Scriviamo $v - u = (v - p_U(v)) + (p_U(v) - u)$. Il primo addendo sta in $U^\perp$, il secondo in $U$ (differenza di due vettori di $U$): sono ortogonali. Per Pitagora

$$\|v - u\|^2 = \|v - p_U(v)\|^2 + \|p_U(v) - u\|^2 \ge \|v - p_U(v)\|^2,$$

con uguaglianza se e solo se $\|p_U(v) - u\| = 0$ ∎.

È il fondamento del Metodo dei minimi quadratiQuando un sistema AX = b non ha soluzioni si cerca X che rende minima la norma di AX − b: AX è la proiezione ortogonale di b su Im A, e X si trova risolvendo le equazioni normali AᵀA X = Aᵀb; applicazione alla retta di regressione.Metodo dei minimi quadrati → e dei problemi d'esame "trovare $w \in U$ che rende minima $\|v - w\|$".

Una condizione necessaria utile. Se $w$ è la proiezione di $v$ su qualche sottospazio, allora $w \perp (v - w)$. Se $w \cdot (v - w) \ne 0$, nessun sottospazio ha $w$ come proiezione di $v$ (Esercizio 81 · base ortogonale, U⊥, proiezione e un sottospazio impossibile, punto (d)).

Errori comuni

• Usare la formula $\sum \frac{v \cdot u_i}{u_i \cdot u_i} u_i$ con una base non ortogonale.
• Confondere "equazioni di $U$" e "base di $U^\perp$" o scambiare righe e colonne: i coefficienti delle equazioni di $U$ formano una base di $U^\perp$, non di $U$.
• Credere che $U^\perp$ sia il "complementare" insiemistico di $U$: è un sottospazio (contiene $0$) e in generale è molto più piccolo di $\mathbb{R}^n \setminus U$.
• Dimenticare di controllare il risultato: $p_U(v)$ deve stare in $U$ e $v - p_U(v)$ deve soddisfare le equazioni di $U^\perp$. Sono due controlli rapidi.