Matrice hessiana e formula di Taylor in più variabili

Prerequisiti: Differenziabilità e gradientef è differenziabile in x0 se f(x) = f(x0) + ∇f(x0)·(x − x0) + o(‖x − x0‖): vicino a x0 il grafico si confonde con il piano tangente z = f(x0) + ∇f(x0)·(x − x0). Differenziabile ⇒ continua, derivabile e D_v f = ∇f·v; derivate parziali continue ⇒ differenziabile. Il gradiente indica la direzione di massima crescita (pendenza ‖∇f‖) ed è ortogonale alle curve di livello.Differenziabilità e gradiente →, Formula di Taylor con resto di PeanoUna funzione derivabile n volte in x0 si scrive, vicino a x0, come un polinomio di grado al più n (il polinomio di Taylor, costruito con le derivate in x0) più un errore o((x-x0)^n); il polinomio è unico. Per x0 = 0 si chiama sviluppo di Mac-Laurin.Formula di Taylor con resto di Peano →.

In una variabile il segno di $f''(x_0)$ dice se un punto stazionario è di massimo o di minimo. In più variabili le derivate seconde sono $n^2$ e vanno organizzate in una matrice; il loro "segno" diventa il segno di una forma quadratica.

Derivate di ordine superiore e Teorema di Schwarz

Consideriamo una funzione $f: D \subseteq \mathbb{R}^n \to \mathbb{R}$. Se le derivate parziali prime $\frac{\partial f}{\partial x_i}$ sono a loro volta derivabili, otteniamo le derivate parziali di ordine superiorederivate parziali seconde, definite come: $$\frac{\partial^2 f}{\partial x_j \partial x_i} = \frac{\partial}{\partial x_j} \left( \frac{\partial f}{\partial x_i} \right)$$ Quando $i \neq j$, si parla di derivate miste. Una funzione si dice di classe $C^2$funzione le cui derivate parziali seconde sono continue in un aperto $D$.

Teorema di Schwarz. Sia $f: D \subseteq \mathbb{R}^n \to \mathbb{R}$ una funzione di classe $C^2$ in un intorno di $x_0 \in D$. Allora le derivate miste sono uguali in $x_0$: $$\frac{\partial^2 f}{\partial x_i \partial x_j}(x_0) = \frac{\partial^2 f}{\partial x_j \partial x_i}(x_0)$$

Questo teorema garantisce che, per funzioni sufficientemente regolari, l'ordine di derivazione non influisce sul risultato. Basta in realtà che le due derivate miste esistano vicino a $x_0$ e siano continue in $x_0$. Senza continuità può fallire: il controesempio classico è $f(x,y) = \frac{xy(x^2 - y^2)}{x^2 + y^2}$, $f(0,0) = 0$, per cui $f_{xy}(0,0) = -1$ e $f_{yx}(0,0) = 1$.

Esempio. $f(x, y) = \sin(x^2y) + 4x^3y^2$.

• $f_x = 2xy\cos(x^2y) + 12x^2y^2$, $\quad f_y = x^2\cos(x^2y) + 8x^3y$.
• $f_{xy} = \frac{\partial}{\partial y}f_x = 2x\cos(x^2y) - 2xy\cdot x^2\sin(x^2y) + 24x^2y = 2x\cos(x^2y) - 2x^3y\sin(x^2y) + 24x^2y$ (prodotto $2xy \cdot \cos(x^2y)$ derivato in $y$: la derivata di $\cos(x^2y)$ rispetto a $y$ è $-x^2\sin(x^2y)$).
• $f_{yx} = \frac{\partial}{\partial x}f_y = 2x\cos(x^2y) - x^2\cdot 2xy\sin(x^2y) + 24x^2y$: uguale a $f_{xy}$, come prevede Schwarz.
• $f_{xx} = 2y\cos(x^2y) - 4x^2y^2\sin(x^2y) + 24xy^2$, $\quad f_{yy} = -x^4\sin(x^2y) + 8x^3$.

Matrice Hessiana

La matrice Hessiana è lo strumento principale per analizzare la curvatura locale di una funzione.

Definizione. Data $f \in C^2(D)$, la matrice Hessiana $H_f(x_0)$ è la matrice quadrata $n \times n$ definita come: $$H_f(x_0) = \begin{pmatrix} f_{x_1x_1} & \dots & f_{x_1x_n} \\ \vdots & \ddots & \vdots \\ f_{x_nx_1} & \dots & f_{x_nx_n} \end{pmatrix}$$ Grazie al Teorema di Schwarz, la matrice Hessiana è simmetrica ($H_f = H_f^T$).

Esempio: Sia $f(x,y) = e^{x^2+y}$.

1. Calcoliamo il gradiente: $\nabla f = (2x e^{x^2+y}, e^{x^2+y})$.
2. Deriviamo rispetto a $x$ e $y$ per ottenere le componenti di $H_f$: $f_{xx} = 2e^{x^2+y} + 4x^2e^{x^2+y}$, $f_{xy} = 2xe^{x^2+y}$, $f_{yy} = e^{x^2+y}$. $$H_f(x,y) = e^{x^2+y} \begin{pmatrix} 2+4x^2 & 2x \\ 2x & 1 \end{pmatrix}$$

Formula di Taylor al secondo ordine

La differenziabilità (Differenziabilità e gradientef è differenziabile in x0 se f(x) = f(x0) + ∇f(x0)·(x − x0) + o(‖x − x0‖): vicino a x0 il grafico si confonde con il piano tangente z = f(x0) + ∇f(x0)·(x − x0). Differenziabile ⇒ continua, derivabile e D_v f = ∇f·v; derivate parziali continue ⇒ differenziabile. Il gradiente indica la direzione di massima crescita (pendenza ‖∇f‖) ed è ortogonale alle curve di livello.Differenziabilità e gradiente →) permette di approssimare una funzione con il piano tangente, con errore $o(\|h\|)$. Aggiungendo un termine di secondo grado l'errore diventa $o(\|h\|^2)$:

Formula di Taylor. Sia $f \in C^2$ in un intorno di $x_0$. Per $h$ sufficientemente piccolo, si ha: $$f(x_0+h) = f(x_0) + \nabla f(x_0) \cdot h + \frac{1}{2} h^T H_f(x_0) h + o(\|h\|^2)$$ dove $h^T H_f h$ è la forma quadraticasomma dei termini a_ij h_i h_j: un polinomio omogeneo di secondo grado nelle componenti di h associata all'Hessiana.

In due variabili, con $h = (h, k)$ e le derivate calcolate in $(x_0, y_0)$: $$f(x_0 + h, y_0 + k) = f + f_x h + f_y k + \frac12\left(f_{xx}h^2 + 2f_{xy}hk + f_{yy}k^2\right) + o(h^2 + k^2)$$ Il $2$ davanti a $f_{xy}$ viene dai due termini uguali $f_{xy}hk$ e $f_{yx}kh$ del prodotto $h^T H h$.

Esempio. $f(x, y) = e^{x^2 + y}$ in $(0, 0)$: $f = 1$, $\nabla f = (0, 1)$, $H_f(0,0) = \begin{pmatrix} 2 & 0 \\ 0 & 1\end{pmatrix}$ (dalla formula sopra con $x = y = 0$). Quindi $$e^{x^2+y} = 1 + y + \frac12(2x^2 + y^2) + o(x^2+y^2) = 1 + y + x^2 + \frac{y^2}{2} + o(x^2 + y^2)$$ Verifica: con $u = x^2 + y$, $e^u = 1 + u + \frac{u^2}{2} + \dots = 1 + x^2 + y + \frac{y^2}{2} + \dots$ (i termini $x^4$, $x^2y$ sono di ordine superiore al secondo).

Matrici simmetriche definite, semidefinite, indefinite

Nel punto critico ($\nabla f(x_0) = 0$) la formula di Taylor diventa $f(x_0 + h) - f(x_0) = \frac12 h^T H_f(x_0) h + o(\|h\|^2)$: il segno di $f(x_0+h) - f(x_0)$ vicino a $x_0$ è quello della forma quadratica $q(h) = h^T A h$ con $A = H_f(x_0)$. Per questo serve classificare le matrici simmetriche.

Definizione. Una matrice simmetrica $A$ $n \times n$ è:

• definita positiva se $h^T A h > 0$ per ogni $h \neq 0$;
• definita negativa se $h^T A h < 0$ per ogni $h \neq 0$;
• semidefinita positiva (negativa) se $h^T A h \geq 0$ ($\leq 0$) per ogni $h$, e si annulla per qualche $h \neq 0$;
• indefinita se esistono $h_1, h_2$ con $h_1^T A h_1 > 0$ e $h_2^T A h_2 < 0$.

Criterio degli autovalori. Una matrice simmetrica ha $n$ autovalori reali $\lambda_1, \dots, \lambda_n$ (vedi Algebra Lineare). È definita positiva se sono tutti $> 0$, definita negativa se tutti $< 0$, semidefinita se sono tutti $\geq 0$ (o tutti $\leq 0$) e almeno uno è nullo, indefinita se ce ne sono di segno opposto.

Criterio dei minori principali (Sylvester, o di Hurwitz). Siano $A_k$ le sottomatrici formate dalle prime $k$ righe e $k$ colonne:

• Definita positiva: $\det A_k > 0$ per ogni $k=1, \dots, n$.
• Definita negativa: i segni si alternano partendo dal negativo: $\det A_1 < 0, \det A_2 > 0, \det A_3 < 0, \dots$ (cioè $(-1)^k \det A_k > 0$).

Il criterio vale solo per le matrici definite: se qualche minore è nullo non dice nulla di preciso.

Caso $2 \times 2$. Per $A = \begin{pmatrix} a & b \\ b & c \end{pmatrix}$, gli autovalori hanno prodotto $\det A = ac - b^2$ e somma $a + c$. Quindi:

• $\det A > 0$: autovalori concordi; se $a > 0$ definita positiva, se $a < 0$ definita negativa ($a$ e $c$ hanno lo stesso segno, perché $ac > b^2 \geq 0$).
• $\det A < 0$: autovalori discordi, indefinita.
• $\det A = 0$: un autovalore è nullo, semidefinita (o nulla).

Esempi. $\begin{pmatrix} 2 & 1 \\ 1 & 3 \end{pmatrix}$: $\det = 5 > 0$ e $a = 2 > 0$, definita positiva. $\begin{pmatrix} 1 & 2 \\ 2 & 1 \end{pmatrix}$: $\det = -3 < 0$, indefinita (infatti $q(1, -1) = 1 - 4 + 1 = -2 < 0$ e $q(1, 0) = 1 > 0$). $\begin{pmatrix} -4 & 4 \\ 4 & -4 \end{pmatrix}$: $\det = 0$, semidefinita negativa ($q(h,k) = -4(h - k)^2 \leq 0$).

L'uso per classificare i punti critici è in Massimi e minimi liberi in più variabiliSe f è differenziabile e ha un estremo relativo in un punto interno x0, allora ∇f(x0) = 0 (Fermat): gli estremi interni vanno cercati tra i punti critici. Se f è C², in un punto critico: hessiana definita positiva → minimo, definita negativa → massimo, indefinita → sella, semidefinita → il test non decide e si studia il segno di f(x) − f(x0). In due variabili: det H > 0 e fxx > 0 minimo, det H > 0 e fxx < 0 massimo, det H < 0 sella.Massimi e minimi liberi in più variabili →.

Errori comuni

• Dimenticare il fattore 1/2: Nella formula di Taylor, il termine quadratico deve sempre essere moltiplicato per $1/2$.
• Applicare Schwarz senza ipotesi: per funzioni definite a pezzi le derivate miste nel punto di raccordo vanno calcolate con la definizione e possono essere diverse.
• Confusione nei segni del criterio dei minori: per la definita negativa il primo minore ($\det A_1 = a_{11}$) deve essere negativo, il secondo positivo; "tutti negativi" è sbagliato.
• Dimenticare il 2 del termine misto scrivendo Taylor in due variabili: è $2f_{xy}hk$.