Salta al contenuto
Note per Studenti Funzioni convesse in più variabili

Funzioni convesse in più variabili

In questa pagina 5

Prerequisiti: Matrice hessiana e formula di Taylor in più variabiliLe derivate seconde ∂²f/∂xj∂xi formano la matrice hessiana Hf; per il teorema di Schwarz (derivate miste continue) è simmetrica. Taylor al secondo ordine: f(x0 + h) = f(x0) + ∇f(x0)·h + ½ hᵀHf(x0)h + o(‖h‖²). Una matrice simmetrica è definita positiva/negativa, semidefinita o indefinita a seconda del segno della forma quadratica hᵀAh; si riconosce con gli autovalori o con i minori principali (in 2×2: determinante e primo elemento).Matrice hessiana e formula di Taylor in più variabili →, Massimi e minimi liberi in più variabiliSe f è differenziabile e ha un estremo relativo in un punto interno x0, allora ∇f(x0) = 0 (Fermat): gli estremi interni vanno cercati tra i punti critici. Se f è C², in un punto critico: hessiana definita positiva → minimo, definita negativa → massimo, indefinita → sella, semidefinita → il test non decide e si studia il segno di f(x) − f(x0). In due variabili: det H > 0 e fxx > 0 minimo, det H > 0 e fxx < 0 massimo, det H < 0 sella.Massimi e minimi liberi in più variabili →, Differenziabilità e gradientef è differenziabile in x0 se f(x) = f(x0) + ∇f(x0)·(x − x0) + o(‖x − x0‖): vicino a x0 il grafico si confonde con il piano tangente z = f(x0) + ∇f(x0)·(x − x0). Differenziabile ⇒ continua, derivabile e D_v f = ∇f·v; derivate parziali continue ⇒ differenziabile. Il gradiente indica la direzione di massima crescita (pendenza ‖∇f‖) ed è ortogonale alle curve di livello.Differenziabilità e gradiente →.

In una variabile una funzione è convessa quando il grafico "tiene l'acqua", e si riconosce dal segno di f′′f''. Qui la stessa idea vale con l'hessiana al posto di f′′f'', ed è utile perché per le funzioni convesse la ricerca dei minimi è molto più semplice: un punto critico è già un minimo globale, senza studiare la frontiera o il comportamento all'infinito.

Insiemi convessi e definizione

Un insieme C⊆RnC\subseteq\mathbb{R}^n è convesso se per ogni x,y∈Cx,y\in C il segmento che li unisce, {tx+(1−t)y: t∈[0,1]}\{tx+(1-t)y:\ t\in[0,1]\}, sta in CC. Sono convessi un disco, un semipiano, un rettangolo, tutto Rn\mathbb{R}^n; non lo sono una corona circolare o l'unione di due dischi disgiunti.

Definizione. Sia CC convesso. f:C→Rf:C\to\mathbb{R} è convessa se per ogni x,y∈Cx,y\in C e t∈[0,1]t\in[0,1] f(tx+(1−t)y)≤t f(x)+(1−t) f(y).f\bigl(tx+(1-t)y\bigr)\le t\,f(x)+(1-t)\,f(y). È strettamente convessa se la disuguaglianza è stretta per x≠yx\ne y e t∈ ]0,1[t\in\,]0,1[.

Significato: ristretta a un segmento, ff sta sotto la corda che unisce i valori agli estremi. Esempi: ∥x∥2=x12+⋯+xn2\|x\|^2=x_1^2+\dots+x_n^2 è strettamente convessa; ogni funzione lineare è convessa (con l'uguaglianza); la somma di funzioni convesse è convessa; il massimo di due funzioni convesse è convessa. Una funzione gg convessa di una variabile composta con una funzione lineare, f(x)=g(a⋅x)f(x)=g(a\cdot x), è convessa.

Caratterizzazione con il gradiente

Teorema. Sia ff differenziabile su un aperto convesso CC. Allora ff è convessa se e solo se per ogni x,y∈Cx,y\in C f(y)≥f(x)+∇f(x)⋅(y−x).f(y)\ge f(x)+\nabla f(x)\cdot(y-x).

Cioè il grafico di ff sta sopra il piano tangente in ogni punto (vedi il piano tangente in Differenziabilità e gradientef è differenziabile in x0 se f(x) = f(x0) + ∇f(x0)·(x − x0) + o(‖x − x0‖): vicino a x0 il grafico si confonde con il piano tangente z = f(x0) + ∇f(x0)·(x − x0). Differenziabile ⇒ continua, derivabile e D_v f = ∇f·v; derivate parziali continue ⇒ differenziabile. Il gradiente indica la direzione di massima crescita (pendenza ‖∇f‖) ed è ortogonale alle curve di livello.Differenziabilità e gradiente →).

Perché (la parte "convessa ⇒ disuguaglianza"). Per t∈ ]0,1]t\in\,]0,1] la convessità dà f(x+t(y−x))≤(1−t)f(x)+tf(y)f(x+t(y-x))\le(1-t)f(x)+tf(y), cioè f(x+t(y−x))−f(x)≤t (f(y)−f(x))f(x+t(y-x))-f(x)\le t\,(f(y)-f(x)). Dividendo per t>0t>0 e facendo t→0+t\to0^+, il primo membro tende alla derivata direzionale ∇f(x)⋅(y−x)\nabla f(x)\cdot(y-x): si ottiene ∇f(x)⋅(y−x)≤f(y)−f(x)\nabla f(x)\cdot(y-x)\le f(y)-f(x).

Conseguenza fondamentale. Se ff è convessa e ∇f(x0)=0\nabla f(x_0)=0, la disuguaglianza diventa f(y)≥f(x0)f(y)\ge f(x_0) per ogni yy: x0x_0 è un punto di minimo globale. Se ff è strettamente convessa il minimo è unico.

Caratterizzazione con l'hessiana

Teorema. Sia ff di classe C2C^2 su un aperto convesso CC.

  • ff è convessa se e solo se la matrice hessiana Hf(x)H_f(x) è semidefinita positiva in ogni punto x∈Cx\in C.
  • Se Hf(x)H_f(x) è definita positiva in ogni punto, ff è strettamente convessa. Il viceversa è falso: f(x)=x4f(x)=x^4 è strettamente convessa ma f′′(0)=0f''(0)=0.

Perché. Si restringe ff a una retta: φ(s)=f(x+sv)\varphi(s)=f(x+sv). Allora φ′′(s)=vTHf(x+sv) v\varphi''(s)=v^TH_f(x+sv)\,v (regola della catena applicata due volte, Matrice jacobiana e derivata delle funzioni compostePer F: Rn → Rm, F = (f1, …, fm), la matrice jacobiana JF è la matrice m × n con (JF)ij = ∂fi/∂xj: la riga i è il gradiente di fi. Regola della catena: J(f∘g)(x) = Jf(g(x)) · Jg(x); casi frequenti d/dt f(γ(t)) = ∇f(γ(t))·γ'(t) e ∂f/∂x = f_u u_x + f_v v_x. Se det JF(x0) ≠ 0, F è invertibile vicino a x0 e J(F⁻¹) = (JF)⁻¹. Coordinate polari: det J = ρ.Matrice jacobiana e derivata delle funzioni composte →). La funzione ff è convessa su ogni segmento se e solo se ogni φ\varphi è convessa in una variabile, cioè φ′′≥0\varphi''\ge0, cioè vTHf v≥0v^TH_f\,v\ge0 per ogni vv: è la definizione di semidefinita positiva.

Come si controlla in due variabili. H=(abbc)H=\begin{pmatrix}a&b\\b&c\end{pmatrix} è semidefinita positiva se e solo se a≥0a\ge0, c≥0c\ge0 e det⁡H=ac−b2≥0\det H=ac-b^2\ge0; è definita positiva se a>0a>0 e det⁡H>0\det H>0 (criterio di Sylvester, Matrice hessiana e formula di Taylor in più variabiliLe derivate seconde ∂²f/∂xj∂xi formano la matrice hessiana Hf; per il teorema di Schwarz (derivate miste continue) è simmetrica. Taylor al secondo ordine: f(x0 + h) = f(x0) + ∇f(x0)·h + ½ hᵀHf(x0)h + o(‖h‖²). Una matrice simmetrica è definita positiva/negativa, semidefinita o indefinita a seconda del segno della forma quadratica hᵀAh; si riconosce con gli autovalori o con i minori principali (in 2×2: determinante e primo elemento).Matrice hessiana e formula di Taylor in più variabili →).

Attenzione alla differenza con i punti critici. Per classificare un punto critico basta l'hessiana in quel punto. Per la convessità serve l'hessiana in tutti i punti del dominio.

Esempi svolti

Esempio 1. f(x,y)=x2+xy+y2f(x,y)=x^2+xy+y^2 su R2\mathbb{R}^2. H=(2112)H=\begin{pmatrix}2&1\\1&2\end{pmatrix} è costante, con a=2>0a=2>0 e det⁡=4−1=3>0\det=4-1=3>0: definita positiva ovunque, ff è strettamente convessa. L'unico punto critico è (0,0)(0,0) (∇f=(2x+y, x+2y)=0\nabla f=(2x+y,\,x+2y)=0), quindi è l'unico minimo globale, f(0,0)=0f(0,0)=0.

Esempio 2: l'hessiana dipende dal punto. f(x,y)=ex+y+x2f(x,y)=e^{x+y}+x^2. Con s=x+ys=x+y: fxx=es+2f_{xx}=e^s+2, fxy=esf_{xy}=e^s, fyy=esf_{yy}=e^s, quindi H=(es+2eseses)H=\begin{pmatrix}e^s+2&e^s\\e^s&e^s\end{pmatrix} e det⁡H=(es+2)es−e2s=2es>0,fxx=es+2>0per ogni (x,y).\det H=(e^s+2)e^s-e^{2s}=2e^s>0,\qquad f_{xx}=e^s+2>0\quad\text{per ogni }(x,y). Definita positiva ovunque: ff è strettamente convessa su R2\mathbb{R}^2. Non ha però punti critici (fy=ex+y>0f_y=e^{x+y}>0): una funzione convessa può non avere minimo.

Esempio 3: convessa solo su una parte del piano. f(x,y)=x3+y2f(x,y)=x^3+y^2: H=(6x002)H=\begin{pmatrix}6x&0\\0&2\end{pmatrix}, det⁡H=12x\det H=12x. È semidefinita positiva se e solo se x≥0x\ge0: ff è convessa sul semipiano chiuso {x≥0}\{x\ge0\} (che è convesso) e non su tutto R2\mathbb{R}^2.

Esempio 4: semidefinita ma non definita. f(x,y)=(x−y)2f(x,y)=(x-y)^2: H=(2−2−22)H=\begin{pmatrix}2&-2\\-2&2\end{pmatrix}, det⁡=0\det=0, a=2>0a=2>0: semidefinita positiva. ff è convessa ma non strettamente (è costante lungo le rette x−y=costx-y=\text{cost}), e i punti critici sono tutti i punti della retta x=yx=y, tutti minimi globali (f=0f=0).

Esempio 5: minimo globale senza convessità. f(x,y)=x4+y4−xyf(x,y)=x^4+y^4-xy ha det⁡H=144x2y2−1\det H=144x^2y^2-1, che in (0,0)(0,0) vale −1-1: l'hessiana è indefinita lì, ff non è convessa su R2\mathbb{R}^2. Eppure ha minimo globale −18-\frac18 (si vede dalla coercività, Massimi e minimi assoluti su insiemi compattiTeorema di Weierstrass: una funzione continua su un compatto (chiuso e limitato) di Rn ha massimo e minimo assoluti. Si trovano confrontando i valori nei punti critici interni, nei punti critici delle restrizioni ai pezzi della frontiera (parametrizzati) e nei vertici. Su un insieme chiuso illimitato, se f → +∞ all'infinito il minimo esiste e il massimo no.Massimi e minimi assoluti su insiemi compatti →). Nei punti ±(12,12)\pm\left(\frac12,\frac12\right) l'hessiana è definita positiva, ma questo basta solo per dire che sono minimi locali: per la convessità servirebbe ovunque.

Errori comuni

  • Verificare l'hessiana in un punto solo e concludere che ff è convessa.
  • Confondere semidefinita e definita: det⁡H=0\det H=0 non esclude la convessità (esempio 4), ma non dà la stretta convessità.
  • Pensare che definita positiva sia necessaria per la stretta convessità (x4x^4).
  • Dimenticare l'insieme: la convessità si dichiara su un insieme convesso (esempio 3).
  • Dedurre "ha un minimo" dalla convessità: garantisce solo che un punto critico, se esiste, è un minimo globale.

Versione ripasso

  • Insieme convesso: contiene il segmento tra due punti. Funzione convessa su CC convesso: f(tx+(1−t)y)≤tf(x)+(1−t)f(y)f(tx+(1-t)y)\le tf(x)+(1-t)f(y), t∈[0,1]t\in[0,1] (grafico sotto le corde); stretta se << per x≠yx\ne y.
  • Con il gradiente (ff differenziabile, CC aperto convesso): ff convessa   ⟺  f(y)≥f(x)+∇f(x)⋅(y−x)\iff f(y)\ge f(x)+\nabla f(x)\cdot(y-x) (grafico sopra i piani tangenti). Conseguenza: ∇f(x0)=0⇒x0\nabla f(x_0)=0\Rightarrow x_0 minimo globale (unico se ff strettamente convessa).
  • Con l'hessiana (f∈C2f\in C^2, CC aperto convesso): ff convessa   ⟺  Hf(x)\iff H_f(x) semidefinita positiva in ogni punto (perché φ(s)=f(x+sv)\varphi(s)=f(x+sv) ha φ′′=vTHfv\varphi''=v^TH_fv); HfH_f definita positiva ovunque ⇒\Rightarrow strettamente convessa (non viceversa: x4x^4). In 2 variabili: semidefinita   ⟺  a≥0\iff a\ge0, c≥0c\ge0, det⁡≥0\det\ge0; definita   ⟺  a>0\iff a>0, det⁡>0\det>0.
  • Esempi: x2+xy+y2x^2+xy+y^2: det⁡H=3\det H=3, minimo globale in (0,0)(0,0). ex+y+x2e^{x+y}+x^2: det⁡H=2ex+y>0\det H=2e^{x+y}>0, strettamente convessa, senza punti critici. x3+y2x^3+y^2: det⁡H=12x\det H=12x, convessa su x≥0x\ge0. (x−y)2(x-y)^2: det⁡H=0\det H=0, convessa non strettamente, minimi sulla retta x=yx=y. x4+y4−xyx^4+y^4-xy: non convessa (det⁡H=−1\det H=-1 in 00), minimo globale −18-\frac18 per coercività.
  • Errori: hessiana controllata in un solo punto; scambiare semidefinita e definita.