selezione di un modello
selezione di un modello
Scelta di un modello statistico, all’interno di una classe, abitualmente effettuata in base alla sua rispondenza all’adattamento ai dati e alla previsione. Per illustrare le procedure di s. si fa riferimento di seguito a modelli di regressione lineare (➔ regressione, modelli e stimatori di). La maggior parte dei criteri usati per la scelta si basa sulla comparazione di più modelli possibili.
Criteri basati sulla bontà di adattamento
Si possono confrontare modelli diversi tramite il coefficiente di determinazione R2 (➔ determinazione, coefficiente di) o, il che è equivalente, la somma dei quadrati dei residui di regressione (➔ residuo statistico). L’R2 però aumenta se vengono aggiunti nuovi regressori al modello, non tiene cioè conto della complessità del modello di regressione. Per ovviare a questo limite, si può usare l’R2 corretto, indicato con R−2, che penalizza un numero elevato K di regressori, ed è definito dalla formula R−2=1−(1−R2)(N−1)/(N−K−1). Scegliere il modello che ha R2 corretto minimo equivale a indicare come migliore quello per cui è minima la classica stima non distorta della varianza degli errori di regressione. La generalizzazione dell’R2 al caso di modelli nonlineari è una misura chiamata pseudo-R2, la cui definizione dipende dalla verosimiglianza massimizzata (➔ verosimiglianza massima, metodo della).
Stepwise regression
È la procedura automatica per la scelta dei regressori da includere in un modello di regressione che, generalmente, si avvale dell’applicazione di una sequenza di test F (➔ F, test).
Criteri basati sulla capacità predittiva
Il metodo Cp è un procedimento di s. per modelli lineari di regressione basato sul confronto di stime non distorte dell’errore di predizione quadratico medio (Mean Squared Prediction Error, MSPE) di ciascun modello. Esso consiste nella minimizzazione della somma di due termini: il primo diminuisce all’aumentare del numero p di regressori ed è uguale alla somma dei quadrati degli errori di regressione, il secondo, invece, è una penalizzazione per il numero di regressori che dipende anche dal numero di osservazioni.
Cross-validazione
Tecnica numerica basata sulla suddivisione del campione in un ‘insieme di training’, utilizzato per il calcolo delle stime, e uno di ‘validazione’, usato per valutare la capacità predittiva che hanno i diversi modelli stimati (➔ ricampionamento, metodi di).
Criterio di Akaike e sue alternative
Per la selezione di un modello a scopi predittivi sono molto usati i criteri basati su misure di informazione, in particolare sulla cosiddetta divergenza di Kullback-Leibler. Per illustrare il più noto di essi, il criterio di Akaike (AIC), occorre considerare un modello statistico parametrico (➔ modello statistico) FΘ={f(x; θ), θ,Θ}per la distribuzione (➔ distribuzione di probabilità) di una popolazione X. Si indichi con f0 la ‘vera’ distribuzione di X, in genere ignota. Se f appartiene al modello FΘ, la divergenza di K-L tra f0 e FΘ misura la perdita attesa (➔ perdita, funzione di) dovuta alla ‘approssimazione’ di f0 con un elemento di FΘ. Tale perdita non può essere calcolata perché f0 non è nota, ma può essere stimata. Il criterio AIC consiste nello scegliere, tra due o più modelli statistici, quello a cui corrisponde la perdita attesa stimata minima. Operativamente, ciò si ottiene calcolando, per ciascun modello disponibile, la differenza tra la logverosimiglianza massimizzata e il numero dei parametri inclusi, e scegliendo il modello per il quale questa differenza è massima. A differenza del confronto diretto delle logverosimiglianze massimizzate, il criterio di Akaike tiene conto del numero di parametri di un modello, penalizzando quelli con un numero elevato di parametri. Così, se due modelli hanno la stessa verosimiglianza massima, è quello più parsimonioso a essere scelto. La penalizzazione è tuttavia piuttosto bassa, ed è inoltre indipendente dalla numerosità campionaria. Ciò comporta una tendenza del criterio AIC a favorire modelli più complessi del necessario. Per questo motivo sono stati proposti metodi alternativi all’AIC, che introducono una diversa penalizzazione per il numero di parametri. Tra questi figurano il BIC (Bayesian Information Criterion), detto anche criterio di Schwarz, e il DIC (Deviance Information Criterion).