STATISTICA

STATISTICA

(XXXII, p. 506; App. I, p. 1018; IV, III, p. 447)

''Statistica'' è un termine con un significato amplissimo sia per la varietà delle applicazioni sia per le possibilità d'impiego dei suoi strumenti. Gran parte del pensiero scientifico ne adotta il linguaggio e le proposte metodologiche. Le definizioni che vengono date di s. sono numerosissime. Ciò non deve meravigliare, poiché la s. soddisfa esigenze di scienze diverse e trae origine da vari filoni di ricerca. Giova ricordare al riguardo che lo stesso termine ''statistica'', derivato da ''stato'' nel senso di comunità politicamente organizzata, non rispecchia il contenuto attuale della disciplina, essendo stato proposto nel secolo 18° per indicare una materia di studio, nata nelle università tedesche, consistente nella ''descrizione comparata'' degli stati, mediante l'analisi, da un punto di vista essenzialmente qualitativo, dei fattori storico-geografici, socio-economici e politici. Da quanto detto emerge che, se volessimo fornire una definizione della s., ci troveremmo presto in difficoltà. Preferiamo, pertanto, rinunciare a questo compito e limitarci a presentare il campo di studio e le finalità della statistica.

Tale campo è costituito dal complesso degli strumenti concettuali, delle tecniche e dei procedimenti matematici che servono alla descrizione, all'analisi di fatti osservati e alla miglior utilizzazione delle informazioni che essi forniscono ai fini della previsione di fatti non osservati. A scopo puramente espositivo seguiremo l'usuale distinzione della s. in s. descrittiva e s. inferenziale.

Statistica descrittiva. - Nella s. descrittiva si collocano le metodologie riguardanti la raccolta e la sistemazione delle principali informazioni attinenti al fenomeno studiato rappresentato dall'aggregato dei dati a disposizione. I metodi statistici che sono stati sviluppati in letteratura e che fanno parte della s. descrittiva si propongono di a) effettuare un'analisi dei dati per scoprirne la struttura e le anomalie (analisi esplorativa); b) operare una sintesi dei dati in modo da far emergere e chiarire le caratteristiche essenziali (analisi descrittiva). In questa sede si accennerà ai problemi relativi all'analisi esplorativa, mentre per l'analisi descrittiva v. la voce specifica in questa Appendice. Ricordiamo solamente che l'insieme degli argomenti che vanno sotto il nome di analisi descrittiva sono i seguenti: a) classificazione dei caratteri statistici, loro distribuzioni e rappresentazioni; b) determinazione di indici sintetici delle principali caratteristiche delle distribuzioni unidimensionali (medie, indici di variabilità, indici di concentrazione, indici di forma); c) determinazione di indici sintetici delle principali caratteristiche delle distribuzioni bidimensionali e multidimensionali (indici di dipendenza, coefficienti di correlazione e simili).

Analisi esplorativa. L'analisi esplorativa dei dati riguarda l'organizzazione, la sintesi e la presentazione dei dati stessi, per renderli più comprensibili e per meglio scoprirne la struttura e determinarne le tendenze. Tali obiettivi sono sempre stati centrali nella ricerca scientifica. Nel periodo 1960-70 l'analisi esplorativa dei dati ha avuto una ripresa per opera di J.W. Tukey, il cui libro Exploratory data analysis (1970, 1977²) ha fornito una dettagliata introduzione al problema. Lo sviluppo dell'analisi esplorativa è stato aiutato dalla crescente capacità degli elaboratori elettronici nel calcolo e probabilmente ancor più dalla possibilità di un'efficiente rappresentazione grafica. I calcolatori hanno altresì reso possibile la raccolta e l'organizzazione di un'enorme massa di dati.

Generalmente, in letteratura, l'analisi dei dati è suddivisa in analisi preliminare (o esplorativa dei dati), e analisi definitiva. Mentre l'analisi definitiva è spesso basata su un modello probabilistico e può comprendere problemi riguardanti la stima dei parametri e la prova delle ipotesi, quella preliminare si propone di chiarire la struttura dei dati e di ottenerne una semplice descrizione. Seguendo C. Chatfield (1988) possiamo dire che nell'analisi preliminare dei dati si possono individuare le seguenti fasi: a) predisposizione dei dati in una forma utile alle analisi successive; b) verifica della qualità dei dati. È importante accertare l'esistenza di errori, osservazioni mancanti o altre particolarità; c) esame di eventuali modifiche da apportare ai dati (per es., eliminazione di errori o trasformazione di una o due variabili); d) calcolo di alcuni indici sintetici quali la media o lo scarto quadratico medio.

Durante il procedimento di ''esplorazione'' dei dati quattro temi vengono affrontati separatamente e spesso combinati tra loro: analisi della resistenza, analisi dei residui, riespressione dei dati e rappresentazione dei dati.

L'analisi della resistenza si propone di verificare se un cambiamento arbitrario in qualsiasi piccola parte dei dati provoca cambiamento sensibile nelle tecniche di analisi. Per es., nel sintetizzare i dati si può utilizzare sia la media che la mediana, ma mentre la mediana è molto resistente, la media è fortemente non resistente. Perciò numerose tecniche di analisi esplorativa dei dati si basano sulla mediana. La resistenza va distinta dalla robustezza, che implica, generalmente, insensibilità all'allontanamento dalle assunzioni che sorreggono il modello probabilistico sottostante.

L'analisi dei residui è necessaria affinché l'analisi di un insieme di dati sia completa. L'importanza attribuita all'analisi dei residui riflette la tendenza delle analisi resistenti a fornire una netta separazione tra il comportamento prevalente e il comportamento non usuale dei dati. Quando la maggior parte dei dati segue un determinato disegno, essa determina un adattamento resistente. I residui allora tengono conto di ogni drastico allontanamento dal disegno, come pure delle abituali fluttuazioni. Residui non usuali suggeriscono di esaminare le circostanze che sottostanno a quelle osservazioni.

La riespressione dei dati osservati con l'uso di una diversa scala può aiutare a semplificare l'analisi dei dati stessi. L'analisi esplorativa sottolinea i benefici che si possono avere, qualora la scala originaria non sia soddisfacente, con un cambiamento di scala. Ciò può aiutare a creare simmetria, variabilità costante, additività degli effetti, dipendenza dalla struttura dei dati. Le trasformazioni usate nell'analisi esplorativa provengono, molto spesso, dalla famiglia di funzioni note come ''trasformazioni di potenza'', che trasformano y in y^p, unitamente alle ''trasformazioni logaritmiche''.

La rappresentazione dei dati fornita dalle nuove tecniche grafiche rappresenta il contributo maggiore all'analisi esplorativa. I grafici esplorativi sono usati come ausilio per diagnosticare le caratteristiche dei dati e per suggerire, talvolta, analisi statistiche appropriate e anche modelli (McNeil 1977; Erickson e Nosanchuck 1977; Chatfield 1985).

Il problema dell'induzione in statistica. - Probabilità e induzione. Ancora oggi si assiste a un acceso dibattito sui fondamenti del ragionamento induttivo e a una divisione nell'impostazione e nella risoluzione di questioni più propriamente tecniche. Analoghe divisioni si ripetono nel campo della teoria della probabilità; anzi il dibattito a cui assistiamo in s. è principalmente originato dalle diverse concezioni della probabilità. Si può dire, estremizzando, che a ogni idea di probabilità corrisponda una proposta induttiva. La causa nascosta di molte discussioni sull'inferenza statistica (v. in questa Appendice) è proprio rappresentata dal mancato riconoscimento di tale diversità di atteggiamento sulla probabilità.

S>cPer quanto riguarda l'aspetto più propriamente matematico, le idee sulla probabilità non sono fortemente discordanti (l'unico punto in discussione è se le funzioni debbano essere finitamente additive o completamente additive). Il nucleo della discordia concerne invece il significato della nozione di probabilità, e può essere sintetizzato nel ricordare che da un lato vi sono concezioni secondo cui, per elevare a rango scientifico la probabilità, si deve depurarla di tutti gli elementi soggettivi che la riguardano e la caratterizzano; dall'altro vi sono quelle concezioni che, non solo non ritengono tali elementi come causa di disturbo, ma ne fanno il punto di partenza per la definizione e la conseguente teoria matematica. Dal punto di vista filosofico, le concezioni del primo tipo (oggettive) ritengono la probabilità come elemento del mondo fisico, esistente fuori di ciascuno di noi; le concezioni del secondo tipo (soggettive) ritengono che la probabilità, esprimendo in ogni caso un'opinione personale, venga a esistenza solo nel momento in cui il giudizio del soggetto viene a contatto di date circostanze concrete, incerte. È così che la probabilità acquista significato solo in funzione di un dato individuo in specificate situazioni. L'inferenza statistica classica fa riferimento alla concezione di probabilità con un significato oggettivo e quindi indissolubilmente ancorato alla nozione di frequenza, mentre l'inferenza bayesiana trova un valido e rigoroso riferimento principalmente nella concezione soggettiva della probabilità.

Soffermiamoci allora brevemente sulle definizioni di probabilità frequentista e probabilità soggettivista facendo riferimento rispettivamente a quelle enunciate da R. von Mises e da B. de Finetti. La definizione di von Mises passa attraverso l'introduzione di due proprietà a cui devono soddisfare le successioni di eventi oggetto di studio designate con il termine ''collettivo''. Tali proprietà sono le seguenti: 1) le frequenze relative con cui ciascuno dei possibili risultati si presenta in un numero finito di prove tendono a dei valori limite, detti probabilità o frequenza limite, al tendere del numero delle prove all'infinito; 2) tali frequenze limite rimangono inalterate se, anziché la successione originale, se ne considera una estratta da essa in un modo qualunque ma ben precisato. Dall'impiego di questi due assiomi discende che la probabilità è una funzione semplicemente additiva sugli esiti delle prove, a valori reali in [0, 1], essendo unitaria la probabilità dell'evento certo.

Secondo i soggettivisti la probabilità rappresenta una misura del grado di plausibilità che un individuo assegna a un dato evento (incerto). Nell'impostazione di de Finetti, quando si parla di evento s'intende un fatto singolo. La definizione numerica del grado di plausibilità assegnato da un individuo a un evento ben determinato avviene mediante lo schema della scommessa. Tale schema svolge nella teoria il ruolo di strumento di misura, perché in ogni occasione è possibile valutare la probabilità di un evento riferendosi a una scommessa ipotetica che lo coinvolga, e la definizione che ne discende è operativa. Dato un evento E si dice probabilità di E, P(E)=p, il prezzo p che un individuo è disposto a pagare (ricevere) per riscuotere (pagare) un importo monetario unitario se E si verifica, e nulla se E non si verifica. L'alternativa della precedente definizione sta a significare che la valutazione della probabilità non deve cambiare se l'individuo scambia il suo ruolo da scommettitore a banco. Ma tale valutazione, oltre alla precedente restrizione, deve anche soddisfare al principio di ''coerenza'' secondo il quale la scommessa non deve dar luogo a guadagni (perdite) certi.

Dopo aver esposto sommariamente due delle impostazioni che partono dal significato di probabilità presentiamo in breve l'impostazione assiomatica dovuta ad A.N. Kolmogorov (1933), la cui convinzione di fondo si regge sul fatto che la teoria della probabilità può essere sviluppata assiomaticamente prescindendo dalle questioni inerenti il significato di probabilità. Kolmogorov mostrò che la teoria della probabilità si occupa di entità astratte che non necessitano, almeno a livello di sviluppo della teoria, di alcuna interpretazione. Il punto di partenza è la considerazione di un insieme di elementi, detto spazio dei risultati, indicato con Z, e di una classe di sottoinsiemi (eventi) di Z. Quando l'insieme dei risultati Z è finito oppure infinito ma numerabile, ogni suo sottoinsieme può considerarsi evento. Se però Z è infinito non numerabile sorgono delle difficoltà dovute al fatto che non tutti i suoi sottoinsiemi possono considerarsi eventi. Allora, in vista dell'assegnazione della probabilità, dobbiamo restringere la classe di sottoinsiemi di Z che devono essere considerati eventi. Tale nuova classe, indicata con A, deve tuttavia essere sufficientemente ampia da permettere di operare con le operazioni di unione, intersezione e complemento sui suoi elementi senza uscire dalla classe stessa. Una tale famiglia di sottoinsiemi di Z è detta σ−algebra. Comunque sia fissata la classe A, i suoi elementi sono detti insiemi misurabili, ed è solo a questi che sarà possibile attribuire la qualifica di eventi e assegnare una probabilità. La coppia (Z, A) si dice spazio misurabile. La definizione di probabilità P viene fissata mediante i seguenti assiomi:

1) a ogni elemento EεA si associa un numero reale P(E)≥0; 2) per l'evento Z si ha: P(Z) = 1; 3) per ogni successione di eventi E₁, E₂, ..., εA a due a due incompatibili si ha:

Fasi dello sviluppo dell'inferenza statistica. Da un punto di vista storico si possono individuare tre fasi nello sviluppo dell'inferenza statistica: a) in una prima fase vi fu una rapida affermazione della teoria bayesiana, molta leggerezza nell'applicazione e conseguente discredito e abbandono di tale concezione; b) in una seconda fase vi fu la ricerca di altre vie per affrontare e impostare i problemi dell'inferenza statistica (sviluppo dell'impostazione classica o oggettivistica); c) nella terza fase affiorano le insufficienze dell'impostazione classica e vi è una revisione del giudizio sulle teorie bayesiane.

Nella prima fase, importanza decisiva ebbero le discussioni sull'impostazione data da Bayes. Il punto cruciale di tutte le discussioni fu quello che viene spesso indicato come ''postulato di Bayes'', o ''principio d'indifferenza'' quello dell'uniforme distribuzione a priori. Caduta in discredito l'induzione statistica bayesiana, a causa dell'insoddisfazione per il principio d'indifferenza a cui si era fatto ricorso in maniera indiscriminata, gli statistici s'impegnarono a ricercare procedimenti convenienti d'inferenza statistica di tipo nuovo, che non facessero riferimento, almeno in via esplicita, alla formula di Bayes.

La preoccupazione di giungere a una spiegazione oggettiva della s. costituisce la principale idea direttiva durante il grandissimo sviluppo che la nostra disciplina ha avuto nel 20° secolo. Si può parlare di un vero e proprio rinascimento della s. che incomincia specialmente in Inghilterra, e le cui radici sono rintracciabili negli studi di F. Galton, K. Pearson, R.A. Fisher, W.S. Gosset e di altri eminenti studiosi. In seguito si è sviluppata una scuola di cui si sogliono nominare, come principali esponenti, J. Neyman ed E.S. Pearson. La caratteristica di tutto questo movimento era l'insistenza sull'oggettività. Il ragionamento induttivo derivante dal teorema di Bayes veniva rifiutato nell'assunto che le probabilità iniziali non esistono, in quanto s'intendeva la probabilità come frequenza o meglio come il ''limite'' di una frequenza.

La questione invece della distinzione se si tratti di pensare o agire in senso induttivo divide in due i sostenitori della scuola classica. Da una parte vi è Fisher, dall'altra Neyman e Pearson. Neyman distingue nettamente la stima dei parametri dalla prova delle ipotesi e afferma che nessun test statistico può consentire di rifiutare un'ipotesi se non attraverso il paragone con un'altra ipotesi. Neyman e Pearson partono dall'assunto che nessun test può dare evidenza alla verità o falsità di una singola ipotesi. L'ipotesi viene respinta solo a vantaggio di un'altra più verosimile alla luce dei dati, facendo dell'atto inferenziale una ''regola di condotta''. Neyman osserva che accettare un'ipotesi non significa necessariamente affermare che è vera, ma solo che si adotterà un'azione connessa con quell'ipotesi in un particolare problema. Perciò Neyman parla di "comportamento induttivo" in contrapposizione all'inferenza induttiva elaborata da Fisher, e rifiuta l'impostazione bayesiana proprio sostenendo che non si tratta di fare un ragionamento induttivo.

La sempre più stretta connessione tra stima e decisioni non poteva non preparare a una logica decisionale. Sarà A. Wald a contribuire, sebbene involontariamente, a superare la prevenzione degli oggettivisti contro l'impostazione bayesiana soprattutto rendendo più effettivo il vedere i problemi secondo un comportamento induttivo. Nel 1937 Wald propone l'analisi sequenziale e nel 1950 approda alla teoria delle decisioni. Uno dei risultati più importanti della sua teoria mostra che, sotto condizioni molto generali, le ''decisioni ammissibili'' sono quelle bayesiane, vale a dire che "la classe di tutte le soluzioni di Bayes e dei limiti delle soluzioni bayesiane" è una classe completa, cioè una classe che contiene almeno una funzione di decisione "uniformemente migliore" di qualunque altra non appartenente a essa. Ciò significa che la soluzione ottimale da dare a un problema di decisione va ricercata tra le soluzioni di Bayes. Si può concludere che Wald con la sua impostazione aveva incontrato tutto ciò che occorreva per obbligare il ritorno alla concezione bayesiana.

I problemi tipici dell'inferenza statistica. Se effettuiamo un esperimento σ, in una data situazione, possiamo ottenere evidentemente diversi risultati; i dati che si ottengono effettivamente dall'esperimento costituiscono pertanto solo un punto di uno spazio di possibili dati. È abbastanza naturale allora impostare l'analisi su tale spazio, insieme dei possibili risultati sperimentali, che indichiamo con Z. Per effettuare un'analisi statistica occorre dotare Z di una struttura matematica. Lo spazio Z viene reso misurabile associandolo a un'appropriata σ−algebra A. In questo contesto un modello statistico probabilistico per l'esperimento ζ è una terna (Z, A, P), ove P è una famiglia di misure di probabilità sullo spazio misurabile (Z, A). L'elemento essenziale del modello statistico è proprio P. I dati z, zεZ che si ricavano da ζ, una volta che l'esperimento è stato condotto, costituiscono la premessa per inferire su P. Le misure di probabilità P possono essere indicizzate da un parametro θ, θεΘ:

P = (P_u:θεΘ)

cioè a ogni θ è associata una misura di probabilità P_θ che assegna la probabilità ai sottoinsiemi di A. Θ è detto spazio dei parametri. Nel seguito supporremo che le misure di probabilità possano essere descritte mediante una funzione di densità p(z∣θ). In questo caso il modello statistico può essere presentato nella forma semplificata:

(Z, p(z∣θ), θεΘ)

Per ogni scelta di θ in Θ selezioniamo una funzione di densità che regola il meccanismo aleatorio che genera i risultati sperimentali. Quando Θ è un sottoinsieme di uno spazio euclideo, il modello viene detto parametrico, altrimenti viene detto non parametrico.

È ovvio che se non si avessero incertezze intorno ai possibili valori di θ, vale a dire Θ contiene un solo elemento, non si avrebbe alcun problema statistico poiché saremmo in grado di calcolare la probabilità di un qualsiasi evento connesso con l'esperimento. In generale invece il modello prevede una duplice incertezza: a) circa il valore di θ; b) circa il dato sperimentale regolato dalla funzione di densità p(z∣θ), una volta scelto θ.

Supponiamo di effettuare un esperimento ζ e di ottenere come dato sperimentale: z*εZ. Evidentemente, ora, non c'è più incertezza sul dato sperimentale, mentre rimane l'incertezza su θ. I tipici problemi che si presentano nell'inferenza statistica sono quelli di stima e di prova delle ipotesi. Il problema della stima consiste nello scegliere un valore θεΘ che plausibilmente ha generato, attraverso il modello, l'osservazione z*. Il problema di prova delle ipotesi consiste nel ripartire l'insieme dei valori ammissibili Θ in due sottoinsiemi Θ₁ e Θ₂ e decidere se il parametro θ che ha generato l'osservazione zappartiene a Θ₁ oppure a Θ₂.

I problemi di stima e di prova delle ipotesi nella formalizzazione appena data considerano gli aspetti ipotetici del problema statistico. Nella sostanza in tali problemi si rivolge l'attenzione alla verifica dell'attendibilità di leggi che governano un dato fenomeno. Un altro problema statistico è quello che nel 1920 Pearson chiamava "The fundamental problem of practical statistics"; esso consiste nella previsione di nuove osservazioni sulla base di altre passate, e, a nostro avviso, è meglio individuabile nei suoi connotati probabilistici, potendo essere ridotto alla determinazione di una distribuzione predittiva. Di seguito verranno esposte le linee generali di alcuni dei metodi principali proposti per affrontare i problemi di stima (puntuale e per intervallo) e di verifica delle ipotesi statistiche sia nell'impostazione bayesiana sia nell'impostazione oggettivistica. Prima tuttavia presentiamo il criterio dell'utilità attesa, elemento centrale della teoria delle decisioni.

Il criterio dell'utilità attesa. Le tappe fondamentali in questa direzione di studio sono rappresentate dai contributi di D. Bernoulli (1738) e di F.P. Ramsey (1926; cfr. 1931), J. von Neumann e O. Morgenstern (1944) sulla teoria dei giochi e il comportamento economico, dalla sistemazione assiomatica dovuta a L.J. Savage (1954). L'argomento è stato trattato altresì in numerosi articoli da de Finetti (1952, 1964, 1967). Negli ultimi anni diversi sono i trattati di s. che si richiamano ai lavori citati; ricordiamo quelli di T.S. Ferguson (1967), M.H. De Groot (1970), J.O. Berger (1985), P.C. Fishburn (1970, 1982).

Supponiamo che lo statistico consideri uno spazio D delle possibili decisioni (per es.: stimatori di parametri, test di prova delle ipotesi, ecc.). La decisione viene assunta tenuto conto dell'espressione funzionale q(θ, d), definita su D⊂Θ, che esprime le conseguenze (guadagni o perdite) in forma monetaria derivanti dalla scelta della decisione d quando l'ipotesi θ è quella vera. Poiché siamo incerti sulla vera realizzazione del parametro θ, la funzione q(θ, d) è aleatoria, pertanto il problema della scelta ottimale della funzione d si può formulare come problema di ordinamento delle distribuzioni di probabilità di questi guadagni (perdite). Una decisione d è tanto migliore (peggiore) quanto maggiore (minore) risulta q(θ, d). Generalizzando, il problema della decisione può essere concepito come quello di scegliere la migliore distribuzione di probabilità sul guadagno aleatorio tra quelle della classe ξ delle distribuzioni unidimensionali ammissibili. Assumiamo che in tale classe vi siano tutte e soltanto le distribuzioni che hanno supporto limitato [a, b], e che tale classe sia chiusa rispetto alle combinazioni lineari convesse di suoi elementi. Il problema è dunque quello d'individuare una sintesi a valori reali degli elementi di ξ. Supponiamo che a ogni elemento F (funzione di ripartizione) di ξ sia possibile associare un numero reale G(F), funzionale della funzione di ripartizione F. Supponiamo inoltre che il funzionale G(F) soddisfi le seguenti proprietà: consistenza, monotonia e associatività. Tali condizioni, in virtù di un risultato di Nagumo-Kolmogorov-de Finetti, sono sufficienti per stabilire che esiste una funzione u continua e strettamente crescente, tale che:

L'espressione precedente rappresenta la forma più generale che deve assumere G(F) come strumento di decisione in condizioni d'incertezza se si vuole che siano rispettate le condizioni dette in precedenza. La funzione u(x) è detta funzione di utilità, e u(G(F)) è l'indice di utilità su ξ. Pertanto la scelta tra guadagni aleatori è affidata alla speranza matematica di una funzione dei guadagni la cui forma è legata all'avversione al rischio di chi decide. La determinazione di μ è quindi soggettiva.

Il problema che ci eravamo posti era quello di fissare un criterio per scegliere nell'ambito di ξ la distribuzione migliore. Fissata da parte del decisore la funzione di utilità, sia F_d la distribuzione di q(θ, d), si tratta di scegliere, se esiste, la decisione dper la quale risulti

con G(F) definito in precedenza, ovvero in modo che risulti massimo l'indice di utilità

ossia massimizzare l'utilità attesa.

Impostazione bayesiana nella risoluzione dei problemi di stima e di prova delle ipotesi. Sia (Z, p(z∣θ), θεΘ) il modello statistico. Dato θ, p(z∣θ) regola l'incertezza su z (dati sperimentali); supponendo ora di poter fare altrettanto per θ, assumiamo una legge di probabilità per il parametro θ che, per semplicità, assumeremo data sotto forma di densità: h(θ), θεΘ, che chiameremo densità iniziale. Una volta che ciò sia avvenuto, il problema è ancora quello di esprimere una misura di plausibilità dei valori di θ. Vale a dire: abbiamo inizialmente una certa probabilità che θ appartenga a un dato insieme B calcolata mediante la densità h(θ), osserviamo un risultato sperimentale z e ci chiediamo quale sia la probabilità che θεB dopo aver appreso tale risultato sperimentale. Come determinarla? Attraverso una densità di probabilità finale.

Per la determinazione esiste una risposta standard data dalla formula di Bayes, cioè:

dove h(θ) è la densità iniziale, p(z∣θ) è la verosimiglianza e h(θὅz) è la densità di probabilità finale ed esprime una densità di probabilità sui possibili valori di θ, da cui:

Come si vede, oltre alla verosimiglianza, un'analisi completa dei problemi statistici richiede l'individuazione della distribuzione iniziale del parametro. Un problema molto delicato ma di fondamentale importanza è, perciò, quello della scelta della distribuzione iniziale. A tal proposito si veda de Finetti e Savage (1962), Edwards, Lindman e Savage (1963), Jeffreys (1961³), Raiffa e Schlaifer (1961), Savage (1962). La scelta della distribuzione iniziale è soggettiva. Alcuni autori (Good 1956; Robbins 1955) hanno introdotto in letteratura l'impostazione empirico bayesiana, in cui la distribuzione iniziale ha un'interpretazione frequentista e la scelta è determinata dai dati.

La distribuzione finale esaurisce il problema dell'inferenza statistica in termini bayesiani. Esistono, tuttavia, situazioni in cui è utile ricercare una conveniente sintesi della distribuzione finale. La determinazione di questa sintesi può avvenire mediante il ricorso alla teoria delle decisioni. Se θ si distribuisce con funzione di ripartizione H(θ) e se x indica il vettore delle osservazioni (x₁, x₂,...,x_n), allora in base al criterio dell'utilità attesa discusso nel paragrafo precedente si sceglie la decisione d in modo che risulti massimo l'indice di utilità:

〈\007.0fr>

con u funzione di utilità espressa dal decisore che si suppone nulla in 0. È consuetudine in s. ragionare sulla perdita espressa in forma monetaria anziché sui guadagni. Pertanto, posto −u(q(θ, d)) = l(d, θ) (funzione di perdita), il problema della scelta della decisione ottimale è ricondotto a quello della ricerca della decisione dche rende minimo, quando esiste, il danno atteso finale (rischio finale):

ossia tale che:

Tale regola di decisione prende il nome di regola di decisione bayesiana, e il procedimento viene detto ''analisi bayesiana in forma estensiva''. Questo metodo soddisfa al principio di verosimiglianza (cioè l'inferenza dipende esclusivamente dal risultato sperimentale acquisito e non dalle proprietà dello spazio campionario) poiché x è fissato.

Si noti infine che la disponibilità di osservazioni campionarie non apporta modifiche qualitative al problema decisionale. Sia in presenza, sia in assenza di osservazioni un problema decisionale si risolve nella ricerca del minimo della funzione di rischio bayesiano. Segnaliamo, inoltre, che la scelta della decisione ottimale può essere rappresentata come media alla Herzel della distribuzione finale.

Stima puntuale. Nei problemi di stima puntuale si ha Θ = D, cioè la coincidenza dello spazio parametrico con lo spazio delle decisioni. Pertanto il problema diviene: scegliere tra i possibili valori di un parametro quel valore θ*εΘ che rende minimo il danno atteso finale, ossia tale che:

θ* è detto ''stima bayesiana'' di θ. È ovvio che la scelta di opportune funzioni di danno consente di determinare in forma standard le stime bayesiane. Per es., quando la funzione di danno è quadratica, del tipo C(θ−θ̂)², la stima bayesiana coincide con il valore atteso della distribuzione finale; quando la funzione di danno è del tipo l(θ, θ̂) = k∣θ− θ̂ὅ, con k>0 otteniamo come stima bayesiana un valore mediano della distribuzione finale.

Stima per intervallo. Molte volte il problema della sintesi della distribuzione finale non viene risolto ricercando un singolo valore θ = θ̂ (x₁, x₂, ..., x_n) ma imponendo che la probabilità che θ appartenga a un insieme I sia pari a una costante assegnata:

(1−α) è la probabilità che θ appartenga all'insieme I (dato x). Limitiamoci ora a una classe di sottoinsiemi di Θ: la classe degli intervalli I = (a, b) sottoinsieme di Θ con a〈b. Definiamo intervallo di confidenza bayesiano quello relativamente al quale si abbia:

con α assegnato. Se non si assegnano a priori determinati requisiti, di cui devono godere gli intervalli, il problema presenta un notevole grado d'indeterminatezza. Per es., se la funzione di densità è continua, di intervalli di questa natura ne esistono infiniti. È possibile risolvere il problema seguendo due vie: a) ricercando il valore di a e b, tali che la lunghezza l = b-a sia minima con il vincolo (tale procedimento equivale a ricercare un intervallo che a parità di lunghezza l contenga la massima probabilità a posteriori); b) ricercando intervalli centrali.

Verifica delle ipotesi. Questo problema è caratterizzato dal fatto che la classe delle decisioni D contiene due elementi {d₀ d₁} e lo spazio dei parametri è partizionato in due sottoinsiemi Θ₀ e Θ₁, in modo che se il parametro θ appartiene a Θ₀ si ritiene appropriata la decisione d₀, e se θεΘ₁ si ritiene appropriata d₁. Si usa indicare le ipotesi statistiche con l'enunciato:

H₀ = θεΘ₀ipotesi di nullità

H₁ = θεΘ₁ipotesi alternativa

Pertanto scegliere un'ipotesi corrisponde per quanto si è detto all'assunzione della decisione d₀ o d₁. La particolare struttura dello spazio delle decisioni induce una partizione sullo spazio campionario in due sottoinsiemi S₀ e S₁, tali che, se il campione appartiene a S₀, si prende la decisione d₁ (si rifiuta l'ipotesi H₀), se il campione appartiene a S₁ si prende la decisione d₀ (si accetta l'ipotesi H₀).

Un problema delicato è quello della corretta interpretazione da dare a ''accettare l'ipotesi H₀'' e a ''rifiutare l'ipotesi H₀''. Tale dizione non ha il significato di ritenere ''vera'' un'ipotesi, e neppure che i dati osservati conducono a ritenerla vera. L'unica interpretazione ammissibile è quella che attribuisce alla scelta di un'ipotesi il significato di comportamento conforme alla supposizione della verità di quell'ipotesi.

Dato un modello p(x∣θ), θεΘ supponiamo si voglia controllare l'ipotesi H₀:θεΘ₀ contro l'ipotesi H₁:θεΘ₁ con Θ₀∈Θ₁ = Θ sulla base di un risultato sperimentale. Il problema è, in generale, risolto calcolando le probabilità finali delle due ipotesi:

Pr(ΘεΘ₀∣x) e Pr(θεΘ₁∣x)

ed eventualmente mettendole a confronto. Il ricercatore è lasciato poi libero di decidere per l'una o l'altra ipotesi. Potrebbe, per es., decidere di prendere una determinata decisione, dicendo che θεΘ₀ se la probabilità finale Pr(θεΘ₀∣x) è maggiore della Pr(θεΘ₁∣x). In molte circostanze si usa immaginare che, oltre all'insieme di decisioni D:{d₀, d₁}, vi sia un danno conseguente alla scelta delle decisioni. Una tipica funzione di danno l(θ, d) potrebbe essere la seguente:

l(θ₀, d₀) = 0 per θεΘ₀;l(θ₁, d₀) = a>0 per θεΘ₁

l(θ₀, d₁) = b>0 per θεΘ₀;l(θ₁, d₁) = 0 per θεΘ₁

Utilizzando lo schema della teoria delle decisioni con una funzione di danno di questo tipo è necessario calcolare il rischio finale bayesiano per le decisioni d₀, d₁. Si sceglierà la decisione che avrà un rischio bayesiano più piccolo. Conviene sottolineare che i due criteri sono equivalenti se a e b sono uguali.

Problemi non parametrici. L'impostazione bayesiana ai problemi d'inferenza è stata assai fruttuosa nell'analisi dei problemi parametrici: più difficile è stata invece la sua applicazione ai problemi formulati in modo non parametrico. In questi ultimi lo ''spazio dei parametri'' è di solito uno spazio funzionale; in particolare quello delle funzioni di ripartizione con supporto dato o più in generale, quello di tutte le funzioni di ripartizione. È proprio connessa a questa particolare natura dello spazio dei parametri la complessità accennata. È di J.E. Rolph (1968) il primo tentativo diretto di depositare sul particolare spazio parametrico una misura di probabilità utilizzando i momenti; crediamo però che migliore impostazione generale presentino i lavori successivi, di T.S. Ferguson (1973, 1974) e C. Antoniak (1974). Ferguson introdusse una particolare misura di probabilità aleatoria retta da un processo di Dirichlet che bene si adatta come distribuzione sullo spazio delle misure di probabilità su spazi misurabili astratti e in particolare su R^k. Antoniak ne considerò una generalizzazione che permette di affrontare problemi d'inferenza non parametrica non adatti a essere trattati col processo di Dirichlet. K.A. Doksun (1974) introdusse infine una classe molto generale di processi aleatori: i processi neutrali a destra. Essi possono essere definiti a partire da un qualunque processo a incrementi indipendenti, quasi certamente non decrescente; quello di Dirichlet su R corrisponde a un particolare processo a incrementi indipendenti. Molte sono le applicazioni del processo suddetto (analisi della varianza, modello lineare, analisi discriminante, teoria della credibilità, modelli con punto di cambiamento, ecc.).

Impostazione classica (oggettivistica) nella risoluzione dei problemi di stima e prova delle ipotesi. Il tratto distintivo tra l'impostazione classica e quella bayesiana dei problemi d'inferenza risiede, nella sostanza, nell'uso della regola di Bayes e nelle conseguenze che ne derivano. Gli statistici classici rifiutano l'uso del teorema di Bayes a causa dell'interpretazione che assegnano alla probabilità che ha, per essi, un significato oggettivo e quindi è indissolubilmente ancorata alla nozione di frequenza. Da ciò dunque la rinuncia alla predetta regola, non potendosi sempre assegnare alla distribuzione iniziale tale carattere oggettivo, e la pretesa di concludere il ragionamento induttivo solo con il riferimento alla verosimiglianza e/o alle proprietà dello spazio campionario. Gli oggettivisti affermano con forza che le valutazioni personali non devono entrare nella trattazione dell'incertezza. Così facendo, tuttavia, sono costretti a inventare caso per caso test per la conferma delle ipotesi, arrivando a una proliferazione di metodi per estrarre delle conclusioni da un insieme di dati e quindi con la ''pretesa'' di prendere le decisioni in base soltanto all'esito delle osservazioni che hanno fornito i dati.

La scuola classica si avvale di due principi fondamentali: quello della verosimiglianza e quello della ripetizione dell'esperimento. Il primo stabilisce che tutte le informazioni che un generico campione può fornire sono contenute nella funzione di verosimiglianza, e altresì che questa, per un campione dato, misura la plausibilità dei possibili modi di essere del fenomeno. Il secondo principio considera il campione effettivamente ottenuto alla stregua di uno dei possibili campioni che si sarebbero potuti ricavare ripetendo un gran numero di volte, nelle stesse condizioni, l'operazione di campionamento. Nell'ambito dell'impostazione classica le ipotesi sono viste non come realizzazioni di un ente aleatorio ma come possibili stati di natura tra i quali ve n'è uno vero che è compito dello statistico rivelare. Vale altresì la pena di sottolineare che all'interno dell'impostazione oggettivistica si riscontrano due atteggiamenti riguardo al ruolo della teoria delle decisioni. Da una parte vi è Fisher, secondo cui la teoria delle decisioni deve limitarsi a trattare i problemi pratici e non i problemi scientifici per i quali è inadeguata, dall'altra vi è Wald (fondatore della teoria delle decisioni) che tende a inquadrare ogni problema statistico nell'ambito di questa teoria). Presentiamo i metodi utilizzati all'interno di tale impostazione per risolvere i problemi di stima puntuale e per intervallo, e di prova delle ipotesi.

Nell'impostazione classica l'obiettivo della teoria della stima è quello di assegnare un valore a uno o più parametri di una distribuzione sulla base di un gruppo parziale di osservazioni. I metodi di stima vengono classificati in ''parametrici'' e ''non parametrici'', a seconda delle ipotesi che vengono adottate sulla famiglia delle distribuzioni su cui si desidera indagare: si parla di problemi parametrici se gli elementi della famiglia differiscono tra loro solo per i valori dei parametri; non parametrici se differiscono, oltre che per i parametri, per la forma funzionale delle distribuzioni considerate. La stima di un parametro si può effettuare in due modi diversi: stima puntuale e stima per intervallo. Il problema della stima puntuale consiste nell'assegnare un valore plausibile al parametro non noto θ sulla base di un campione, e di fornire possibilmente anche una misura della precisione della stima effettuata. Il metodo di stima per intervallo equivale a fornire un insieme, e in particolare un intervallo, il quale plausibilmente contiene il ''vero'' valore del parametro.

Stima puntuale. Sia X una variabile aleatoria e si supponga che la sua funzione di ripartizione (f.r.) F dipenda da un certo numero di parametri θεΘ, mentre sia nota la forma analitica F(x, θ). Sia inoltre (X₁, X₂, ..., X_n) un campione estratto dalla f.r. F(x, θ), cioè una ennupla di variabili aleatorie mutuamente indipendenti e identicamente distribuite secondo la legge F. Limitiamoci, per semplicità, al caso in cui Θ è un sottoinsieme di R.

Nel problema della stima è necessario determinare uno stimatore. Si dice stimatore di θ una funzione T = T(X₁, X₂, ..., X_n) se T applica Rⁿ su Θ. Il valore che assume T per una particolare realizzazione X₁ = x₁, X₂ = x₂, ..., X_n = x_n è detto stima di θ. La questione centrale della teoria della stima puntuale è quella di ricercare uno stimatore T di θ che fornisca ''buoni'' risultati. Considerare buono o non buono un dato stimatore è in larga misura dovuto a certe attese che si nutrono circa gli stimatori. La teoria classica della stima ha predisposto un certo numero di proprietà di cui deve godere uno stimatore per essere considerato buono; le principali sono: non distorsione, consistenza, efficienza e sufficienza. Vediamone le definizioni.

a) Non distorsione: uno stimatore T è detto non distorto per θ se la speranza matematica di T coincide con θ:E_uT(X₁, X₂, ..., X_n)] = θ.

b) Consistenza: richiede che se (X₁, X₂, ..., X_n) è un campione estratto da F, allora la successione degli stimatori T_n converga in probabilità verso il parametro θ, cioè,

per ogni ε>0 e per ogni θεΘ.

c) Sufficienza: vediamo innanzitutto il significato di quest'importante proprietà. Il lavoro dello statistico consiste nell'interpretare, dopo ogni esperimento, i dati che ha raccolto, e di trarre alcune valide conclusioni sulla popolazione in esame. È chiaro che se in luogo di considerare la sequenza dei valori osservati si fissa l'attenzione su una funzione campionaria, perdiamo parte dell'informazione acquisita. Questa perdita dovuta alla ''riduzione dei dati'' può essere inessenziale per il problema che c'interessa; in tal caso diremo che lo stimatore è ''sufficiente''. Una definizione sufficientemente generale è la seguente: uno stimatore T è sufficiente per θ (o per la famiglia di f.r. F) se la distribuzione condizionale di (X₁, X₂, ..., X_n) dato T = t, è indipendente da θ (eccetto per un insieme di probabilità nulla di valori t). La definizione data di sufficienza, dovuta a Fisher (1922), non è di facile applicazione poiché presuppone la conoscenza dello stimatore che si vuole provare essere sufficiente. Un risultato che permette di superare quest'inconveniente è il cosiddetto teorema di fattorizzazione dovuto a Neyman (1935) e perfezionato successivamente da Halmos e Savage (1949) e Bahadur (1954). Nella versione relativa a variabili aleatorie discrete (o assolutamente continue) tale risultato può enunciarsi dicendo che uno stimatore T è sufficiente se, e solo se, la funzione di probabilità dell'ennupla campionaria (o la funzione di densità) può fattorizzarsi secondo

p(x₁, ..., x_n;θ) = g(T(x₁, ..., x_n);θ)h(x₁, ..., x_n)

in cui h è una funzione non negativa delle sole x_i e non dipende da θ, mentre g è una funzione non negativa di θ e di T(x₁, ..., x_n). Esiste un'ampia famiglia di distribuzioni che ammette stimatori sufficienti (anzi sufficienti minimali): è la ''famiglia esponenziale'' a cui appartengono le più note distribuzioni d'interesse statistico come, per es., quella binomiale, di Poisson, gaussiana, ecc. Questa famiglia è stata ampiamente studiata e caratterizzata da vari autori; una trattazione generale è dovuta a Lehmann (1959, 1986²).

d) Efficienza: l'indicatore assunto per il confronto degli stimatori è l'errore quadratico medio di campionamento E(T-θ)². Nel caso in cui lo stimatore è non distorto, tale errore quadratico coincide con la varianza. Allora uno stimatore T₁ non distorto per θ è migliore di un altro stimatore, pure non distorto per θ, T₂, se Var_u(T₁)〈Var_u(T₂), qualunque sia θ. Interessante sarebbe determinare stimatori non distorti che avessero varianza uniformemente minima. Una disuguaglianza che permette di determinare tali stimatori è quella dovuta a H. Cramer (1946) e a C.R. Rao (1945). Si ricordi che i concetti di non distorsione e di sufficienza risultano essenziali per la ricerca degli stimatori a varianza uniformemente minima, com'è stato esplicitamente posto in evidenza da Rao (1949), D. Blackwell (1947) e da Lehmann e Scheffé (1950); (per approfondimenti si veda Lehmann 1983). Quando, con i procedimenti accennati, non è possibile determinare stimatori ottimali, sono state proposte altre metodologie con l'obiettivo di costruire stimatori che, almeno asintoticamente, posseggano buoni requisiti. Tra esse emerge quella connessa al metodo della massima verosimiglianza, introdotto in letteratura da Fisher. La funzione di verosimiglianza, nel caso di un campione di ampiezza n, è data da (ponendo x = (x₁, x₂, ..., x_n))

〈\015.0fr>

Si dirà che T = θ(X₁, ..., X_n) è uno stimatore di massima verosimiglianza se θ è un punto di massimo (stretto) della funzione di verosimiglianza, cioè se θ̂ è tale che

〈\016.0fr>

Le proprietà degli stimatori di massima verosimiglianza sono ampiamente trattate da S. Zacks (1971).

Stima per intervallo. La teoria degli intervalli di confidenza è dovuta principalmente a Neyman. Presentiamo la metodologia per la costruzione dell'intervallo di confidenza per un singolo parametro θ. Sia T(X) con X = (X₁, X₂, ..., X_n) uno stimatore di θ. Assumiamo che T(X) sia una variabile aleatoria continua. Allora, date le probabilità α₁ e α₂, è possibile determinare due funzioni: h₁(θ) e h₂(θ) tali che

Pr{T(X)≤h₁(θ)∣θ6 = α₁

e

Pr{T(X)≥h₂(θ)∣θ6 = α₂

Per ogni particolare valore di θ la probabilità che T(X) sia compresa tra h₁(θ) e h₂(θ) è 1−α₁−α₂. Se h₁(θ) e h₂(θ) sono funzioni strettamente monotone di θ, allora esistono le funzioni inverse (θ₁(T), θ₂(T)). Pertanto le seguenti affermazioni sono equivalenti: 1) h₁(θ)≤T(X)≤h₂(θ); 2) θ₁(T)≤θ≤θ₂(T). Allora (θ₁(T), θ₂(T)) è un intervallo di confidenza per θ a livello 1−α₁−α₂.

L'affermazione che la probabilità che θ₁(T) e θ₂(T) racchiudano il valore di θ è (1−α₁−α₂) non ha in generale senso, una volta che T sia stato calcolato per una particolare realizzazione campionaria, per il fatto che, nella teoria frequentista, θ è un numero certo (non aleatorio) sebbene non noto. L'interpretazione che si deve dare è quella di una proposizione che a lungo andare risulta vera nel (1−α₁−α₂) per cento dei casi.

Verifica delle ipotesi. L'impostazione classica e la sistemazione di questo capitolo della s. induttiva è opera principalmente di Neyman e Pearson (1928, 1933; v. Testing statistical hypotheses di Lehmann 1959, 1986²). Il problema può essere formulato nel modo seguente:

Sia X una variabile aleatoria dotata di funzione di densità f(x, θ). Sia (x₁, x₂, ..., x_n) un punto nello spazio campionario e θ un punto nello spazio dei parametri Θ. Definiamo l'ipotesi nulla H₀ = θεΘ₀ e l'ipotesi alternativa con H₁ = θεΘ₁.

Vediamo ora un test non casualizzato per provare le ipotesi suddette. Qualsiasi test non casualizzato divide lo spazio campionario in due sottoregioni, S₁, regione di rifiuto, e il suo complemento S₀, regione di accettazione. Scegliere un test equivale a scegliere una regione S₁. Utilizzando un test si può giungere a una decisione corretta o si può commettere uno di questi errori: rifiutare l'ipotesi quando è vera (errore di prima specie); accettare l'ipotesi quando è falsa (errore di seconda specie). Evidentemente sarebbe desiderabile proporre un test in modo da minimizzare questi due tipi di errore, ma per sfortuna, quando il numero delle osservazioni è fissato, le probabilità di errore non possono essere controllate simultaneamente. In generale si assegna un limite superiore alla probabilità di rifiutare H₀ quando è vera, e si prova a minimizzare l'errore di seconda specie subordinatamente a questa condizione. Il ricercatore seleziona un numero α tra 0 e 1, detto livello di significatività, e impone la condizione che

Pr{XεS₁∣θεΘ₀}≤α

Tale condizione assicura che al variare dei valori di θ in Θ₀ la probabilità può variare, ma l'errore di prima specie non può superare α. Poiché vi possono essere molte regioni S₁, dobbiamo trovare quella che massimizza

Pr{XεS₁∣θεΘ₁}

Questa probabilità, fissata una regione S₁, è una funzione di θ detta potenza del test, e indica la probabilità di rifiutare l'ipotesi nulla che è proprio quello che vogliamo fare quando θεΘ₁. Considerata come funzione di θ per ogni θεΘ, la probabilità suddetta è detta funzione di potenza. La scelta del livello di significatività è in generale arbitraria.

Consideriamo ora la struttura di un test casualizzato. Per ogni valore x un test sceglie tra due decisioni, rifiutare o accettare, con certe probabilità che dipendono da x e che indicheremo con ϕ(x) e 1−ϕ(x) rispettivamente. Se il valore di X è x, è messo in atto un esperimento aleatorio con due possibili risultati R e R*, le probabilità dei quali saranno ϕ(x) e 1−ϕ(x). Se il risultato dell'esperimento è R, l'ipotesi è rifiutata, altrimenti è accettata. Un test casualizzato è, naturalmente, completamente caratterizzato da una funzione ϕ, la funzione critica, con 0≤ϕ(x)≤1 per ogni x. Se ϕ assume solamente i valori 0 e 1 ritorniamo al caso di un test non casualizzato. L'insieme dei punti x per cui ϕ(x) = 1 è allora la regione di rifiuto, così che in un test non casualizzato ϕ è semplicemente la funzione indicatore della regione critica.

Se la distribuzione di X è P_u, e si utilizza la funzione critica ϕ, la probabilità di rifiuto è

Il problema è selezionare ϕ in modo tale da massimizzare la potenza B_f(θ) = E_uf(X) per ogni θ appartenente a Θ₁ sotto il vincolo E_uf(X)≤α per ogni θεΘ₀.

Un test che soddisfa ai requisiti suddetti è detto ''uniformemente più potente'', ma test di tale specie non sempre esistono. Ci si chiede allora come costruire il test quando non esiste quello uniformemente più potente: in tali casi è necessario introdurre nel problema alcune specifiche assunzioni sui criteri di prova o sulle situazioni considerate. Si possono seguire due vie: a) avanzare alcune particolari assunzioni sul modello in esame e ricercare test uniformemente più potenti per tali modelli. Questo modo di procedere limita il campo di applicazione dei test ottenuti anche se non sono necessarie grandi limitazioni; b) lasciare il modello di partenza molto generale ma porre alcune restrizioni ai test che si prendono in considerazione. Le restrizioni da imporre sono suggerite essenzialmente da motivi pratici. Test uniformemente più potenti possono esistere all'interno di questa classe ristretta di test e non esistere nella classe più ampia di tutti i possibili test. Le restrizioni atte a limitare l'insieme di tutti i possibili test a particolari sottoinsiemi sono: la non distorsione, la somiglianza e l'invarianza (Lehmann 1959, 1986²).

Problemi non parametrici. I problemi di natura non parametrica sono caratterizzati dalla mancanza di specificazione della forma analitica delle f.r. coinvolte. Nozione essenziale per affrontare i problemi di stima in ambito non parametrico è quella di funzione stimabile con relativo grado e nucleo. Nel contesto esaminato grande importanza riveste una classe di funzioni campionarie dette U-statistics, mediante le quali è generalmente possibile ottenere stimatori non distorti e a varianza uniformemente minima. Tale classe di funzioni è stata proposta da W. Hoeffding (1948; v. Fraser 1957, Lee 1990).

Per quanto riguarda i test, in ambito non parametrico il primo problema affrontato è quello della misura della correlazione tra due variabili, interpretata come misura d'indipendenza nel caso gaussiano. Il coefficiente di correlazione basato sui ranghi è stato proposto da C. Spearmann nel 1904, mentre quello di M. Kendall nel 1938. I problemi di confronto di omogeneità tra due campioni sono stati risolti sotto l'ipotesi classica di normalità da F. Wilcoxon (1945). L'estensione a k popolazioni sulla base di k campioni indipendenti è dovuta a W. Kruskal e W. Wallis (1952, 1953). Il proliferare delle tecniche ha portato gli statistici a studiare l'efficacia degli strumenti non parametrici rapportandoli a quelli ottimali in un certo contesto. I lavori di E. Pitman dal 1938 al 1948 hanno dato origine al concetto di ''efficienza asintotica relativa''. La ricerca di una legge di probabilità che sia la base di un modello statistico è, per definizione, un problema non parametrico: a fianco del celebre test del χ² proposto da Pearson (1900) si trovano numerose altre procedure dovute a Cramer (1928), von Mises (1931), Kolmogorov (1933).

Teoria delle decisioni come teoria unificante nella risoluzione dei problemi di stima e prova delle ipotesi. Un approccio unificante ai problemi di stima puntuale e per intervallo, e di verifica delle ipotesi, è fornito dalla teoria delle decisioni di Wald (1950), sulla cui traccia possiamo dire che tale impostazione generalizza e semplifica la teoria di Neyman e Pearson unificando, cioè, trattando problemi considerati distinti nella teoria di Neyman e Pearson come casi particolari del problema della teoria delle decisioni. Come abbiamo visto, nell'impostazione bayesiana contrasti di questo tipo non sussistono nel senso che una risposta coerente al problema induttivo, a prescindere dalle decisioni che s'intendono prendere, è fornita dalla distribuzione finale e/o predittiva; quando però esigenze di svariata natura lo richiedono, l'impostazione bayesiana consente d'inserire gli elementi della decisione e fornisce un criterio coerente per la scelta di quella ottimale. Un importante concetto all'interno della teoria delle decisioni di Wald è quello di funzione di decisione ammissibile.

La funzione di decisione d₁ si dice ''ammissibile'' se non esiste un'altra funzione di decisione d₂ tale che:

R(θ, d₂)≤R(θ, d₁) per ogni θ

e

R(θ, d₂)〈R(θ, d₁) per almeno un θ

La seguente espressione

è detta funzione di rischio e misura la perdita attesa quando la funzione di decisione adottata è d e l'ipotesi vera è θ.

Come criteri di scelta della funzione di decisione ottimale si possono citare, nuovamente, quello bayesiano in base al quale si sceglie la funzione di decisione che rende minima E(R(θ, d)), essendo la speranza matematica calcolata rispetto alla distribuzione iniziale sul parametro; e quello minimax consistente nell'assumere la decisione che rende minimo il funzionale di d

ℳ(d) = Max_uR(θ, d)

Nella ricerca di procedure statistiche ottimali è interessante individuare classi di funzioni di decisione per le quali, se si considera una decisione ad essa esterna, è possibile determinare una decisione della classe con un rischio minore. Una simile classe è detta ''completa''. La si dirà completa minimale quando non contiene una sottoclasse propria completa. Se esiste una classe completa minimale, allora essa coincide con quella delle funzioni di decisione ammissibili, e in più si dimostra (sotto condizioni molto generali) che le decisioni ammissibili sono quelle bayesiane rispetto a opportune distribuzioni iniziali o sono limiti di soluzioni bayesiane, e che ogni funzione di decisione bayesiana è ammissibile.

Sull'impostazione previsiva dell'inferenza. Si è andata profilando recentemente (Cifarelli e Regazzini 1980-81, 1982), nell'ambito bayesiano, un'impostazione dell'inferenza completamente predittiva che costituisce un'alternativa allo schema tradizionale basato sul concetto di modello statistico. Le motivazioni che inducono molti studiosi ad accogliere il punto di vista previsivo completo dell'inferenza possono essere ricondotte ai seguenti punti: a) scopo dell'indagine scientifica è fornire strumenti adeguati di previsione e non scoprire leggi ''vere'' che dovrebbero governare i fenomeni; b) osservabilità, come requisito di ogni condizione su cui s'intenda esprimere giudizi di probabilità.

D'altra parte l'impostazione ipotetica pone, come scopo primario dell'induzione statistica, l'individuazione del ''vero'' meccanismo aleatorio che genera i dati e, generalmente, non pone problemi circa la natura delle ipotesi associate al modello (significato fisico, osservabilità). La riflessione e la discussione sulla liceità dell'impostazione ipotetica viene da lontano (de Finetti 1937), ma ciò nonostante tale impostazione ha dominato gli studi statistici di questo secolo.

Uno statistico opera in una visione predittiva dell'inferenza quando fissa come obiettivo la valutazione della probabilità di un evento collegato a certi fatti futuri subordinatamente alle determinazioni di certe osservazioni. Supponiamo per es. di avere una successione di variabili aleatorie (v.a.) {X_n} la cui distribuzione congiunta è specificata, e di essere interessati a fare inferenza su X_{n + 1}, X_{n + 2}, ..., data l'esperienza E = (X₁, X₂, X₃, ...X_n). Il processo di apprendimento dall'esperienza è rappresentato dal calcolo della distribuzione del processo condizionatamente a E. In tale situazione solamente il passato e il futuro di risultati sperimentali sono coinvolti, senza qualsiasi ulteriore intermediazione di alcun modello. È detta predittiva la distribuzione

Pr{X_{n + 1}≤x_{n + 1}, X_{n + 2}≤x_{n + 2}, ..., X_{n + k}≤x_{n + k}∣X₁ = x₁, X₂ = x₂, ..., X_n = x_n} [1]

qualunque siano n e k interi positivi. Se la legge di probabilità della successione dei numeri aleatori {X_n} è assegnata, la determinazione della predittiva segue gli usuali procedimenti del calcolo delle probabilità; non è necessario pertanto ricorrere al modello statistico, a patto che si sia potuta assegnare la legge del processo, cosa non sempre agevole. È immediato osservare che per poter valutare la probabilità di eventi futuri sulla base di eventi passati (noti) occorrerà stabilire un legame logico di dipendenza tra tutti gli eventi (passati e futuri). Uno schema che negherebbe l'essenza del ragionamento induttivo è quello d'indipendenza stocastica, al di là della quale si annoverano forme di dipendenza più o meno strette, che possono variamente caratterizzare la dipendenza della previsione da quanto si è osservato.

Scartata l'ipotesi d'indipendenza stocastica, la cui adozione negherebbe il senso del ragionamento induttivo, la scelta dovrà ricadere su una condizione che, ragionevolmente, possa essere ritenuta soddisfatta in diverse circostanze concrete nel cui ambito lo statistico viene invitato a intervenire. Tale condizione dovrebbe però soddisfare un'altra esigenza: far comprendere con chiarezza e semplicità formale come giuoca l'esperienza, rappresentata dalle osservazioni sperimentali, sulla previsione degli esiti delle prove future. Tenuto conto che le situazioni in cui le prove dello stesso fenomeno si svolgono in condizioni invariate sono molte, le f.r. F_n(x₁, x₂, ..., x_n) dovrebbero essere tali da garantire l'invarianza della [1], qualunque siano n ed r, rispetto alle permutazioni degli elementi del vettore (x₁, x₂, ..., x_n) delle osservazioni. È questa una delle condizioni caratterizzanti la ''scambiabilità'' del processo {X_n} che, perciò, potrà essere accolta come ipotesi di lavoro. Entro lo schema della scambiabilità vi è una stretta connessione tra problema impostato in modo ipotetico e problema previsivo. Infatti attraverso il teorema di rappresentazione di de Finetti (1937) può essere chiarita la relazione esistente tra i due punti di vista o, più precisamente, che sotto opportune condizioni l'assegnazione di una distribuzione predittiva implica ''l'esistenza'' di un modello statistico tradizionale.

Infatti, se la successione delle v.a. {X_n} è scambiabile e P indica la misura di probabilità del processo corrispondente, indichiamo con B un evento relativo a un numero qualsiasi delle X_n, allora esiste una misura μ sullo spazio ℑ delle funzioni di ripartizione su R tale che

dove P_F(B) è la probabilità di B calcolata sotto l'assunzione che tutte le X_n sono indipendenti e identicamente distribuite secondo F, μ è la misura di probabilità iniziale che ora ha il significato di misura limite del processo 〈P6>F_n.

Se I(A) è la funzione indicatore dell'insieme A, indichiamo con

la funzione di ripartizione empirica.

Il teorema di rappresentazione fornisce una preziosa indicazione per la valutazione della distribuzione iniziale. Conviene chiarire che il teorema stabilisce che la valutazione di μ si basa su opinioni relative a fatti osservabili, cioè 〈P6>F_n, ma non autorizza a considerarla come legge di probabilità di un effettivo numero aleatorio.

In conclusione possiamo dire che il raccordo logico tra l'impostazione previsiva e quella ipotetica è dato dal teorema di rappresentazione di de Finetti. All'interno dell'impostazione previsiva è possibile riformulare alcuni concetti fondamentali dell'inferenza statistica quale il concetto di riassunto esaustivo. Infine, dal momento che l'impostazione previsiva e l'impostazione ipotetica devono essere considerate facce di uno stesso problema, i riassunti esaustivi a fini previsivi svolgono un'importante funzione nello studio delle relazioni tra le due impostazioni.

Alcuni argomenti specifici. - I modelli lineari. - Modello lineare della regressione funzionale. Si ha un modello lineare quando un carattere quantitativo Y, detto anche variabile dipendente o endogena, è considerato come parzialmente spiegato o determinato da un certo numero di altri caratteri (X₁, X₂, ..., X_k) detti variabili indipendenti o esplicative o esogene, tramite una relazione stocastica della forma

Y = Σß_iX_i + e_i i = 1, 2, ..., k

nella quale i ß_i sono k parametri non noti ed e_i è una variabile aleatoria che dovrebbe tener conto dell'eventuale esistenza di altre variabili, che per vari motivi non possono essere identificate, e di eventuali effetti accidentali.

Il modello può essere scritto in forma matriciale, posto di avere n osservazioni (Y_j, X_ij), i = 1, 2, ..., k ;j = 1, 2, ...n:

Y = Xß + e [2]

in cui Y è un vettore (n × 1) delle n>k osservazioni sulla variabile dipendente, ß vettore (k × 1) non noto, e vettore (n × 1) degli errori e X la matrice nota e non stocastica di tutte le osservazioni su tutte le variabili indipendenti X₁, X₂, ...X_k. Naturalmente, se nel modello compare un addendo costante, allora la matrice X avrà la prima colonna costituita da elementi eguali a uno. Il modello è lineare, ma occorre sottolineare che tale qualifica non discende dalla natura lineare di Y rispetto alle variabili indipendenti, bensì dalla linearità rispetto ai parametri. Il modello lineare è variamente denominato a seconda della natura delle quantità che servono a definirlo, cioè (Y, X, ß, e). Si hanno così: il modello della regressione funzionale (modello definito con le condizioni enunciate in precedenza), il modello della regressione condizionale, il modello della regressione stocastica, il modello della regressione con variabili affette da errore, il modello della regressione con parametri aleatori, il modello del disegno degli esperimenti. Trattiamo brevemente il modello della regressione funzionale e assumiamo che siano soddisfatte le ipotesi seguenti: a) E(e) = 0; b) E(ee′) = σ²I_n, σ²>0; c) rango (X) = k.

La prima condizione è d'immediata percezione e non è strettamente necessaria, poiché alla sua violazione si può ovviare pensando modificata la costante del modello. La seconda condizione impone che le componenti della variabile n-dimensionale e siano non correlate, e in più che posseggano la stessa varianza (in generale non nota). La terza condizione è semplicemente la condizione d'indipendenza lineare tra le colonne della matrice X. Essa è cioè la condizione di assenza di multicollinearità.

Un procedimento assai noto per la stima di β e che assicura certe proprietà ottimali agli stimatori è quello dei minimi quadrati, che consiste nel determinare il vettore β che minimizza la funzione:

Q(β) = (Y−Xβ)′(Y−Xβ)

Tale metodo porta a stimare β con

β̂=(X′X)⁻¹X′Y

Il teorema di Gauss-Markov assicura che nella classe degli stimatori lineari e non distorti lo stimatore ottenuto con il metodo dei minimi quadrati è ottimale. Lo stimatore non distorto per σ² è:

Ricordiamo che sovente risulta inaccettabile l'ipotesi b) di omoschedasticità e non correlazione tra gli errori. Qualora sia E(ee′) = Σ (simmetrica, definita positiva, nota) lo stimatore

β̂_A = (X′Σ⁻¹X)⁻¹X′Σ⁻¹Y

è detto stimatore dei minimi quadrati generalizzati o di Aitken e gode delle medesime proprietà di β̂.

Come si vede, il metodo dei minimi quadrati non è in alcun modo legato a una particolare ipotesi riguardante la distribuzione dei residui. Se però si vogliono approfondire ulteriormente le proprietà delle stime e risolvere altri problemi connessi al modello lineare, occorre ipotizzare la forma della distribuzione di e. L'ipotesi comunemente adottata per e è quella di normalità, cioè:

e≈N(0, σ²I_n)

Con tale ipotesi è ora possibile non solo fornire gli stimatori puntuali per ß e σ² ma anche costruire gli intervalli di confidenza per ogni coefficiente ß_ii = 1, ...k, costruire le regioni di confidenza di un gruppo o di tutti i coefficienti, controllare ipotesi riguardanti i singoli o gruppi di coefficienti.

Facciamo osservare che con l'ipotesi di normalità dei residui lo stimatore ottenuto con il metodo dei minimi quadrati coincide con lo stimatore di massima verosimiglianza. C. Stein (1956), trattando il cosiddetto problema delle k medie:

Y = z + u

in cui u è un vettore aleatorio normale con valore atteso nullo e matrice di varianze e covarianze σ²I_k, z è un vettore di parametri k × 1, mostrò che la stima dei minimi quadrati di z quando k è maggiore o uguale a 3 e la funzione di danno è quadratica, non è ammissibile, vale a dire esistono altri stimatori con funzione di rischio non maggiore per ogni z. Tale risultato fu successivamente generalizzato da L.D. Brown (1966) al caso di una vasta classe di funzioni di danno. Poiché, trasformando opportunamente le variabili, il modello [2] può scriversi nella forma delle k medie, il risultato di Stein si applica anche alla stima dei minimi quadrati di β.

Si deve forse a risultati di tale natura la spinta degli statistici a tentare altri approcci, e in particolare quello bayesiano. E infatti lo stesso Stein, in un lavoro successivo (1962), dopo aver proposto uno stimatore ammissibile (ridge), si preoccupò di porre in luce come tale stimatore potesse essere interpretato quale un'approssimazione di quello bayesiano nella consueta ipotesi di danno quadratico. D.V. Lindley (1962) fornì analoga interpretazione introducendo in nuce quello che successivamente verrà detto ''modello gerarchico''. L'approccio bayesiano al modello lineare della regressione, sia per quanto riguarda i problemi di natura ipotetica sia per quanto concerne l'aspetto predittivo, procede, come di consueto, con l'assegnazione di una distribuzione iniziale sui parametri che compaiono nel modello statistico e quindi con la determinazione di quella finale per il tramite della formula di Bayes. La teoria base del modello lineare da un punto di vista bayesiano si può trovare in L.D. Broemeling (1985).

Analisi della varianza e della covarianza. La tecnica utilizzata per effettuare un confronto tra le medie di diverse popolazioni è detta ''analisi della varianza''. L'elemento principale è il confronto tra la variabilità tra le medie delle popolazioni e la variabilità tra popolazioni: infatti, anche se non vi fossero differenze tra le medie delle popolazioni, tutte le osservazioni non sono identiche, e ciò per la natura casuale delle misurazioni. Se la variabilità tra le popolazioni e la variabilità tra le medie sono dello stesso ordine di grandezza, allora possiamo concludere che non vi sono differenze significative tra le medie delle popolazioni. Nell'analisi della varianza i modelli matematici impiegati sono tradizionalmente classificati in tre categorie: modello a effetti fissi, modello a effetti aleatori, modello misto. L'impostazione classica dell'analisi del modello a effetti fissi porta alle procedure del test t e del test F. È stato dimostrato che tali procedure hanno una naturale interpretazione bayesiana.

Il modello di analisi della varianza può essere dedotto dal modello lineare generale: in tale situazione gli elementi della matrice X sono scelti in modo da includere o escludere l'appropriato parametro per ogni osservazione, e così sono o 0 o 1. Ogni colonna di X può essere considerata come una variabile indicatrice, e X è generalmente detta ''matrice disegno''.

L'analisi della covarianza indica una metodologia statistica mediante la quale, utilizzando i principi dell'analisi della varianza e della regressione, si può effettuare una particolare analisi delle variazioni simultanee che si presentano in due o più variabili correlate. Tale metodologia si propone, anzitutto, di correggere − eliminando l'effetto della regressione − le differenze fra le variazioni medie dei valori di due o più gruppi, e poi di provare la significatività di queste differenze corrette.

Modello lineare generalizzato. Molti modelli statistici si possono scrivere nella forma generale seguente:

osservazione = componente sistematica + componente aleatoria

o in simboli Y_i = u_i + e_i, dove Y_i indica l'i-esima osservazione della v.a. Y, u_i = E(Y_i) ed E(e_i) = 0. Nel modello lineare generale visto sopra, u_i è assunta funzione lineare delle variabili esplicative, ossia u_i = x_i′ß, dove x_i è il vettore delle variabili esplicative per l'i-esima osservazione e ß il vettore dei parametri. Gli errori sono assunti indipendenti e distribuiti normalmente. Nel modello lineare generalizzato la distribuzione degli errori è pensata più generale, e si assume che diverse funzioni di u_i siano combinazioni lineari dei ß. Più precisamente, il modello lineare generalizzato assume che: 1) le v.a. Y_i siano indipendenti e identicamente distribuite con distribuzione appartenente alla famiglia esponenziale (la famiglia esponenziale include la normale, gamma, esponenziale, binomiale e la distribuzione di Poisson come casi particolari); 2) esista una funzione legame g (che dev'essere monotona e differenziabile) tale che: g(u_i) = x_i′ß. La quantità η_i = x_i′ß è detta ''previsore lineare'', e pertanto g(u_i) = η_i.

Se le Y_i sono distribuite normalmente e g è la funzione identità, è facile verificare che il modello lineare generalizzato si riduce al modello lineare generale visto prima; tuttavia il modello lineare generalizzato può descrivere molti altri problemi. Vediamone due esempi:

a) se le Y_i si distribuiscono secondo la distribuzione di Poisson e g è una funzione logaritmica, allora otteniamo il modello log-lineare, che viene applicato nello studio delle tabelle di contingenza.

b) Un'altra importante applicazione è quella riguardante i dati binari. Supponiamo che ogni Y_i sia distribuita secondo una binomiale con parametri n_i e p_i, e che p_i dipenda dai valori delle variabili esplicative. Allora u_i = n_ip_i e nell'uso comune vi sono due funzioni legame.

La trasformazione ''logit'' di p_i è definita da loge pertanto la funzione legame è:

Se g(u_i) = x_i′ß è una funzione lineare delle variabili di previsione, allora l'analisi risultante è detta ''regressione logistica''.

Una funzione legame alternativa è la trasformazione ''probit'' data da:

dove Φ è la f.r. della distribuzione normale standardizzata. Il risultato dell'analisi viene detto ''analisi probit''.

I modelli lineari generalizzati sono stati introdotti in letteratura da J.A. Nelder e R.W. Wedderburn nel 1972, ma l'applicazione in maniera estensiva è molto più recente. Le applicazioni sono state facilitate dalla disponibiltà di packages (per es.: GLIM; v. McCullagh e Nelder 1983, 1989²).

Modello lineare dinamico. Il tema della previsione ha da sempre affascinato gli statistici e occupa un posto importante nella teoria dei processi stocastici e nell'analisi delle serie storiche. I primi lavori su tale argomento sono stati di Kolmogorov e Wiener. Kolmogorov (1941) ha affrontato il problema per processi aleatori stazionari a tempo discreto, mentre N. Wiener (1949) ha analizzato il caso di processi a tempo continuo. R.E. Kalman (1960, 1963) e Kalman e Bucy (1961) hanno esteso i risultati di Wiener e Kolmogorov ai processi aleatori non stazionari. Tali risultati hanno giocato un ruolo importante nell'ambito dei programmi spaziali e sono diventati uno strumento fondamentale di analisi nella teoria del controllo ingegneristico.

La generalità dei risultati e la facile programmazione su computer ha reso molto popolare il filtro di Kalman, che viene utilizzato per una varietà di fini anche se la sua funzione base è stimare lo stato di un sistema. Per rendersi conto delle possibilità applicative di tale strumento basta scorrere le riviste statistiche e ingegneristiche degli ultimi vent'anni. Il lavoro di Kalman esplicita la connessione tra il problema della stima dei parametri e i modelli lineari dinamici o modelli stato-spazio. Tali modelli godono della proprietà che implica l'indipendenza del futuro di un processo dal suo passato, dato il presente (proprietà markoviana). Il modello lineare dinamico è descritto da due equazioni; la prima mette in evidenza come vengono generate le osservazioni, ed è detta equazione delle osservazioni

y_t = F_tθ_t + v_t

dove t = indice del tempo (t = 1, 2....); y_t = vettore (m × 1) delle osservazioni del processo fatte al tempo t; θ_t = vettore (n × 1) dei parametri del processo al tempo t; F_t = matrice (m × n) di variabili indipendenti note al tempo t; v_t = vettore (m × 1) di variabili aleatorie.

L'aspetto dinamico dei parametri è incorporato nell'equazione del sistema:

θ_t = G_tθ_t−1 + w_t

dove G_t = matrice (n × n) spiega come i parametri si evolvono nel tempo; w_t = vettore (n × 1) che indica lo sviluppo stocastico dei parametri nel tempo.

Come si può notare, il modello è formato da un'equazione che specifica come il processo y_t è dipendente stocasticamente dai parametri θ_t e da un'altra equazione che specifica come il processo dei parametri si evolve nel tempo. Tali modelli sono anche detti modelli stato-spazio. Il problema che ci si pone è sempre quello di determinare stime ottimali di θ_t sulla base delle osservazioni del processo. Tali stime si possono ottenere con diverse metodologie: mediante il teorema delle proiezioni ortogonali; mediante l'utilizzo del teorema della correlazione normale; mediante il metodo dei minimi quadrati generalizzati; mediante la diretta applicazione del teorema di Bayes. A nostro avviso l'impostazione bayesiana permette di cogliere meglio l'essenza del problema (Harrison e Stevens 1976).

Assumiamo che v_t si distribuisca secondo N(0, V_t), w_t si distribuisca secondo N(0, W_t), e che v_t e w_t siano stocasticamente indipendenti, e inoltre che le matrici di varianze e covarianze V_t, W_t siano note. Assumiamo inoltre che θ₀ abbia distribuzione N(m₀, C₀). Applicando il teorema di Bayes si ottiene che la distribuzione finale di θ_t è N(m_t, C_t) con

m_t = G_tm_t−1 + R_tF_t′(V_t + F_tR_tF_t′)⁻¹ (y_t−F_tG_tm_t−1) =

= G_tm_t−1 + K_t(y_t−F_tG_tm_t−1) C_t = R_t−R_tF_t′(V_t + F_tR_tF_t′)⁻¹F_tR_t

con R_t = (G_tC_t−1G_t′ + W_t)

Tali equazioni ricorsive sono note come filtro di Kalman, che è pertanto un metodo esplicito per adattare le stime e le previsioni man mano che aumentano le informazioni.

La quantità

K_t = R_tF_t′(V_t + F_tR_tF_t′)⁻¹

viene detta ''matrice guadagno'' e mette in evidenza come avviene l'aggiornamento della stima. Il procedimento fornisce la stima bayesiana ottenuta in forma ''sequenziale''. Al tempo t = 0 si ha che la stima è determinata interamente dall'opinione iniziale; dopo aver osservato la prima osservazione, tale valore viene inserito nella stima di θ, ossia in m₁ e così via. Si può dire che il processo determina in maniera iterativa la distribuzione iniziale al tempo t e quella finale. Sulla teoria di varie classi di modelli dinamici v. M. West e J. Harrison (1989).

Metodi di ricampionamento. - Nei paragrafi precedenti abbiamo visto che uno dei problemi classici dell'inferenza statistica è quello per cui si vuole stimare una caratteristica di una funzione di ripartizione F, θ(F), quando sono note le determinazioni di n variabili aleatorie X₁, ..., X_n, che si suppone essere indipendenti e identicamente distribuite con funzione di ripartizione F.

Si vuole, per es., conoscere la media o la varianza di F. Normalmente la stima della caratteristica di F in considerazione viene effettuata con l'uso di una funzione T(X₁, ..., X_n) (stimatore) delle osservazioni. La scelta della funzione T è effettuata sulla base di criteri di ottimalità che in ultima analisi dipendono dalla funzione di ripartizione di T(X₁, ..., X_n). Anche quando si abbia a disposizione un unico stimatore T, il problema della conoscenza della funzione di ripartizione di T(X₁, ..., X_n) rimane comunque di notevole interesse; tramite essa si può, per es., valutare la bontà della stima fornita da T, o costruire regioni di confidenza per la caratteristica di F che si vuole stimare. È comunque spesso difficile risolvere il problema della determinazione della funzione di ripartizione di T in modo analitico, soprattutto se la funzione di ripartizione F non appartiene a un modello parametrico noto o la caratteristica di F che si vuole stimare non è una semplice funzione dei parametri del modello. Negli ultimi anni si è assistito nella letteratura statistica a un fiorire di interessi rivolti all'uso di alcuni metodi di ricampionamento al fine di stimare la funzione di ripartizione di una s. delle osservazioni difficilmente calcolabile da un punto di vista analitico. I metodi di ricampionamento più noti sono quelli del jackknife e del bootstrap.

Metodo del jackknife. Tale tecnica è stata introdotta nella metodologia statistica da M. Quenouille (1949, 1956) per ridurre la distorsione di uno stimatore nel contesto dell'analisi delle serie temporali. Successivamente Tukey (1958) suggerì di utilizzare tale tecnica per sviluppare un metodo generale di costruzione di intervalli di confidenza approssimati e coniò il termine jackknife.

La metodologia di jackknife richiede di ricalcolare lo stimatore che interessa per tutti gli sottoinsiemi di ampiezza k delle n osservazioni. k è, in generale, uguale a n-1. Partendo dal campione (X₁, X₂, ..., X_n) si costruiscono dei sottocampioni sopprimendo la iesima osservazione (X₁, ..., X_i−1, X_{i + 1}, ..., X_n), e si definisce lo stimatore Tⁱ_n−1 basato su quest'ultimo sottocampione. Si definisce ''pseudo valore'' d'ordine i di T_n lo stimatore J_i(T) = nT_n−(n-1)Tⁱ_n−1, e la media degli pseudo valori viene detta stimatore jackknife.

Metodo del bootstrap. Nel 1979 B. Efron ha introdotto una tecnica di ricampionamento, da lui chiamata di bootstrap, con lo specifico scopo di stimare alcune caratteristiche della funzione di ripartizione di T(X₁, ..., X_n), come la distorsione o la varianza, quando esse sono difficilmente calcolabili in modo analitico e la funzione di ripartizione F è totalmente o parzialmente sconosciuta. La semplicità concettuale della tecnica proposta da Efron è bilanciata soltanto dal richiedere un uso spesso intensivo delle capacità di calcolo fornite dai moderni elaboratori elettronici. Fu comunque ben presto evidente che il bootstrap poteva essere proficuamente usato per stimare la stessa funzione di ripartizione di T(X₁, ..., X_n). In seguito, un gran numero di lavori è apparso nella letteratura statistica e probabilistica per giustificare da un punto di vista teorico questo metodo che contemporaneamente riscuoteva notevoli successi in campo applicativo.

L'idea di base del procedimento è molto semplice: si tratta di una tecnica di ricampionamento che fa uso prevalentemente dell'elaboratore elettronico e fornisce soluzione numerica a problemi la cui complessità rende proibitivo il ricorso all'analisi statistica tradizionale. L'idea è quella di ricampionare in (X₁, X₂, ..., X_n) e di studiare il comportamento dello stimatore T. L'algoritmo del bootstrap si può così riassumere:

fase 1): sulla base del campione (X₁, X₂, ..., X_n) estratto dalla popolazione con funzione di ripartizione F si calcola la funzione di ripartizione empirica

fase 2): condizionatamente a F̂_n, si estrae un campione bernoulliano di ampiezza N da (X₁, X₂, ..., X_n) e si ottiene (X₁^*, X₂^*, ..., X^*_N) (N può essere uguale a n);

fase 3): si approssima il comportamento di T con quello di T(X₁^*, X₂^*, ..., X^*_N), che è lo stimatore di bootstrap.

Quest'ultima fase è generalmente ripetuta M volte (M relativamente grande) per ottenere un'approssimazione mediante il metodo di Monte Carlo. In questo caso si osservano M campioni e così si ottengono T₁^*, T₂^*, ..., ^*_M stimatori. L'aspetto rilevante di queste tecniche è dovuto al fatto che si prestano a moltissime applicazioni (per es.: modelli di regressione, disegni campionari complessi, econometria, analisi delle serie storiche, ecc.). Le ricerche in quest'area sono numerosissime, e ogni nuovo numero di qualsiasi rivista di s. non manca di riportare contributi teorici o applicativi delle due tecniche. Questa larga possibilità applicativa risiede nel fatto che sia il jackknife che il bootstrap sono in grado agevolmente di risolvere problemi complessi, per i quali le difficoltà di natura teorica precludono l'uso dei metodi tradizionali. Segnaliamo infine che vi sono diversi altri metodi di ricampionamento (v. Efron 1982; Rubin 1981 per il bootstrap bayesiano).

Disegno degli esperimenti. - È stato Fisher, tra il 1920 e il 1930, a definire il ruolo della s. nel disegno degli esperimenti e, viceversa, il ruolo del disegno degli esperimenti in statistica. La storia del disegno degli esperimenti è un esempio emblematico dell'utilità della s. nello sviluppo delle scienze. Ancora oggi la ricerca segue due vie: da una parte vi è la continuazione del lavoro di Fisher (in questi disegni ''classici'' la struttura è in generale semplice ma le unità dell'esperimento possono avere una variabilità molto alta, e pertanto la divisione delle unità in blocchi è importante), dall'altra vi è la presa in esame degli esperimenti tecnologici in cui la variabilità delle unità è virtualmente ignorata (negli esperimenti tecnologici la struttura dei trattamenti può essere complessa, dal momento che dipende dal modello matematico del sistema che si sta studiando). Quest'ultimo aspetto tecnologico ha portato alla teoria del disegno degli esperimenti ottimale. Negli ultimi anni tre filoni di ricerca hanno avuto maggior attenzione: disegno ottimo, disegno per mezzo dell'elaboratore elettronico, disegni mistura. Tralasciando il disegno ''classico'' (disegno a blocchi, disegno fattoriale), presentiamo brevemente questi tre settori.

Disegno ottimo. La motivazione tradizionale sottostante la teoria del disegno ottimo è che gli esperimenti devono essere disegnati in modo da ottenere la miglior stima possibile del modello. L'ottimalità di un disegno fu considerata per la prima volta da K. Smith (1918) e successivamente ripresa da A. Wald (1943) e H. Hotelling (1944), ma i maggiori contributi in quest'area sono dovuti a J. Kiefer (1958, 1959) e Kiefer e Wolfowitz (1959, 1960). Il libro di S.D. Silvey (1980) fornisce un'esauriente presentazione dei risultati classici nella teoria del disegno ottimo. Per applicare il disegno ottimo è necessario un criterio per poter confrontare gli esperimenti, e un algoritmo per ottimizzare il criterio sull'insieme dei possibili disegni sperimentali. Il criterio classico è stato derivato nell'ambito del modello lineare in cui si assume che i dati sperimentali possano essere rappresentati dall'equazione:

Y_i = f(x_i)′ß + e_i i = 1, 2, ..., n

dove Y_i è la risposta dell'iesima prova dell'esperimento, x_i è un vettore delle variabili di previsione per l'iesima prova, f è un vettore di p funzioni, ß è un vettore di p parametri non noti, e_i è l'errore sperimentale dell'iesima prova. Un modo naturale per misurare la qualità dell'inferenza rispetto a un singolo parametro dipende dalla varianza dello stimatore del parametro. Se gli errori sono non correlati e hanno varianza costante σ², la matrice di varianza e covarianza degli stimatori ottenuti con il metodo dei minimi quadrati β̂ è: Var(ß) = σ²(X′X)⁻¹, dove X è la matrice (n × p) la cui iesima riga è f(x_i)′. Ci limitiamo al caso in cui X abbia rango pieno. Un altro modo utile per misurare la bontà della stima dipende dalla varianza della previsione di Y dato x:

d(x) = σ²f(x)′(X′X)⁻¹f(x)

Entrambe queste varianze dipendono dalla matrice di ordine (p × p) (X′X)⁻¹ e suggeriscono che un buon esperimento è tale se rende piccola questa matrice in qualche senso. Poiché non vi è un unico metodo per ordinare queste matrici sono stati proposti vari funzionali per misurare quanto è piccola la matrice. I più noti sono: 1)D-ottimalità. Un disegno è detto D-ottimale se minimizza il determinante di (X′X)⁻¹; 2) A-ottimalità. Un disegno è detto A-ottimale se minimizza la traccia di (X′X)⁻¹; 3) E-ottimalità. Un disegno è detto E-ottimale se minimizza il massimo autovalore di (X′X)⁻¹; 4) G-ottimalità. Un disegno è detto G-ottimale se minimizza il max d(x), dove il massimo è preso su tutti i possibili vettori x; 5) I_l−ottimalità. Un disegno è detto I_l−ottimale se minimizza ∫d(x)λ(dx), dove λ è una misura di probabilità sullo spazio delle variabili previsive.

Disegno degli esperimenti per mezzo dell'elaboratore. Come si è detto, l'idea base nel disegno ottimo è quella di scegliere un disegno che ottimizzi alcuni criteri inferenziali sull'insieme dei disegni considerati. In pratica questa ottimizzazione può essere difficoltosa o impossibile da risolvere analiticamente. La prima ricerca fatta utilizzando un elaboratore elettronico nella risoluzione del problema fu quella di G. Box e J.S. Hunter (1965) sui disegni non lineari.

Disegni mistura. In molte situazioni sperimentali la risposta dipende dall'ammontare relativo delle variabili previsive e non dall'ammontare assoluto. La natura di questi esperimenti può essere espressa considerando i seguenti vincoli: se X₁, X₂, ...X_k indicano le k variabili previsive, misurate come proporzioni, allora per ogni prova sperimentale abbiamo:

0≤X_j≤1 per ogni j, e ΣX_j = 1

Sebbene la particolarità degli esperimenti mistura sia riassunta dal vincolo precedente, la teoria proposta può essere utilizzata in generale per ogni problema in cui vi sono uno o più vincoli lineari sulle variabili previsive. La risoluzione di questi problemi è stata formulata da Scheffé (1958). È opportuno sottolineare che le applicazioni del disegno degli esperimenti vanno dal classico settore dell'agricoltura a quello più moderno e sorprendente dell'analisi numerica, alla teoria dei sistemi e al controllo statistico di qualità. Si aggiunga che l'accessibilità degli elaboratori ha altresì permesso l'utilizzo dei concetti del disegno ottimo in situazioni non standard.

Analisi sequenziale. - Nei metodi statistici tradizionali (parametrici e non parametrici, univariati e multivariati), che costituiscono il fulcro dell'analisi statistica, l'ampiezza campionaria è sempre fissata a priori. L'analisi sequenziale attiene alle tecniche in cui l'ampiezza del campione e la composizione dei dati non è predeterminata ma può dipendere, in qualche maniera specificata, dai dati stessi man mano che essi divengono disponibili nel corso dell'indagine.

Gli elementi che caratterizzano il metodo sequenziale sono due: 1) un ''procedimento di arresto'' che indichi allo statistico come osservare i valori estratti dalla popolazione e quando interrompere il campionamento; 2) a ogni stadio del campionamento un ''procedimento decisionale'' che indichi quale azione scegliere.

L'obiettivo principale dell'analisi sequenziale è quello di determinare un procedimento di arresto e un procedimento decisionale che soddisfino a certi criteri suggeriti dalla natura del problema inferenziale. La moderna teoria dell'analisi sequenziale iniziò durante la seconda guerra mondiale per rispondere alla richiesta di metodi più efficienti nell'indagine campionaria. Fu Wald a sviluppare il test del rapporto di probabilità sequenziale e a fornire semplici approssimazioni delle probabilità di errore. Per un'analisi dettagliata delle procedure sequenziali nell'ambito della teoria delle decisioni si può vedere Wald (1947), Ferguson (1967), J. Berger (1985). Nell'area della stima sequenziale si possono ricordare i lavori di Thompson (1933), Neyman (1934), Hotelling (1941), ma il primo procedimento sequenziale per la stima puntuale fu proposto da J.B.S. Haldane (1945) e da C. Stein (1945) per la stima intervallare. Presentiamo ora brevemente il problema nella prova delle ipotesi.

Sia X₁, X₂, ..., X_n, un campione bernoulliano estratto da una popolazione X avente funzione di densità f(x, θ), e sia θ un parametro non noto. Il problema è provare, sotto opportuni criteri, un'ipotesi H₀:θεΘ₀ contro l'ipotesi alternativa H₁:θεΘ₁ dove Θ₀ e Θ₁ sono sottoinsiemi disgiunti di Θ. Per specifici valori di θεΘ₀ e θεΘ₁ indichiamo f(x) con f₀(x) e f₁(x) rispettivamente. Un ''test sequenziale'' di H₀ contro H₁ è definito dalla coppia aleatoria (N, D) dove N indica la variabile di arresto ed è definita da un insieme di procedimenti che interrompono il campionamento con N = n osservazioni (x₁, x₂, ..., x_n) per ogni n≥1. La funzione di decisione D è definita da un insieme di procedimenti, dopo che l'evento N = n si è verificato, per accettare H₀ (cioè D = H₀) o accettare H₁ (cioè D = H₁) sulla base di (x₁, x₂, ..., x_n). Se Pr[N〈"] = 1 per ogni θ diremo che il procedimento sequenziale termina sicuramente. Quest'ultima è evidentemente una proprietà molto desiderabile. La quantità

E_θ[N] = ΣnPr[N = n]

è detta numero campionario medio (NCM) richiesto per il procedimento. Un buon procedimento dovrebbe avere un numero medio piccolo per tutti i θ. Le funzioni seguenti:

P(θ) = Pr[D = H₁]

Q(θ) = Pr[D = H₀]

sono rispettivamente la funzione di potenza e la funzione operativa caratteristica del test. Se il procedimento termina sicuramente, è chiaro che P(θ) + Q(θ) = 1 per tutti i θ. Gli errori di prima e di seconda specie del test sono definiti: α(θ) = P(θ) per θεΘ₀ e ß(θ) = Q(θ) per θεΘ₁.

Un buon test dovrebbe avere valori piccoli di α(θ) e ß(θ). Criteri per determinare test ottimali possono variare da problema a problema, ma sono generalmente espressi in termini di N, NCM, probabilità di errore, e costo dell'esperimento. Dal momento che con il test sequenziale, in determinate circostanze, si arriva a campioni di ampiezza molto grande, e dal momento che le approssimazioni di Wald sono spesso poco accurate, vi è stata una proliferazione di procedure alternative basate sulla simulazione e sul calcolo numerico.

Indagini campionarie. - Le indagini campionarie costituiscono una delle aree di ricerca più antiche e più importanti della statistica. In tale settore si è avuta di recente una rinascita nell'attività di ricerca. Una distinzione di base nei metodi di campionamento è tra campionamento probabilistico e non probabilistico. Con il campionamento probabilistico ogni elemento della popolazione ha una probabilità nota (diversa da zero) di essere selezionato; esso richiede un piano di campionamento mediante il quale il campione è estratto. Nella forma più semplice il piano può essere una lista degli elementi della popolazione, ma, più in generale, è uno strumento per identificare gli elementi. Il maggior vantaggio del campionamento probabilistico sta nel fatto che per derivare le proprietà degli stimatori può essere impiegata la teoria statistica. Nessuno sviluppo teorico è invece possibile nel campionamento non probabilistico, le cui forme più comuni sono: a) campionamento per convenienza o per ''caso'', adottato nella scelta degli elementi (per es.: campione di volontari, avventori di un magazzino, intervistati all'angolo di una strada); b) campionamento fatto in base al giudizio di esperti; c) campionamento per quota (molto usato nelle indagini di mercato). Agli intervistatori sono assegnate quote di persone da intervistare per differenti tipi d'intervista (per es.: a un intervistatore viene richiesto d'intervistare 5 uomini di età superiore ai 42 anni, 8 donne disoccupate, 10 casalinghe).

Sotto opportune condizioni ognuno di questi metodi può dare risultati utili; essi tuttavia non sono riconducibili alla teoria dei campioni in quanto non è configurabile un esperimento casuale che li generi. La sola via per valutare questi metodi è ricondursi a situazioni in cui i risultati sono noti o per l'intera popolazione o relativamente a un campione probabilistico, ed effettuare alcuni confronti.

I principali metodi di campionamento probabilistico sono: a) campionamento casuale semplice: con questo metodo ogni possibile insieme di n differenti elementi, S = (x₁, x₂, ..., x_n), estratto da una popolazione di N elementi è ugualmente probabile. Il campionamento può avvenire con o senza ''reimmissione''; quest'ultimo metodo è il più utilizzato nelle indagini campionarie, ed è altresì utilizzato nella teoria del bootstrap per stimare gli errori non parametrici standard; b) campionamento sistematico, che prevede la selezione di ogni ϰ−esimo elemento della lista della popolazione, iniziando da un numero compreso tra 1 e k scelto casualmente; c) campionamento stratificato, che consiste nel suddividere la popolazione in un numero finito di gruppi o strati; all'interno di ogni strato si seleziona un campione. Con questo procedimento le ampiezze campionarie di ogni strato sono scelte a priori per raggiungere gli obiettivi dell'indagine. Sovente è utilizzata la stessa proporzione campionaria in tutti gli strati (stratificazione proporzionale); d) campionamento ''cluster'' (a grappoli): come nel campionamento stratificato, la popolazione è formata da un insieme di gruppi. Tuttavia, con questo campionamento si seleziona solamente un campione dei gruppi, i quali in seguito vengono completamente esaminati; e) campionamento a due o più stadi: si seleziona dapprima un campione di gruppi e poi un campione di elementi tra i gruppi selezionati (campionamento a due stadi). Evidentemente tale procedura può essere estesa a più stadi: al primo stadio si seleziona un campione di gruppi, al secondo stadio un campione tra i gruppi del primo stadio, e così via; f) probabilità proporzionale all'ampiezza campionaria: un piano più efficiente di campionamento a più stadi e con ampiezze diverse dei gruppi consiste nello scegliere i gruppi a ogni stadio con probabilità d'inclusione proporzionale alla loro ampiezza; g) campionamento a due o più fasi: consideriamo una popolazione di N elementi, inizialmente non stratificata. Nella prima fase si estrae un campione casuale di ampiezza n. Si conduce un'analisi su questo campione per ottenere informazioni su di una variabile X che può servire per classificare le n unità, per es. in k strati, o essere utile per stimare un'altra variabile Y. Nella seconda fase si estrae un sotto-campione dagli n elementi selezionati nella prima fase. Questa seconda fase porterà a selezionare m_i(i = 1, 2, ..., k) unità in ognuno degli strati o m unità dagli n elementi della prima fase.

Robustezza. - G. Box (1953) introdusse il termine ''robusto'' nella letteratura statistica per descrivere le procedure che forniscono buoni risultati anche quando sono violate le assunzioni sulle quali queste procedure si basano. Seguendo una linea di ricerca iniziata da Pearson, Box esaminò gli effetti sull'analisi della varianza e sul test di Bartlett della rimozione dell'assunzione di normalità sulla quale tali tecniche si basano. Pearson scoprì che l'analisi della varianza era ''robusta'' alla violazione di tale assunzione, ma avanzò l'ipotesi che tale conclusione poteva non essere vera nel confronto delle stime delle varianze allorché i campioni fossero indipendenti. Box trovò, invece, che il test di Bartlett è molto sensibile all'allontanamento dalla normalità. Questo risultato lo portò a sconsigliare l'utilizzo del test di Bartlett come test preliminare nell'analisi della varianza (una pratica raccomandata da molti statistici). L'esame della sensibilità di molte tecniche standard alle assunzioni di base e la ricerca di nuove tecniche che sono meno sensibili è stato uno dei punti centrali della ricerca statistica di queste ultime decadi (Huber 1981).

Le definizioni di robustezza avanzate nella letteratura statistica sono diverse. Sia P la legge di probabilità di un modello statistico; una procedura è robusta se: ammette una grande efficienza assoluta per tutte le alternative a P; ammette una grande efficienza relativa rispetto a una procedura ottimale sotto P; ammette una grande efficienza assoluta su un insieme ben specificato di leggi; la distribuzione dello stimatore sul quale è basata la procedura varia ''poco'' allorché P è sottoposta a piccole alterazioni; essa è poco sensibile a raggruppamenti di dati, a troncamenti o ad arrotondamenti; essa è poco sensibile all'abbandono dell'ipotesi d'indipendenza.

Queste definizioni non forniscono una visione esaustiva del problema, ma si basano tutte sul medesimo spirito. Seguendo Huber (1972), possiamo dire che la robustezza è una sorta di assicurazione: sono pronto a pagare una perdita di efficienza da 5 a 10% rispetto al modello ideale per proteggermi dai cattivi effetti di piccole deviazioni dal modello. In generale, seguendo F. Hampel e P. Huber possiamo dire che un procedimento statistico è robusto se le sue prestazioni vengono alterate di poco per piccole modificazioni della legge di distribuzione del modello statistico. Nella s. classica la robustezza, intesa come insensibilità a piccole variazioni delle assunzioni, concerne principalmente la robustezza rispetto a variazioni nella distribuzione assunta e al trattamento degli outliers (Huber 1981; Hampel e altri 1986). Nell'ambito della s. bayesiana la robustezza analizza la sensibilità degli output bayesiani (stime, decisioni, ecc.) alle variazioni degli input: distribuzione a priori, verosimiglianza, e nell'approccio decisionale la stessa funzione di perdita (Berger 1984).

Serie storiche. - Un gruppo di osservazioni ordinate cronologicamente è detto comunemente ''serie storica''. Tali serie vengono osservate in connessione a fenomeni molto diversi, da quella dei prezzi di una merce ai mm di pioggia giornaliera caduti in una determinata area. I metodi tradizionali di analisi delle serie storiche riguardano la scomposizione della serie in trend, componente stagionale, cambiamenti ciclici e componente erratica. L'idea fondamentale per lo studio delle serie storiche è pensare la serie stessa come scaturente da osservazioni condotte su una famiglia di variabili aleatorie {X(t) ;tεT}; cioè, per ogni tεT, X(t) viene pensato come un'osservazione effettuata su una variabile aleatoria. Tale famiglia di variabili è detta processo stocastico. La serie storica potrà allora essere considerata come una particolare realizzazione del processo stocastico. Lo scopo che l'analisi delle serie storiche persegue è di duplice natura: da una parte tentare di spiegare il meccanismo che genera la serie storica, dall'altra prevedere il comportamento della serie nello sviluppo futuro eventualmente collegandolo a quello di altre serie storiche.

Un modo per descrivere un processo stocastico consiste nello specificare la distribuzione congiunta di X(t₁), ...X(t_n) per ogni insieme di tempi t₁, ...t_n e per ogni valore di n. Purtroppo questo non sempre è agevole; un modo più utile per descrivere un processo stocastico è dare i momenti del processo, in particolare, media, varianza e funzioni di autocovarianza. Un'importante classe di processi stocastici è formata dai processi stazionari. In modo intuitivo possiamo dire che una serie storica è stazionaria se non vi sono cambiamenti sistematici in media (non vi è un trend), se non vi sono cambiamenti sistematici della varianza e se le variazioni periodiche sono state rimosse. Formalmente una serie storica è detta ''strettamente stazionaria'' se la distribuzione congiunta di X(t₁), ..., X(t_n) è la stessa della distribuzione congiunta di X(t₁+τ), ..., X(t_n + τ) per ogni t₁, ...t_n, τ. In altre parole, spostando l'origine del tempo di un ammontare τ non vi sono effetti sulla distribuzione congiunta, la quale dipende solamente dagli intervalli tra t₁, ..., t_n. La definizione data vale per ogni valore di n. Nella pratica, tuttavia, conviene dare una definizione di stazionarietà meno restrittiva.

Un processo è detto ''stazionario del secondo ordine'' o ''debolmente stazionario'' se ha media e varianza costante e le altre proprietà non mutano nel tempo; in particolare l'autocovarianza tra X_t e X_{t + k}, data da

ã(k) = E[(X_t−m(t))(X_{t + k}−m(t))]

dove m(t) = E(X_t), dipende solamente dal tempo intercorrente, k, tra X_t e X_{t + k}.

Il coefficiente di autocorrelazione di ritardo k è dato da e l'insieme dei coefficienti {ϱ_k} è detto funzione di autocorrelazione. Lo ''spettro'' di un processo stazionario discreto è la trasformata di Fourier di {γ_k}. Per le serie storiche multivariate è di notevole interesse lo studio delle relazioni in e tra le serie. Per es., la funzione di cross-correlazione tra due serie stazionarie misura la correlazione tra X_t e Y_{t + k}. Vi sono molte classi di modelli sia stazionari che non stazionari; il più semplice è dato dal processo aleatorio puro o white noise, che è definito da una successione di variabili aleatorie indipendenti e identicamente distribuite con media zero e varianza costante.

Sia Z_t un processo aleatorio puro. Un processo autoregressivo di ordine p (AR(p)) è definito da:

X_t = α_tX_t−1 + ... + α_pX_t−p + Z_t

dove α₁, ..., α_p sono costanti.

Un processo a media mobile di ordine q (MA(q)) è definito da:

X_t = Z_t−θ₁Z_t−1−...−θ_qZ_t−q

dove θ₁...., θ_q sono costanti.

Utilizzando un operatore lineare, B (backward shift), per cui BX_t = X_t−1, possiamo combinare il processo AR(p) con il processo MA(q) per ottenere un processo autoregressivo a media mobile ARMA(p, q) nella forma

α(B)X_t = θ(B)Z_t [3]

dove α(B) = 1−α₁B-...−α_pB^p e θ(B) = 1−θ₁B-...−θ_qB^q sono polinomi in B di ordine p e q rispettivamente. Il processo ARMA è stazionario se tutte le p radici dell'equazione caratteristica associata alla componente AR, cioè α(B) = 0, sono in modulo superiori a 1 e, inoltre, è invertibile se tutte le q radici dell'equazione caratteristica associata alla componente MA, cioè θ(B) = 0, sono in modulo superiori a 1. L'invertibilità assicura che vi sia un unico processo MA per una data funzione di autocorrelazione. I processi non stazionari possono essere resi stazionari prendendo le differenze tali che

W_t = (1−B)^dX_t

Sostituendo W_t a X_t nella [3] otteniamo il processo ARMA integrato di ordine p, d, q, indicato con ARIMA(p, d, q) (Box e Jenkins 1970; Priestley 1981). Un'altra classe di modelli di notevole interesse è quella dei modelli stato-spazio, nei quali la previsione viene ottenuta utilizzando un procedimento di natura ricorsiva detto filtro di Kalman. Molti modelli di serie storiche possono essere riscritti nella formulazione di modello stato-spazio (Harvey 1989).

Sguardo sulle frontiere della statistica. - Presentiamo infine alcune direzioni di ricerca, che negli ultimi anni sono state assai numerose, grazie ai miglioramenti tecnologici avvenuti. In particolare i progressi nella strumentazione e nelle comunicazioni hanno portato a nuove metodologie nella raccolta dei dati e hanno posto nuovi problemi. La tecnologia ha favorito un rapido sviluppo delle tecniche di analisi di dati multivariati e delle tecniche di ricampionamento.

Metodi di ricampionamento. Le ricerche in questo campo sono numerosissime, e c'è da aspettarsi che, nei prossimi anni, metodi quali il jackknife, la cross-validation e il bootstrap vengano estesi a nuovi modelli, e che vengano analizzate le condizioni ottimali per permetterne un utilizzo appropriato.

Metodi grafici. Metodi grafici di tutti i tipi basati su elaboratori elettronici si sono sviluppati rapidamente e sono stati adottati in campi sempre più diversi; è evidente che nuove applicazioni chiamano nuove tecniche grafiche. L'utilizzo di questi metodi si estende alla costruzione di modelli, all'inferenza e alle decisioni, come nelle carte di controllo.

Inferenza bayesiana. Nell'ambito della s. bayesiana sono stati sviluppati, in questi ultimi anni, soprattutto i metodi bayesiani robusti, che analizzano la sensibilità delle conclusioni bayesiane (stime, decisioni...) alle variazioni della distribuzione iniziale, e provano a minimizzare questa sensibilità. Lo sviluppo dell'analisi della robustezza si è esteso all'interno dell'impostazione frequentista. L'analisi bayesiana trarrà sicuramente, da questi studi sulla robustezza, un nuovo impulso. Sono state altresì sviluppati nuove procedure numeriche e nuovi metodi grafici di analisi. Molta attenzione è stata data ai metodi per l'analisi di modelli non parametrici e semiparametrici. Il lavoro di A.E. Gelfand e A.F.M. Smith (1990) ha dato luogo a un rapido sviluppo delle applicazioni e della teoria del campionamento sostitutivo, noto anche come algoritmo del Gibbs sampler. Tale problematica è simile a quella introdotta da M.A. Tanner e W.H. Wong (1987) e da S. e D. Geman (1984), ed è inoltre simile all'algoritmo Metropolis (Metropolis e altri 1953). Questa metodologia permette di ottenere una stima delle distribuzioni marginali a posteriori del parametro, o dei parametri d'interesse. Il campionamento sostitutivo permette di trattare problemi multiparametrici attraverso una serie di problemi a un solo parametro. In questo modo, gli scogli tipici dell'integrazione numerica multivariata, come la scelta di griglie e, di conseguenza, la necessità di effettuare trasformazioni parametriche, sono superati.

Inferenza statistica classica e teoria delle decisioni. Come abbiamo visto, il cuore della s. classica è la teoria inferenziale di Neyman e Pearson e la teoria delle decisioni di Wald. In questi ultimi anni si sono sviluppati gli studi intesi ad approfondire le proprietà delle procedure statistiche in modelli multiparametrici sotto forma di proprietà di ammissibilità, di teoremi per determinare classi complete di stimatori, test. In particolare, con la scoperta, agli inizi degli anni Settanta, della relazione tra ammissibilità e processi diffusione si è potuto meglio valutare l'ammissibilità di determinate procedure. Un'importante area di ricerca è la teoria asintotica dell'inferenza statistica e in particolare lo studio di più alti ordini di approssimazione, anche là dove viene generalmente applicato il primo ordine. Strettamente collegato a quest'area vi è l'approccio geometrico-differenziale alla statistica. Le teorie generali di convergenza sono state estese e rifinite.

Indagini campionarie. I lavori più recenti hanno posto attenzione sull'effetto del disegno di campionamento sulla validità di procedure standard e sull'analisi di come semplici modificazioni delle procedure tengano conto del disegno in esame. Molti riguardano disegni campionari complessi e problemi associati a dati incompleti. Molta attenzione è stata posta a disegni campionari longitudinali, all'esame del fondamentale problema degli errori di non-campionamento e di quello associato con le non-risposte, e agli errori di risposta.

Robustezza e analisi esplorativa. Gli statistici hanno sempre cercato di valutare gli effetti di dati anomali (outliers) sulle loro inferenze. Sono stati sviluppati pertanto metodi di adattamento dei modelli, robusti contro gli outliers e insensibili alla presenza degli outliers senza il bisogno d'individuare tali osservazioni anomale, che sono stati provati con successo nell'analisi della regressione e nel modello lineare generale. Le nuove procedure impiegate per adattare modelli non parametrici e semiparametrici non sono state trattate con l'attenzione alla robustezza. La costruzione di procedure robuste in tale settore è ancora suscettibile di approfondimenti. Strettamente collegata con i metodi robusti e con i metodi grafici è stata la crescita dell'analisi esplorativa dei dati, basata in larga parte sulle idee di J.W. Tukey.

Serie storiche. I metodi di analisi delle serie storiche sia nel dominio temporale sia in quello delle frequenze si sono notevolmente sviluppati e perfezionati. Esistono oggi molte tecniche che si concentrano sull'utilizzo dei modelli ARMA, le cui proprietà sono molto note. Gli sforzi recenti si rivolgono in molte direzioni, tra cui l'analisi della bontà delle procedure d'inferenza quando il processo è sulla frontiera della stazionarietà. Un'altra direzione di ricerca è lo studio dei criteri utili alla scelta del numero dei parametri richiesti in un modello, il problema della determinazione dell'ordine. Una terza direzione è lo studio dei processi lineari non gaussiani. Molta attenzione è stata data ai metodi bayesiani e ai modelli stato-spazio. Molti modelli di serie storiche (vedi i processi ARMA) possono essere riscritti sotto forma di modelli stato-spazio; tale circostanza ha portato a sviluppare tecniche d'inferenza basate sull'esatta valutazione della funzione di verosimiglianza e ha permesso la costruzione di modelli più generali, che sono simili ai processi ARMA ma incorporano parametri che variano nel tempo.

Analisi sequenziale. In questi ultimi anni i test sequenziali sono diventati molto soddisfacenti per lo sviluppo della teoria dei rinnovi non lineare che permette di calcolare con una buona approssimazione numerose quantità che prima richiedevano enormi calcoli. La teoria dei rinnovi non lineare ha altresì contribuito allo sviluppo di altre aree, per es. la stima sequenziale e i problemi dei punti di cambiamento. Una seconda area che in questi ultimi anni ha visto un notevole progresso è quella dei problemi multi-arm bandit. Questa è una speciale classe di problemi di programmazione dinamica, che permettono di determinare un'assegnazione ottimale dello sforzo in una varietà di modelli di code. Tuttavia, gli algoritmi di programmazione generale dinamica richiedono un tempo di calcolo enorme. L'introduzione del ''test di allocazione dinamico'' ha ridotto di molto i problemi computazionali. Il filtro di Kalman introdotto da Kalman (1960) e Kalman-Bucy (1961) è stato applicato in molti problemi di controllo stocastico. Questa teoria richiede la conoscenza della dinamica del processo sottostante. Se non si conosce la dinamica del processo è necessario a ogni stadio stimare i parametri non noti del sistema. I risultati del filtro si basano sulla formulazione stato-spazio di un modello dinamico. All'inizio degli anni Settanta il filtro di Kalman e l'approccio stato-spazio hanno ricevuto una certa attenzione anche da parte degli economisti.

Inferenza nei processi stocastici. L'area d'inferenza nei processi stocastici è piuttosto ampia con un impatto notevole sulle applicazioni, ed è il centro di molte ricerche. I problemi d'inferenza riguardano i più importanti e tradizionali processi stocastici (catene di Markov, processi di diffusione, processi di punto). Per i processi di punto i progressi sono stati molto rapidi grazie alla loro struttura, maneggevolezza e persistente contatto con le applicazioni. Fino alla metà degli anni Settanta l'inferenza per i processi di punto fu più una collezione di tecniche che un campo di ricerca coerente. L'introduzione della teoria delle martingale ha rivoluzionato l'intera area e ha permesso l'unificazione, almeno concettuale, dell'intera problematica.

Sistemi esperti probabilistici. Negli anni recenti, lo sviluppo della tecnologia informatica ha fortemente influenzato anche le discipline statistiche. Si vuole far riferimento qui, in particolare, a quella branca dell'informatica detta intelligenza artificiale. Esistono due articolazioni di questa tecnologia in relazione alla s.: la prima prevede lo sviluppo di sistemi esperti per assistere l'utente nella fase d'impostazione e realizzazione di un'analisi statistica (scelta del modello, individuazione delle trasformazioni da apportare alle variabili, riconoscimento di dati anomali, ecc.). L'altra direzione prevede, invece, la realizzazione di sistemi esperti probabilistici nei vari campi di applicazione (medico, industriale, bancario, ecc.). Si tratta, in estrema sintesi, di rappresentare un sistema complesso di variabili e l'associata ''base di conoscenza'' sotto forma di un grafo, i cui nodi rappresentano le variabili mentre i collegamenti tra i nodi indicano possibili forme di ''causalità'' non deterministica. Invero la struttura del grafo consente di rappresentare in modo compatto le relazioni d'indipendenza condizionale probabilistica tra le variabili e ciò, a sua volta, permette l'acquisizione dell'evidenza empirica e la conseguente propagazione dell'incertezza nella rete in modo efficiente e probabilisticamente coerente. L'aspetto statistico interviene quando la distribuzione congiunta dei nodi del grafo è rappresentata in forma parametrica. Oltre alle procedure di acquisizione e propagazione dell'evidenza empirica, viene attivato un meccanismo di aggiornamento sequenziale delle distribuzioni dei parametri che consente una revisione costante delle strutture della rete in relazione ai casi osservati.

Bibl.: D. Bernoulli, Specimen theoriae novae de mensura sortis, Commentarii Acad. Scient. Imperialis Petropolitanae, 5 (1738), pp. 175-92 (rist. in Econometrica, 22 [1954], pp. 23-25); K. Pearson, On a criterion that a given system of deviation from a probable in the case of a correlated system of variables is such that it can be reasonably supposed to have arisen in random sampling, in Phil. Mag. Ser. (1900), pp. 157-75; Id., On lines and planes of closet fit to system of points in space, in Philos. Magazine and Journ. of Science, 2 (1901), p. vi; C. Spearmann, The proof and measurement of association of two things, in Amer. Journ. Psycol., 15 (1904), pp. 72-101; K. Smith, On the standard deviations of adjusted and interpolated values of an observed polynomial function and its constants and the guidance they give towards a proper choise of the distribution of observations, in Biometrika, 12 (1918), pp. 1-85; K. Pearson, Notes on the history of correlation, ibid., 13 (1920); Id., The fundamental problem of practical statistics, ibid., pp. 1-16; R.A. Fisher, The goodness of fit of regression formulae and distribution of regression coefficient, in Journ. of the Royal Statistical Society, s. A, 222 (1922), pp. 309-68; H. Cramer, On the composition of elementary errors, in Skand. Aktuarietidskr., 11 (1928), pp. 13-74 e 141-80; J. Neyman, E.S. Pearson, On the use and interpretation of certain test criteria, in Biometrika, 20 A (1928), pp. 175-240 e 263-94; B. de Finetti, Sul concetto di media, in Giornale Istituto Italiano degli Attuari, 2 (1931a), pp. 369-96; Id., Sul significato soggettivo della probabilità, in Fundamenta Mathematicae, 17 (1931b), pp. 289-329; F.P. Ramsey, Truth and probability (1926), in The foundations of mathematics and other logical essays, a cura di R. Braithwaite, Londra 1931, pp. 156-98; L.L. Thurstone, Multiple factor analysis, in Psycological Review, 38 (1931); R. von Mises, Wahrscheinlichkeitsrechnung, Lipsia 1931; A.N. Kolmogorov, Grundbegriffe der Wahrscheinlichkeitsrechnung, Berlino 1933; Id., Sulla determinazione empirica di una legge di distribuzione, in Giorn. Ist. Ital. degli Attuari, 4 (1933), pp. 83-91; J. Neyman, E.S. Pearson, On the problem of the most efficient tests of statistical hypothesis, in Phil. Trans. Roy. Soc., s. A, 231 (1933), pp. 289-337; C.M. Thompson, On the likelihood that one unknown probability exceeds another in view of the evidence of two samples, in Biometrika, 25 (1933), pp. 285-94; J. Neyman, On the two different aspects of the representative method: The method of stratified sampling and the method of purposive selection, in Journ. of the Royal Statistical Soc., 97 (1934), pp. 558-625; Id., Su un teorema concernente le cosiddette statistiche sufficienti, in Giorn. Istit. Ital. degli Attuari, 64 (1935), pp. 320-34; B. de Finetti, La prévision: ses lois logiques, ses sources subjectives, in Annales de l'Institut Henri Poincaré, 7, 1 (1937), pp. 1-68; M. Kendall, A new measure of rank correlation, in Biometrika, 30 (1938), p. 81; H. Hotelling, Experimental determination of the maximum of a function, in Annals of Mathematical Statistics, 12 (1941), pp. 20-45; A.N. Kolmogorov, Interpolation and extrapolation of stationary random sequences, in Bull. de l'Académie des Sciences de U.S.S.R., 5 (1941), pp. 3-15; A. Wald, On the efficient design of statistical investigations, in Annals of Mathematical Statistics, 42 (1943), pp. 1035-53; H. Hotelling, Some improvements in weighing and other experimental techniques, ibid., 15 (1944), pp. 297-306; J. von Neumann, O. Morgenstern, Theory of games and economic behavior, Princeton 1944; J.B.S. Haldane, On a method of estimating frequencies, in Biometrika, 33 (1945), pp. 222-25; C.R. Rao, Information and accuracy attainable in the estimation of statistical parameters, in Bull. Calcutta Math. Soc., 17 (1945), pp. 81-91; C. Stein, A two sample test for a linear hypothesis whose power is independent of the variance, in Annals of Mathematical Statistics, 16 (1945), pp. 243-58; F. Wilcoxon, Individual comparison by ranking methods, in Biometrika, 1 (1945), pp. 80-83; H. Cramer, A contribution to the theory of statistical estimation, in Skand. Aktuarietidskr., 29 (1946), pp. 85-94; D. Blackwell, Conditional expectation and unbiased estimation, in Annals of Mathematical Statistics, 18 (1947), pp. 105-10; A. Wald, Sequential analysis, New York 1947; Z.W. Birnbaum, On random variables with comparable peakedness, in Annals of Mathematical Statics, 19 (1948), pp. 76-81; W. Hoeffding, A class of statistics with asymptotically normal distribution, ibid., pp. 293-325; P.R. Halmos, L.J. Savage, Application of the Radon-Nikodim theorem to the theory of sufficient statistics, ibid., 20 (1949), pp. 225-41; M. Quenouille, Approximate tests of correlation in time series, in Journ. of the Royal Statistical Society, s. B, 11 (1949); C.R. Rao, A note on unbiased and minimum variance estimates, in Calcutta Statist. Bull., 3 (1949), p. 36; N. Wiener, Extrapolation, interpolation of stationary time series, Cambridge (Mass.) e New York 1949; A. Wald, Statistical decision functions, New York 1950; E.L. Lehmann, H. Scheffé, Completeness, similar regions and unbiased estimation, in Sankya, s. A, 10 (1950), pp. 305-40; B. de Finetti, Sulla preferibilità, in Giorn. degli Economisti e Annali di Economia, 11 (1952), pp. 685-709; W. Kruskal, W. Wallis, Use of ranks in once criterion variance analysis, in Journ. of the American Statistical Association, 47 (1952), pp. 583-612; G. Box, Non-normality and tests on variances, in Biometrika, 40 (1953), pp. 318-35; W. Kruskal, W. Wallis, Use of ranks in one criterion variance analysis, in Journ. of the American Statistical Association, 48 (1953), pp. 907-11; N. Metropolis, A.W. Rosenbluth, M.N. Rosenbluth, E. Teller, Equations of state calculations by fast computing machines, in Journ. Chem. Phys., 27 (1953), pp. 720-33; R.R. Bahadur, Sufficiency and statistical decision functions, in Annals of Mathematical Statistics, 25 (1954), pp. 423-62; L.J. Savage, The foundations of statistics, New York 1954; H. Robbins, An empirical Bayes approach to statistics, in Proc. III Berkeley Symposium of Math. Statist. and Prob., i, Berkeley 1956, pp. 157-63; I.J. Good, On the estimation of small frequency in contingency tables, in Journ. of the Royal Statistical Soc., s. B, 18 (1956), pp. 113 ss.; M. Quenouille, Notes on bias in estimation, in Biometrika, 43 (1956), pp. 353-60; H. Scheffé, A mixed model for the analysis of variance, ibid., 40 (1956), pp. 87-104; Id., Alternative models for the analysis of variance, in Annals of Mathematical Statistics, 27 (1956), pp. 251-71; C. Stein, Inadmissibility of the usual estimator for the mean of a multivariate normal distribution, in Proc. III Berkeley Symp. of Math. Stat. and Prob., i, Berkeley 1956, pp. 197-206; W.C. Cochran, G.M. Cox, Experimental design, New York 1957; D.A.S. Fraser, Nonparametric methods in statistics, ivi 1957; R. von Mises, Probability, statistics and truth, ivi 1957; J. Kiefer, On the nonrandomized optimality and randomized non-optimality of simmetrical design, in Annals of Mathematical Statistics, 29 (1958), pp. 657-99; H. Scheffé, Fitting straight lines when one variable is controlled, in Journ. of the Amer. Statistical Assoc., 53 (1958), pp. 106-17; J. Tukey, Bias and confidence in not-quite large sample, in Annals of Mathematical Statistics, 29 (1958), p. 614; B. de Finetti, Induzione e statistica, Firenze 1959; J. Kiefer, Optimum experimental designs, in Journ. of the Royal Statistical Soc., s. B, 21 (1959), pp. 272-319; J. Kiefer, J. Wolfowitz, Optimum design in regression problems, in Annals of Mathematical Statistics, 30 (1959), pp. 271-94; E.L. Lehmann, Testing statistical hypoteses, New York 1959 (1986²); H. Scheffé, The analysis of variance, New York 1959; R.E. Kalman, A new approach to linear filtering and prediction problems, in Trans. ASME, J. Basic Engineering, 82 (1960), pp. 35-45; J. Kiefer, J. Wolfowitz, The equivalence of two extremum problems, in Kanadian Journal of Mathematics, 12 (1960), pp. 360-66; H. Jeffreys, Theory of probability, Oxford 1961³; R.E. Kalman, R.S. Bucy, New results in linear filtering and prediction theory, in Trans. ASME, J. Basic Engineering, 83 (1961), pp. 85-108; H. Raiffa, R. Schlaifer, Applied statistical decision theory, Harvard 1961; B. de Finetti, L.J. Savage, Sul modo di scegliere le probabilità iniziali, Biblioteca del Metron, 1 (1962), pp. 81-154; D.V. Lindley, Discussion on Prof. Stein paper, in Journ. of the Royal Statistical Soc., s. B, 24 (1962), pp. 265-96; L.J. Savage, Bayesian statistics. In decision and information process, New York 1962; C. Stein, Confidence sets for the mean of a multivariate normal distribution, in Journ. of the Royal Statistical Soc., s. B, 24 (1962), pp. 265-96; W.G. Cochran, Sampling tecniques, New York 1963; W. Edwards, H. Lindman, L.J. Savage, Bayesian statistical inference for psychological research, in Psychological review, 70, 3 (1963), pp. 193-242; R.E. Kalman, New methods in Wiener filtering theory, in Proc. of first Symp. on Engl. Appl. of Random function theory and probability, a cura di G.L. Bogdanoff e J. Kozin, New York 1963; B. de Finetti, Teoria delle decisioni, in Lezioni di Metodologia statistica per ricercatori, 6, Roma 1964; G. Box, J.S. Hunter, Multifactor experimental designs for esploring response surfaces, in Annals of Mathematical Statistics, 28 (1965), pp. 195-242; L.D. Brown, On the admissibility of invariant estimators of one or more location parameters, in Annals of Mathematical Statistics, 37 (1966), pp. 1087-136; B. de Finetti, F. Emanuelli, Economia delle Assicurazioni, Torino 1967; T.S. Ferguson, Mathematical Statistics: A decision theorethic approach, New York 1967; D.R. Cox, H.D. Miller, The theory of stochastic processes, Londra 1968; J.E. Rolph, Bayesian estimation of mixing distributions, in Annals of Mathematical Statistics, 39 (1968), pp. 1289-302; W.P. Elderton, N.L. Johnson, System of frequency curves, Cambridge 1969; G. Box, G. Jenkins, Time series analysis, forecasting and control, San Francisco 1970 (1976²); M.H. De Groot, Optimal statistical decisions, New York 1970; B. de Finetti, Teoria della probabilità. Sintesi introduttiva con appendice critica, Torino 1970; P.C. Fishburn, Utility theory for decision making, New York 1970; D.V. Lindley, Introduction to probability and statistics, i. Probability, ii. Inference, Cambridge 1970; K.V. Mardia, Families of bivariate distribution, Londra 1970; J.W. Tukey, Exploratory data analysis, Wesley 1970 (1977²); S. Zacks, The theory of statistical inference, New York 1971; B. de Finetti, Probability, induction and statistics, ivi 1972; P. Huber, Robust statistics: a review, in Annals of Mathematical Statistics, 43 (1972), pp. 651-55, pp. 1041-67; D.V. Lindley, Bayesian statistics. A review, Filadelfia 1972; J.H. Nelder, R.W. Wedderburn, Generalized linear models, in Journ. of the Royal Statistical Soc., s. A, 135 (1972), pp. 370-84; T.S. Ferguson, A Bayesian analysis of some nonparametric problems, in Annals of Statistics, 1 (1973), pp. 209-30; C. Antoniak, Mixtures of Dirichlet processes with applications to Bayesian nonparametric problems, ibid., 2 (1974), pp. 1152-74; K. Doksun, Tailfree and neutral random probabilities and their posterior distribution, in Annals of Probability, 2 (1974), pp. 183-201; T.S. Ferguson, Prior distributions on spaces of probability measures, in Annals of Statistics, 2 (1974), pp. 615-19; P.J. Harrison, C.F. Stevens, Bayesian forecasting (with discussion), in Journ. of the Royal Statistical Soc., s. B (1976), pp. 205-47; D.B. Owen, On the history of statistics and probability, New York 1976; B.H. Erickson, R.A. Nosanchuck, Understanding data, ivi 1977; D.R. McNeil, Interactive data analysis, ivi 1977; AA.VV., I fondamenti dell'inferenza statistica, Firenze 1978; B. Efron, Bootstrap methods: another look at the jackknife, in Annals of Statistics, 1 (1979), pp. 1-26; S.D. Silvey, Optimal design, New York 1980; D.M. Cifarelli, E. Regazzini, Sul ruolo dei riassunti esaustivi ai fini della previsione in contesto bayesiano, in Rivista di Matematica per le Scienze Economiche e Sociali, 3 (1980-81), pp. 109-25, e 4, pp. 3-11; P. Huber, Robust statistics, New York 1981; M.B. Priestley, Spectral analysis and time series, 1-2, Londra 1981; D.B. Rubin, The Bayesian bootstrap, in Annals of Statistics, 9 (1981), pp. 130-34; V. Barnett, Comparative statistical inference, New York 1982; D.M. Cifarelli, E. Regazzini, Some considerations about mathematical statistics teaching methodology suggested by the concept of exchangeability, in Exchangeability in probability and statistics, a cura di G. Koch e F. Spizzichino, Amsterdam 1982, pp. 185-205; B. Efron, The jackknife, the bootstrap and other resampling plans, Filadelfia 1982; P.C. Fishburn, The foundations of expected utility, Dordrecht 1982; S. Kotz, N.L. Johnson, Encyclopedia of Statistical Sciences, 1-9, New York 1982-89; M.G. Kendall, A. Stuart, J.K. Ord, The advanced theory of statistics, 1-3, Londra 1983⁴; E.L. Lehmann, Theory of point estimation, New York 1983; P. Mc Cullagh, J.A. Nelder, Generalized linear models, Londra 1983 (1989²); J. Berger, The robust Bayesian viewpoint (with discussion), in Robustness in Bayesian analysis, a cura di J. Kadane, Amsterdam 1984; S. Geman, D. Geman, Stochastic relaxation, Gibbs distributions and the Bayesian restoration of images, in IEEE Transactions on Pattern Analysis and Machine Intelligence, 6 (1984), pp. 721-41; J. Berger, Statistical decision theory and Bayesian analysis, New York 1985; L.D. Broemeling, Bayesian analysis of linear models, ivi 1985; C. Chatfield, The initial examination of data (with discussion), in Journ. of the Royal Statistical Soc., s. A, 148 (1985), pp. 214-53; Id., Exploratory data analysis, in European Journ. of Operations Research, 23 (1986), pp. 5-13; M.H. De Groot, Probability and statistics, New York 1986; F.R. Hampel e altri, Robust statistics: the approach based on influence functions, ivi 1986; S.M. Stigler, The history of statistics, Harvard 1986; J.-P. Lecoutre, P. Tassi, Statistique non paramétrique et robustesse, Parigi 1987; M.A. Tanner, W.H. Wong, The calculation of posterior distributions by data augmentation (with discussion), in Journ. of the American Statistical Association, 82 (1987), pp. 528-50; C. Chatfield, Problem solving. A statistician's guide, Londra 1988; Id., The analysis of time series. An introduction, ivi 1989; M. West, J. Harrison, Bayesian forecasting and dynamic models, New York 1989; A.C. Harvey, Forecasting. Structural time series models and the Kalman filter, Cambridge 1989; J.R. Maritz, T. Lwin, Empirical Bayes methods, Londra 1989²; R.A. Fisher, Statistical models, experimental design and scientific inference, Oxford 1990; A.E. Gelfand, A.F.M. Smith, Sampling based approaches to calculating marginal densities, in Journ. of the American Statistical Association, 85 (1990), pp. 398-409; A.J. Lee, U-Statistics, New York 1990.

Diritto. - Con il decreto legisl. 6 settembre 1989 n. 322 (ai sensi dell'art. 24 della legge delega 23 agosto 1988 n. 400) è stato attribuito al Sistema Statistico Nazionale (SISTAN) il compito di raccogliere e divulgare i dati statistici ufficiali. Del nuovo ordinamento, che sostituisce quello risalente al 1929, fanno parte: l'Istituto nazionale di Statistica (ISTAT); gli uffici di s. centrali e periferici delle amministrazioni dello stato e delle aziende autonome; gli uffici di s. delle regioni e delle province autonome, dei comuni (singoli o associati) e delle unità sanitarie locali (questi ultimi già previsti dalla l. 23 dicembre 1978 n. 833); gli uffici di s. delle Camere di commercio, industria, artigianato e agricoltura. Rientrano in esso, oltre agli enti e agli organismi pubblici d'informazione statistica individuati con decreto del presidente del Consiglio dei ministri (art. 2, comma 1, lettera h), anche gli uffici di s. costituiti presso enti pubblici, a loro volta individuati ai sensi dell'art. 4 del decreto legisl. 1989/322.

Con un primo decreto del presidente del Consiglio dei ministri, emanato il 31 marzo 1990, sono stati individuati gli enti che, sia pure in ambito settoriale, svolgono attività d'informazione statistica, quali l'Istituto Nazionale di Economia Agraria (INEA), l'Istituto per la Programmazione Economica (ISPE), l'Istituto nazionale per lo Studio della Congiuntura (ISCO). Con un secondo decreto, emanato il 29 ottobre 1991, sono stati, invece, individuati i seguenti enti e amministrazioni pubbliche: Automobil Club d'Italia (ACI); Comitato Olimpico Nazionale Italiano (CONI); Consiglio Nazionale delle Ricerche (CNR); Ente Ferrovie dello Stato; Ente Nazionale Assistenza Agenti Rappresentanti di Commercio (ENASARCO); Ente Nazionale di Previdenza e Assistenza per i dipendenti Statali (ENPAS); Ente Nazionale per l'Energia Elettrica (ENEL); Ente per le nuove tecnologie, l'Energia e l'Ambiente (ENEA); Istituto Nazionale delle Assicurazioni (INA); Istituto Nazionale Assicurazioni contro gli Infortuni sul Lavoro (INAIL); Istituto Nazionale per la Previdenza Sociale (INPS); Istituto nazionale per il Commercio Estero (ICE); Istituto poligrafico e Zecca dello stato; Istituto superiore di sanità; Istituto Vigilanza Assicurazioni Private e d'interesse pubblico (ISVAP); Servizio per i Contributi Agricoli Unificati (SCAU). Sono esclusi dal sistema statistico nazionale gli enti "che svolgono la loro attività nelle materie contemplate nell'art. 1 del decreto legislativo del Capo provvisorio dello Stato 17 luglio 1947, n. 691" (art. 4, comma 4 della l. 322/1989). Tale deroga, sospetta peraltro di illegittimità costituzionale per violazione della legge delega, si estende a tutti gli enti che operano nel settore creditizio e valutario, come la Banca d'Italia e l'Ufficio italiano dei cambi.

Secondo le linee tracciate dall'art. 24 della l. 1989/400, il decreto legisl. 1989/322, mediante il quale all'informazione statistica viene riconosciuta la funzione di un servizio pubblico, ha disciplinato l'organizzazione e le funzioni dell'ISTAT a cui sono stati attribuiti sia compiti d'indirizzo e di coordinamento dell'attività statistica al fine di assicurare la rispondenza delle elaborazioni a criteri unitari, sia autonomia in materia di strutture e di risorse finanziarie. In base a ciò ha assunto la denominazione di Istituto nazionale di statistica che, sottoposto alla vigilanza del presidente del Consiglio, si profila come ente dotato di personalità giuridica di diritto pubblico con piena capacità di organizzarsi con ordinamento autonomo.

Suoi organi sono: a) il Presidente, scelto tra professori universitari, ordinari in materie statistiche, economiche e affini, e nominato con decreto del presidente della Repubblica, su proposta del presidente del Consiglio e previa deliberazione del Consiglio dei ministri; dura in carica quattro anni (può essere confermato una sola volta) e ha legale rappresentanza dell'Istituto, di cui deve assicurare il funzionamento provvedendo alla sua amministrazione; b) il Comitato per l'indirizzo e il coordinamento dell'informazione statistica, organo collegiale, composto dai rappresentanti delle amministrazioni e degli enti che costituiscono il sistema statistico nazionale, a cui sono attribuiti l'esercizio delle funzioni direttive dell'ISTAT e l'adozione, su proposta del presidente, del programma statistico nazionale, nonché l'emanazione di direttive vincolanti nei confronti degli uffici di s. e d'indirizzo nei confronti degli uffici facenti parte del sistema stesso; c) il Consiglio, organo di programmazione, d'indirizzo e di controllo dell'attività dell'ISTAT, i cui membri sono nominati con decreto del presidente del Consiglio dei ministri e convocati dal presidente dell'Istituto; espleta i suoi compiti deliberando in ordine a: il piano annuale di attività contenente le finalità, le spese previste per il triennio successivo e le previsioni annuali di entrata; il bilancio consuntivo, le relative variazioni e il conto consuntivo; il disegno organizzativo dell'Istituto e il regolamento organico del personale; gli atti relativi alla gestione finanziaria, economica e patrimoniale dell'Istituto; la partecipazione dell'ISTAT al capitale di enti e società; d) il Collegio dei revisori, organo finanziario e contabile dell'ISTAT, cui spetta il compito di accertare la regolare tenuta della contabilità e la corrispondenza del bilancio consuntivo alle risultanze dei libri e delle scritture contabili (l'ISTAT è soggetto al controllo della Corte dei Conti essendo ricompreso tra quegli enti al cui finanziamento lo stato contribuisce in via ordinaria), nonché di verificare i risultati conseguiti rispetto agli obiettivi fissati.

Alla Commissione per la garanzia dell'informazione, istituita presso la presidenza del Consiglio dei ministri, spetta invece il compito di vigilare su: a) le metodologie statistiche e le tecniche informatiche; b) la conformità delle rilevazioni alle direttive degli organismi internazionali e comunitari. Trattandosi, quindi, di un organo preposto a garantire imparzialità e completezza dell'informazione statistica e osservanza delle norme che disciplinano la tutela delle informazioni fornite dall'ISTAT, la Commissione formula osservazioni e rilievi al presidente dell'Istituto e redige un rapporto annuale che viene trasmesso al Parlamento insieme con la relazione sull'attività dell'ISTAT.

Con il riordinamento apportato al sistema statistico sono stati definiti inoltre, in modo analitico, i compiti degli uffici di s. che si configurano come i punti di collegamento tra l'ISTAT, organo centrale dell'intero sistema statistico, e gli archivi e le banche dati delle singole amministrazioni. Con la riforma del sistema, l'ISTAT assume il ruolo di coordinamento, d'indirizzo e di controllo della s. ufficiale sulla base del Programma statistico nazionale, nel quale sono previste le "rilevazioni statistiche di interesse pubblico affidate al sistema statistico nazionale". Mediante il programma nazionale le s. d'interesse pubblico vengono collegate agli obiettivi fissati in armonia con i programmi internazionali e, in particolare, con quelli comunitari. Esso permette un'azione di monitoraggio dell'attività svolta, evidenzia le eventuali carenze conoscitive e stabilisce le priorità. Il programma è adottato mediante un complesso procedimento, cui partecipano l'ISTAT, in qualità di organo proponente, le autorità di governo e la Commissione per la garanzia dell'informazione statistica chiamata a esprimere il suo parere. Dopo il primo Programma statistico nazionale riferito al triennio 1991-93 e formulato parallelamente al primo Piano di attività del rinnovato Istituto nazionale di Statistica, il secondo Programma triennale 1994-96 presenta una situazione migliore rispetto al precedente per ciò che riguarda le indagini eseguite dalle amministrazioni pubbliche e dagli enti collegati al sistema.

Nella consapevolezza dell'estrema delicatezza della materia la l. 322/1989 ha dettato alcune norme a garanzia e tutela dei dati riservati che, per disposizione legislativa o per decisione dell'autorità politica responsabile, possono essere esclusi dalla conoscibilità da parte del sistema statistico. Sono stati, inoltre, definiti: l'obbligo per i privati, oltre che per gli enti pubblici, di fornire dati e notizie richiesti in determinate rilevazioni, nonché l'applicazione delle norme sul segreto d'ufficio agli addetti a tutti gli uffici di statistica. Complementare a questa disposizione è quella che ha introdotto una nuova tipologia di segreto: quello ''statistico'', che ha per oggetto i dati elementari e non aggregati che, raccolti nell'ambito del programma statistico nazionale, non possono essere conosciuti se non in forma aggregata e, comunque, in forme tali che non se ne possa dedurre l'identità della persona, fisica o giuridica, che li ha forniti. Da ciò deriva una garanzia fondamentale posta non soltanto a tutela della privacy del singolo cittadino, ma anche a fondamento del diritto di accesso ai dati statistici ufficiali, qualificati come patrimonio della collettività.

Le novità principali evidenziate dalla nuova normativa riguardano, quindi, da un lato l'organizzazione di tutti gli enti che raccolgono dati statistici in un sistema informativo che può essere definito come una combinazione di risorse umane, di strumenti e di procedure per la raccolta, l'archiviazione, l'elaborazione e lo scambio delle informazioni necessarie alle attività operative e ai fini della programmazione e del controllo; dall'altro il diritto di accedere ai dati del SISTAN per tutti coloro che ne fanno richiesta per motivi di studio, ricerca o semplice informazione. Per la concreta attuazione di questa disposizione si prevede che presso la sede centrale e le sedi regionali dell'ISTAT e presso gli uffici di s. delle prefetture siano istituiti uffici di collegamento del SISTAN aperti al pubblico.

Statistica giudiziaria. - Per ciò che si riferisce più strettamente alla rilevazione e all'analisi quantitativa mediante il metodo statistico di fenomeni che derivano dall'applicazione di leggi civili e penali mediante l'azione degli organi della giustizia, va sottolineato che tale attività comprende non soltanto atti o fatti che ricadono sotto quest'azione di controllo e di tutela ma anche altri che, pur non direttamente legati ai primi, si delineano come l'espressione della volontà dei singoli nel campo del diritto. La varietà degli aspetti di questo campo della s. applicata e la complessità dei fenomeni rilevati fa sì che ogni atto o fatto che rientra nell'oggetto della rilevazione venga annotato secondo la materia, civile o penale, cui si riferisce.

In ordine alla materia civile si distinguono: a) la s. processuale civile (riferita alle rilevazioni riguardanti l'attività degli organi della giustizia ordinaria); b) la s. delle litigiosità (riferita alle rilevazioni concernenti l'aspetto sociologico del fenomeno litigioso); c) le rilevazioni degli atti e delle convenzioni notarili; d) la s. dei protesti; e) le rilevazioni riguardanti i fallimenti e le altre procedure concorsuali; f) le rilevazioni concernenti il contenzioso amministrativo (riferite all'attività giurisdizionale degli organi della giustizia amministrativa e della Corte dei Conti).

In ordine alla materia penale si distinguono: a) la s. processuale penale, che si riferisce all'insieme dei procedimenti mediante i quali si svolge l'attività degli organi della giustizia penale; i dati da essa rilevati evidenziano il movimento dei procedimenti e dei provvedimenti emessi dall'autorità giudiziaria, compresi quelli relativi alle grazie che, pur non riguardando l'attività giurisdizionale, interessano egualmente la materia penale; b) la s. della criminalità, che prende in esame i fatti costituenti violazione delle leggi penali e le persone responsabili di tali violazioni. I dati con essa desunti concernono i delitti per i quali l'autorità giudiziaria ha iniziato l'azione penale a seguito di denuncia o querela. Si presta particolare attenzione alle denunce per delitti commessi da minorenni, per le quali è prevista la compilazione di una scheda individuale con quesiti di carattere anagrafico e sociologico. Va sottolineato che, in caso di persona denunciata per più reati, l'autore viene considerato in riferimento al delitto per il quale è prevista dal codice penale e dalle altre leggi la pena più grave. Rimangono esclusi dai delitti rilevati quelli denunciati a magistrature diverse da quella ordinaria e l'infrazione qualificata come contravvenzione. La rilevazione della criminalità in generale e della criminalità in particolare permette di cogliere l'aspetto sociologico del fatto criminoso; c) la s. della delittuosità, avente per oggetto le denunce per fatti delittuosi presentate all'autorità giudiziaria dalla Polizia di stato, dai Carabinieri e dalla Guardia di Finanza. I dati da essa evidenziati sono relativi ai delitti e ai loro autori con riferimento al momento della comunicazione all'autorità giudiziaria da parte delle forze dell'ordine. I delitti rilevati sono quelli previsti dal codice penale e dalle altre leggi, esclusi quelli denunciati alla predetta autorità da altri pubblici ufficiali e da privati, e quelli delle contravvenzioni. Rientra in essa anche la rilevazione di un fenomeno non direttamente connesso con l'attività della giustizia, quello cioè dei casi di suicidio o tentato suicidio, compiuta dalle forze dell'ordine e dalla polizia giudiziaria, e da cui si desumono numerosi dati di natura anagrafica e sociale; d) la s. degli imputati giudicati, relativa all'insieme degli individui prosciolti o condannati in qualsiasi fase o tipo di giudizio, con riferimento al momento in cui il provvedimento di proscioglimento o di condanna diventa irrevocabile. I dati sono riferiti ai giudicati per delitti tentati o consumati, previsti dal codice penale e dalle altre leggi, con esclusione dei giudicati per le contravvenzioni. Coloro che nello stesso procedimento sono stati prosciolti per un delitto e condannati, invece, per un altro figurano per quel delitto tra i condannati. Nel caso di concorso di delitti si considera il condannato in riferimento al delitto per il quale è prevista dal codice penale e dalle altre leggi la pena più grave; nel caso, invece, di più delitti non in concorso tra loro, la persona compare tante volte per quante sentenze irrevocabili di proscioglimento o di condanna a suo carico sono state pronunciate nel periodo preso in considerazione; e) la s. penale militare, che si articola, come quella ordinaria, in s. processuale, s. della criminalità e s. degli imputati giudicati. I delitti da essa rilevati sono quelli previsti dal codice penale militare di pace. Nelle tavole statistiche i delitti figurano secondo una classificazione analitica e una classificazione aggregata. Alla materia civile e penale va aggiunta quella penitenziaria, che si riferisce alle rilevazioni compiute negli istituti di prevenzione e pena.

Bibl.: V. Cerulli Irelli, Statistica, in Enciclopedia del diritto, 43, Milano 1990, pp. 669-93; S. Zani, Statistica, ivi 1991; Sistema Statistico Nazionale, Istituto nazionale di statistica, Atti della Prima Conferenza Nazionale di Statistica, Roma, 18-19 novembre 1992, Roma 1993; M. Tomei, Statistica (dir. pubbl), in Enciclopedia Giuridica, 30, ivi 1993; G. Parenti, L'attività del Consiglio superiore di statistica dal 1949 al 1989, ivi 1994. Per la statistica giudiziaria v. ISTAT, Istruzioni per le rilevazioni delle statistiche giudiziarie. Metodi e norme. Serie B n. 24, 2 tomi, Roma 1988. A partire dal 1992 è stata interrotta la serie dei volumi unificati delle statistiche giudiziarie per la pubblicazione di due serie distinte, riferite l'una alle statistiche penali e l'altra a quelle civili; v. ISTAT, Statistiche giudiziarie penali. Anno 1992. Annuario 1, Roma 1994.