@ -123,8 +123,10 @@ statistico $(S, \cS, (Q_\theta)_{\theta \in \Theta})$.
\begin { definition} [Campione i.i.d.~di taglia $ n $ ]
Dato un modello statistico, si dice
che una famiglia di v.a.~$ ( X _ i : \Omega \to S ) _ { i \in [ n ] } $ i.i.d.~è un \textbf { campione i.i.d.~di taglia $ n $ }
se per ogni $ \theta \in \Theta $ esiste uno spazio di probabilità $ ( \Omega , \FF , P _ \theta ) $ tale per cui
$ ( P _ \theta ) ^ { X _ i } $ è uguale in legge a $ Q _ \theta $ .
se esiste uno spazio misurabile $ ( \Omega , \FF ) $ tale per cui,
per ogni $ \theta \in \Theta $ , esiste una probabilità $ P _ \theta $ su $ ( \Omega , \FF ) $ tale per cui
$ ( P _ \theta ) ^ { X _ i } $ è uguale in legge a $ Q _ \theta $ . Un campione rappresenta generalmente il risultato di
$ n $ esiti di un esperimento aleatorio.
\end { definition}
Dato un campione di taglia $ n $ , useremo $ P _ \theta $ per riferirci alla misura di probabilità
@ -218,7 +220,7 @@ a $P_\theta$).
$ R _ \theta ( U ) \leq R _ \theta ( V ) $ per ogni $ \theta \in \Theta $ .
\end { definition}
\subsection { Stimatore di massima verosomiglianza}
\subsection { Stimatore di massima verosomiglianza (MLE) }
D'ora in avanti sottintenderemo di star lavorando sullo
spazio misurabile $ ( \RR , \BB ( \RR ) ) $ .
@ -249,7 +251,8 @@ spazio misurabile $(\RR, \BB(\RR))$.
\end { notation}
\begin { definition} [Stimatore di massima verosomiglianza di $ \theta $ ]
Si dice che uno stimatore $ U $ è di \textbf { massima verosomiglianza di $ \theta $ }
Si dice che uno stimatore $ U $ è di \textbf { massima verosomiglianza di $ \theta $ } (MLE, da
\textit { maximum likelihood estimator} )
su un campione i.i.d.~$ ( X _ i ) _ { i \in [ n ] } $ se:
\[
L_ U(X_ 1, \ldots , X_ n) = \sup _ { \theta \in \Theta } L_ \theta (X_ 1, \ldots , X_ n), \quad \forall \omega \in S.
@ -290,4 +293,138 @@ spazio misurabile $(\RR, \BB(\RR))$.
su $ \theta $ è $ \max _ i x _ i $ .
\end { example}
\section { Modello esponenziale, unicità e consistenza dello stimatore MLE}
\begin { definition} [Modello statistico esponenziale]
Dato un modello statistico $ ( S, \cS , ( Q _ \theta ) _ { \theta \in \Theta } ) $ , si dice che
tale modello è \textbf { esponenziale} nei seguenti due casi:
\begin { enumerate} [(i.)]
\item [\scriptsize (caso discreto)] data $ Q _ \theta $ discreta, allora esistono
$ g $ , $ T : \NN \to \RR $ e $ c _ \theta : \Theta \to \RR $ per cui
$ p _ \theta ( k ) = c _ \theta g ( k ) e ^ { \theta T ( k ) } $ e tali che
$ g $ , $ T $ dipendano solo da $ k $ e $ c _ \theta $ solo da $ \theta $ .
\item [\scriptsize (caso ass.~cont.)] data $ Q _ \theta $ AC, allora esistono
$ g $ , $ T : \RR \to \RR $ boreliane e $ c _ \theta : \Theta \to \RR $ per cui
$ f _ \theta ( x ) = c _ \theta g ( x ) e ^ { \theta T ( x ) } $ e tali che
$ g $ , $ T $ dipendano solo da $ x $ e $ c _ \theta $ solo da $ \theta $ .
\end { enumerate}
\end { definition}
Per i modelli esponenziali valgono i seguenti fondamentali teoremi:
\begin { theorem} [Unicità e consistenza dello stimatore MLE per densità discrete]
Si consideri il modello $ ( \RR , \BB ( \RR ) , ( Q _ \theta ) _ { \theta \in \Theta } ) $ tale per cui:
\begin { itemize}
\item $ \theta _ 1 \neq \theta _ 2 \implies Q _ { \theta _ 1 } \neq Q _ { \theta _ 2 } $ ,
\item $ \Theta \subseteq \RR $ è un intervallo aperto,
\item $ Q _ \theta $ è esponenziale discreta di densità
$ p _ \theta ( k ) = c _ \theta g ( k ) e ^ { \theta T ( k ) } $ ,
\item $ \sum _ { i \in \NN } g ( k ) T ^ 2 ( k ) e ^ { \theta T ( k ) ^ + } < \infty $ per ogni $ \theta \in \Theta $ .
\end { itemize}
Premesso ciò, se $ ( X _ i ) _ { i \in [ n ] } $ è un campione i.i.d.~di taglia $ n $ ed esiste uno stimatore
$ U $ di massima verosomiglianza di $ \theta $ rispetto a tale campione, allora, sempre rispetto
a $ ( X _ i ) _ { i \in [ n ] } $ ,
$ U $ è l'unico stimatore di massima verosomiglianza di $ \theta $ ed è consistente rispetto a $ \theta $ . \smallskip
In particolare, fissati i dati $ x _ 1 $ , ..., $ x _ n $ , lo stimatore di massima verosomiglianza $ \hat \theta $ risolve la seguente equazione:
\[
\frac { d \left [- \log(c_\theta)\right] } { d\theta } \left (\hat \theta \right ) = \sum _ { i \in [n]} T(x_ i).
\]
\end { theorem}
\begin { theorem} [Unicità e consistenza dello stimatore MLE per densità AC]
Si consideri il modello $ ( \RR , \BB ( \RR ) , ( Q _ \theta ) _ { \theta \in \Theta } ) $ tale per cui:
\begin { itemize}
\item $ \theta _ 1 \neq \theta _ 2 \implies Q _ { \theta _ 1 } \neq Q _ { \theta _ 2 } $ ,
\item $ \Theta \subseteq \RR $ è un intervallo aperto,
\item $ Q _ \theta $ è esponenziale assolutamente continua di densità
$ f _ \theta ( x ) = c _ \theta g ( x ) e ^ { \theta T ( x ) } $ ,
\item $ h : x \mapsto g ( x ) T ^ 2 ( x ) e ^ { \theta T ( x ) ^ + } $ è integrabile per ogni $ \theta \in \Theta $ .
\end { itemize}
Premesso ciò, se $ ( X _ i ) _ { i \in [ n ] } $ è un campione i.i.d.~di taglia $ n $ ed esiste uno stimatore
$ U $ di massima verosomiglianza di $ \theta $ rispetto a tale campione, allora, sempre rispetto
a $ ( X _ i ) _ { i \in [ n ] } $ ,
$ U $ è l'unico stimatore di massima verosomiglianza di $ \theta $ ed è consistente rispetto a $ \theta $ .
\end { theorem}
\begin { remark}
L'enunciato precedente può essere generalizzato ad aperti $ \Theta $ convessi in $ \RR ^ d $
con funzione $ T : \RR \to \RR ^ d $ boreliana, ponendo:
\[
f_ \theta (x) = c_ \theta g(x) \exp \left (\theta ^ \top T(x)\right ).
\]
\end { remark}
\begin { remark}
A partire al precedente teorema si può dunque dimostrare che:
\begin { itemize}
\item $ ( \overline { X } , \frac { n - 1 } { n } S ^ 2 ) $ è l'unico stimatore di massima verosomiglianza per $ ( m, \sigma ^ 2 ) $ sul
modello $ N ( m, \sigma ^ 2 ) $ ,
\item se $ \sigma ^ 2 $ è nota, $ \overline { X } $ è l'unico stimatore di massima verosomiglianza per
$ m $ sul modello $ N ( m, \sigma ^ 2 ) $ ,
\item se $ m $ è nota, $ \frac { n - 1 } { n } S ^ 2 $ è l'unico stimatore di massima verosomiglianza per
$ \sigma ^ 2 $ sul modello $ N ( m, \sigma ^ 2 ) $ .
\end { itemize}
\end { remark}
\section { Intervalli di fiducia}
\subsection { Regione di fiducia}
\begin { definition}
Dato il modello statistico $ ( S, \cS , ( Q _ \theta ) _ { \theta \in \Theta } ) $ con campione
i.i.d.~$ ( X _ i ) _ { i \in \NN } $ , si definisce \textbf { regione di fiducia a livello $ 1 - \alpha $ }
per il parametro $ \theta $ una mappa $ D : \Theta \to \PP ( \Omega ) $ , detta \textit { insieme aleatorio} , tale per cui:
\[
P_ \theta (\theta \in D) \geq 1 - \alpha , \quad \forall \theta \in \Theta ,
\]
dove $ P _ \theta $ è la probabilità relativa allo spazio misurabile del campione i.i.d.~e
$ \{ \theta \in D \} = \{ \omega \in \Omega \mid \theta \in D ( \omega ) \} \in \FF $ .
\end { definition}
\subsection { Quantili e distribuzione gaussiana}
\begin { definition}
Data una probabilità $ P $ su $ ( \RR , \BB ( \RR ) ) $ , con funzione di ripartizione $ F $ si
definisce \textbf { quantile di ordine $ \beta $ } con $ \beta \in ( 0 , 1 ) $ il valore:
\[
r_ \beta = \inf \{ x \in \RR \mid F(x) \geq \beta \} .
\]
In altre parole, $ r _ \beta $ è l'estremo inferiore dell'insieme degli $ x $ tali per cui
$ P ( ( - \infty , x ) ) \geq \beta $ , ossia ``il primo valore'' per cui si supera la probabilità
$ \beta $ . \smallskip
Se $ P $ si distribuisce come $ N ( 0 , 1 ) $ , si denota $ r _ \beta $ come $ q _ \beta $ .
\end { definition}
\begin { remark}
Per simmetria della f.d.r.~$ \Phi $ , vale che $ q _ { 1 - \beta } = - q _ \beta $ . Inoltre vale che:
\[
P(-q_ { 1-\alpha /2} \leq Z \leq q_ { 1-\alpha /2} ) = 1-\alpha ,
\]
dove $ Z \sim N ( 0 , 1 ) $ e $ \alpha \in ( 0 , 1 ) $ . \smallskip
Queste due proprietà valgono in generale se la legge considerata ha densità pari, o ancora
più generalmente se ha la stessa legge al suo opposto.
\end { remark}
\subsection { Intervalli di fiducia per la media in una popolazione normale}
Consideriamo il modello $ ( \RR , \BB ( \RR ) , ( Q _ \theta ) _ { \theta \in \Theta } ) $ con $ Q _ \theta \sim N ( m, \sigma ^ 2 ) $ , dove il
parametro da ricercare è la media $ m $ . Sia $ ( X _ i ) _ { i \in [ n ] } $ un campione i.i.d.~con $ X _ i \sim N ( m, \sigma ^ 2 ) $ .
Dal momento che $ \overline { X } $ è uno stimatore
di $ m $ , un intervallo di fiducia per il livello $ 1 - \alpha $ è intuitivamente della forma $ D = [ \overline { X } \pm d ] $ con $ d \in \RR $ .
Dacché $ \EE [ \overline { X } ] = m $ e $ \Var ( \overline { X } ) = \sigma ^ 2 / n $ , per riproducibilità delle variabili gaussiane si
ricava che $ \overline { X } \sim N ( m, \sigma ^ 2 / n ) $ , ovverosia $ \frac { \sqrt { n } } { \sigma } ( \overline { X } - m ) \sim N ( 0 , 1 ) $ per
standardizzazione. \smallskip
Pertanto vale che:
\[ P _ m ( m \in D ) = P _ m \left ( \abs { \overline { X } - m } \leq d \right ) = 2 \Phi \left ( \frac { \sqrt { n } } { \sigma } d \right ) - 1 , \]
e dunque, ponendo $ P _ m ( m \in D ) = 1 - \alpha $ , si ottiene che:
\[
d = \frac { \sigma } { \sqrt { n} } q_ { 1-\alpha /2} .
\]
\end { multicols*}
