STATISTIK-FORUM.de

Ich habe einige grundsätzliche Fragen bezüglich wichtigen statistischen Begriffen wie pdf, joint distribution, sampling distribution. Eigentlich dachte ich, dass ich die verstanden habe. Ich lese gerade das Buch von Charles A. Rhode (Introductory Statistical Inference with the Likelihood Function) und bin nun auf einen Absatz gelangt (Seiten 22 und 23), wo ich nicht weiter komme. Ich gebe im folgenden Schrittweise den Absatz wieder und unterbreche es mit meinen Fragen (kursiv).
Bin für jeden Hinweis dankbar.

Bei diesem Absatz geht es um ein Beispiel, das die Gefahren der frequentistischen Statistik aufzeigt.

Teil 1
Example (Dangers of Frequentist Statistics). Suppose we observe $X_1$ and $X_2$ independent each with pdf given by

$$$f(x;\theta)=$$ \left \{\begin{matrix} \frac{1}{2} & \text{if } x=\theta+1\\\frac{1}{2} & \text{if } x=\theta-1\end{matrix}\right.$
where $\theta$ is an integer.

Kommentar/Frage: Das ist nur eine Definition, somit zu akzeptieren.

Teil 2

Then the joint distribution of $X_1$ and $X_2$ is given by

$\begin{align*} \mathbb{P}_{\theta}\left (X_1 = \theta-1,X_2 = \theta-1 \right )=\frac{1}{4}\\ \mathbb{P}_{\theta}\left (X_1 = \theta-1,X_2 = \theta+1 \right )=\frac{1}{4}\\ \mathbb{P}_{\theta}\left (X_1 = \theta+1,X_2 = \theta-1 \right )=\frac{1}{4}\\\mathbb{P}_{\theta}\left (X_1 = \theta+1,X_2 = \theta+1 \right )=\frac{1}{4}\end{align}$

Kommentar/Frage: Ich nehme an, dass das keine Definition ist und aus der pdf folgt. Ich verstehe nicht, welche Relevanz die mutlivariable Verteilung für dieses Beispiel hat.

Teil 3

Consider the estimator of $\hat\theta$ defined by

$$$\hat\theta=$$\left \{\begin{matrix} \frac{X_1+X_2}{2} & \text{if } X_1 \neq X_2 \\ X_1+1 & \text{if } X_1 = X_2 \end{matrix}\right.$

Kommentar/Frage: Auch das ist eine Definition, die ich nun einfach mal akzeptiere.

Teil 4

The sampling distribution of $\hat \theta$ is given by

$\begin{align*} \mathbb{P}_{\theta}\left (\hat \theta = \theta \right )&=\frac{3}{4}\\ \mathbb{P}_{\theta}\left (\hat \theta+2 = \theta \right )&=\frac{1}{4} \end{align}$

Kommentar/Frage: Hier komme ich ins Grübeln. Wird das einfach vorausgesetzt oder lässt sich das aus dem bisherigen herleiten? Könnte man nicht mithilfe von Bootstrappen und der pdf die Stichprobenverteilung bestimmen?

Teil 5

It follows that

$\begin{align*} \mathbb{E}_{\theta}(\hat \theta) &= \theta + \frac{1}{2} \quad \text{and} \\ \mathbb{E}_{\theta}(\hat \theta^2) &= \frac{3\theta^2}{4} + \frac{(\theta+2)^2}{4}= \theta^2 + \theta + 1 \end{align}$

and hence

$\mathbb{V}_{\theta}(\hat \theta) = \{\theta^2 + \theta + 1\} - \left \{ \theta^2 + \theta + \frac{1}{4}\right \} = \frac{3}{4}$

Kommentar/Frage: Das ist einfaches Rechnen mit dem bisher gegebenen.

Teil 6

The mean of square error of $\hat \theta$ is

$\begin{align*} \mathbb{E}_{\theta}(\hat \theta - \theta) &= \mathbb{V}_{\theta}(\hat \theta) + \left [ Bias(\hat \theta) \right ]^2 \\ &= \frac{3}{4} + \frac{1}{4} \\ &= 1\end{align}$

Kommentar/Frage: Das ist einfaches Rechnen mit dem bisher gegeben.

Teil 7

Consider the unbiased estimator $\widetilde \theta = \hat \theta - \frac{1}{2}$ which has mean square error

$\begin{align*} \mathbb{E}_{\theta}(\widetilde \theta - \theta)^2 &= \mathbb{V}_{\theta}(\hat \theta - \frac{1}{2}) + \left [ Bias(\widetilde \theta) \right ]^2 \\ &= \mathbb{V}_{\theta}(\hat \theta) \\ &= \frac{3}{4} \end{align}$

Kommentar/Frage: Das ist einfaches Rechnen mit dem bisher gegeben. Hier wird einfach ein neuer Schätzer definiert. Dass der Bias von
$\widetilde \theta = 0$ ist, lässt sich leicht zeigen.

Teil 8

Thus $\widetilde \theta$ has smaller mean square error than $\hat \theta$ but always wrong whereas $\hat \theta$ is right 75% of the time.
The moral is: blind adherence to frequentest criteria can lead to undesirable statements.

Kommentar/Frage: Die Aussage, dass $\widetilde \theta$ immer falsch ist, leuchtet mir nicht ein. Wie kommt man darauf? Und wie lässt sich die Aussage erklären, dass $\hat \theta$ "75% mal" korrekt seit? Der Unterschied zwischen MSE von $\widetilde \theta$ und $\hat \theta$ ist ja nur, das ersteres ken Bias hat.

Hi!

giordano hat geschrieben:Teil 1
Example (Dangers of Frequentist Statistics). Suppose we observe $X_1$ and $X_2$ independent each with pdf given by

$$$f(x;\theta)=$$ \left \{\begin{matrix} \frac{1}{2} & \text{if } x=\theta+1\\\frac{1}{2} & \text{if } x=\theta-1\end{matrix}\right.$
where $\theta$ is an integer.

x kann offensichtlich nur zwei Werte annehmen. Sagen wir im Beispiel, theta wäre 3. Dann kann x nur die Werte 2 und 4 annehmen.

Ich verstehe nicht, welche Relevanz die mutlivariable Verteilung für dieses Beispiel hat.

Im Beispiel geht es darum, dass man für diese multivariable Verteilung vielleicht besser nicht einen least-squares-Schätzer sondern eine Warhscheinlichkeitsverteilung über eine ganze Anzahl möglicher Schätzer betrachten sollte. Diese multivariable Verteilung ist damit das Herz dieses Beispiels.

Könnte man nicht mithilfe von Bootstrappen und der pdf die Stichprobenverteilung bestimmen?[/i]

Du betrachtest das zu kompliziert. Da x nur zwei Werte annehmen kann, lassen sich die möglichen Paarungen (X1, X2) leicht vollständig aufzählen. Im Beispiel sind das (2,2), (2,4), (4, 2) und (4, 4). Alle vier sind gleich wahrscheinlich.

Teil 8

Thus $\widetilde \theta$ has smaller mean square error than $\hat \theta$ but always wrong whereas $\hat \theta$ is right 75% of the time.
The moral is: blind adherence to frequentest criteria can lead to undesirable statements.

[i]Kommentar/Frage: Die Aussage, dass $\widetilde \theta$ immer falsch ist, leuchtet mir nicht ein. Wie kommt man darauf? Und wie
lässt sich die Aussage erklären, dass $\hat \theta$ "75% mal" korrekt seit?

Probier es einfach im Beispiel aus, dann wird es klar. theta war 3, wie schätzen beide Schätzer theta in den vier Fällen (2,2), (2,4), (4,2) und (4,4,)?

LG,
Bernhard

Besten Dank!! Ich muss es noch verdauen, aber das war echt eine grosse Hilfe.

$\begin{matrix} \theta=3 &X_1 &X_2 &\hat \theta &\widetilde \theta &\hat \theta = \theta &\widetilde \theta = \theta \\ 3 &2 &2 & 3 & 2.5 & 1 &0 \\ 3 & 2 & 4& 3 & 2.5& 1 & 0\\ 3 & 2 & 2& 3& 2.5& 1 & 0\\ 3 & 2& 4& 5& 4.5& 0 &0 \\ & & & & & \frac{3}{4}&0 \end{matrix}$

STATISTIK-FORUM.de

Sampling distr., Mean Square Error, Bias: Verständnisfragen

Sampling distr., Mean Square Error, Bias: Verständnisfragen

Re: Sampling distr., Mean Square Error, Bias: Verständnisfra

Re: Sampling distr., Mean Square Error, Bias: Verständnisfra