STATISTIK-FORUM.de

[PonderStibbons]

Wie soll ich es jetzt also interpretieren, dass es mir einen praktischen Nutzen im Hinblick auf meine Entscheidung bringt?

Ein 95%-Intervall ist das Äquivalent zu einem Test auf 5%-Niveau.
Enthält z.B. das Konfidenzintervall für einen Mittelwertunterschied
den Wert 0, dann kann die Nullhypothese nicht zurückgewiesen
werden, dass in der Grundgesamtheit der Mittelwertunterschied = 0
ist. Insofern ist ein Konfidenzintervall ebenso nützlich oder
unnütz wie ein p-Wert. Weitere Verwendungsmöglichkeiten, die
nicht auf Fehlinterpretationen beruhen, sind mir nicht bekannt.

Mit freundlichen Grüßen

PonderStibbons

[forenthomas]

D.h. Konfidenzintervall nur als Alternative zum Hypothesentest?

[bele]

Hallo Forenthomas,

@Bernhard: Natürlich lassen sich Beispiele finden. Genau genommen müsste das ja auch in jedem 20sten Fall so ein! Schließlich ist ein korrekt berechnetes Konfidenzintervall immer noch ein Konfidenzintervall und keine Wahrheit. Vertrauen heißt nicht Wissen.

Nein, ich meinte Fälle, in denen man weiß, weil man alle Bedingungen selbst konstruiert hat, und dennoch das Problem besteht. Ohne größeres Suchen finde ich das Beispiel jetzt aber nicht und schaffe es auch nicht, es vollständig selbst zu rekonstruieren. Deshalb führt das hier nicht weiter.

Field, Discovering Statistics using R: "The basic idea behind confidence intervals is to construct a range of values within which we think the population value falls" ... "...in particular, they tell us the likelihood that they contain the true value of the thing we're trying to estimate"

Das selbst mein Guru Field da irrt

Naja, Field ist sicher ein Guru des verständlichen Erklärens, des lockeren und unterhaltsamen Schreibstils und der bemerkenswerten Studienzitate. Deshalb ist er noch keine Statistik-Ikone. Pragmatisch-clever enthält ja die Formulierung "a range of values within which we think the population value falls" auch nichts von 95% oder irgendwelchen konkreten Festlegungen.

D.h. Konfidenzintervall nur als Alternative zum Hypothesentest?

Jein. Ja und nein. Bei strenger inhaltlicher Interpretation: Ja. Dennoch ist das Konfidenzintervall dem p-Wert dahingehend überlegen, dass es eine Antwort in der Einheit des Zielparameters gibt, während der p-Wert eine dimensionslose Zahl ist. Diese dimensionslose Zahl hat eine kuriose Bedeutung, was die Leute immer wieder dazu verlockt, pragmatisch sinnvolle Bedeutungen hinein zu interpretieren, die massiv falsch sind. Konfidenzintervalle haben die Einheit der Zielvariablen, also Meter, wenn es um Entfernungen geht, Jahre, wenn es um das Alter geht und Punkte, wenn es um einen Score geht. Da in sehr vielen praktischen Fällen Konfidenzintervalle sehr ähnlich Vertrauensintervallen sind, gibt das Konfidenzintervall einem ein Gefühl dafür, ob wir es mit kleinen oder großen Werten, schmalen oder breiten Intervallen zu tun haben. Ich rede jetzt nicht von präzisen Angaben, sondern von einem Gefühl für die Daten, dass einen weniger zu falschen Interpretationen verleitet.Dieses "Gefühl" für die Daten kann ich weder exakt quantifizieren, noch ist es ein scharf definierter Begriff. Dennoch halte ich Konfidenzintervalle auf dieser Ebene für überlegen gegenüber p-Werten. Die verleiten noch mehr zu einer Verkürzung des Problems ins nicht statthafte.

LG,
Bernhard

[forenthomas]

Naja, Field ist sicher ein Guru des verständlichen Erklärens, des lockeren und unterhaltsamen Schreibstils und der bemerkenswerten Studienzitate. Deshalb ist er noch keine Statistik-Ikone.

Deshab habe ich ihn ja auch sicherheitshalber "mein" Guru genannt und nicht "der Guru" . Aber zugegeben: Diese sprachliche Feinheit war an der Stelle eher glücklicher Zufall denn bewusst eingesetzt.

D.h. Konfidenzintervall nur als Alternative zum Hypothesentest?

Jein. Ja und nein. Bei strenger inhaltlicher Interpretation: Ja. Dennoch ist das Konfidenzintervall dem p-Wert dahingehend überlegen, dass es eine Antwort in der Einheit des Zielparameters gibt, während der p-Wert eine dimensionslose Zahl ist. Diese dimensionslose Zahl hat eine kuriose Bedeutung, was die Leute immer wieder dazu verlockt, pragmatisch sinnvolle Bedeutungen hinein zu interpretieren, die massiv falsch sind. Konfidenzintervalle haben die Einheit der Zielvariablen, also Meter, wenn es um Entfernungen geht, Jahre, wenn es um das Alter geht und Punkte, wenn es um einen Score geht. Da in sehr vielen praktischen Fällen Konfidenzintervalle sehr ähnlich Vertrauensintervallen sind, gibt das Konfidenzintervall einem ein Gefühl dafür, ob wir es mit kleinen oder großen Werten, schmalen oder breiten Intervallen zu tun haben. Ich rede jetzt nicht von präzisen Angaben, sondern von einem Gefühl für die Daten, dass einen weniger zu falschen Interpretationen verleitet.Dieses "Gefühl" für die Daten kann ich weder exakt quantifizieren, noch ist es ein scharf definierter Begriff. Dennoch halte ich Konfidenzintervalle auf dieser Ebene für überlegen gegenüber p-Werten. Die verleiten noch mehr zu einer Verkürzung des Problems ins nicht statthafte.

Danke, so langsam lichtet sich der Nebel in meinem Hirn, der mir - ganz ehrlich - sogar schon den Schlaf geraubt hat. Ist schon ärgerlich, wenn man plötzlich merkt, dass für gesichertert gehaltenes Wissen nicht das ist, was es zu sein vorgab.

Gruß, Thomas

[bele]

Ist schon ärgerlich, wenn man plötzlich merkt, dass für gesichertert gehaltenes Wissen nicht das ist, was es zu sein vorgab.

Ja und nein. Ja, es ist ärgerlich und man zweifelt, was man sonst noch glauben darf. Andererseits ist es auch immer wieder faszinierend, wenn man sich mit einem neuen Thema beschäftigt und neue Erkenntnisse und Einsichten gewinnt.

Ich selbst habe geschrieben:

Da in sehr vielen praktischen Fällen Konfidenzintervalle sehr ähnlich Vertrauensintervallen sind

Und das würde ich gerne an diesem Beispiel demonstrieren. Mit meinem noch sehr lückenhaften Bayes-Wissen, kann man ein credible interval, also ein Intervall, in dem man tatsächlich aufgrund der vorliegenden Daten und unter der Annahme eines binomialen Prozesses mit 95% Wahrscheinlichkeit erwarten kann, aus einer Beta-Verteilung mit den Lageparametern a=65 und b=35 bestimmen, also z. B.

Code: Alles auswählen

> qbeta(0.025, 65, 35)
[1] 0.5543693
> qbeta(0.975, 65, 35)
[1] 0.7399466

Das wäre ein 95%-credible intervall von 55,4% bis 74,0%.

Das klassische Konfidenzintervall dagegen sieht so aus:

Code: Alles auswählen

> binom.test(65,100)$conf.int
[1] 0.5481506 0.7427062
attr(,"conf.level")
[1] 0.95

Also von 54,8% bis 74,3%.
Die Abweichung liegt im Nachkommabereich und vielleicht sollte man gar keine Nachkomma-Prozente beachten, wenn man nur 100 Untersuchugnseinheiten erhoben hat. Das soll heißen, dass beide Verfahren, mit erheblichem Unterschied in der Denkweise, in diesem Beispiel zu praktisch gleichen Ergebnissen kommen.

Die Denkweise ist halt im Bayes-Lager viel einfacher: Aufgrund der Daten (und mit flacher Prior-Verteilung) und der Annahme eines binomialen Modells, kann ich verschiedenen p jeweils eine Likelihood zuweisen und mir darin ein Intervall suchen, das 95% der Fläche unter der Verteilungskurve abdeckt.
Wenn man das einmal gehört hat, dann reibt man sich doch die Augen bei: Wenn ich diese Befragung sehr, sehr häufig durchführe, dann wird von den mit dieser Methode errechneten Intervallen in mindestens 95% der Wiederholungen die wahre Wahrscheinlichkeit in diesem Intervall enthalten sein und folgendes ist das Intervall im vorliegenden Fall. Ich kann aber keine Gleichverteilung über diese Fälle annehmen und daher die 95% nicht auf meinen Fall übertragen.


LG,
Bernhard

[PonderStibbons]

Das wäre ein 95%-credible intervall von 55,4% bis 74,0%.

Wenn es häufig so sein sollte, dass die beiden Verfahren ähnlich verbleiben, hätte das einen gewissen Charme, dann wäre die Fehlinterpretation von frequentistischen CIs de facto nicht sonderlich danaben.

Allerdings wäre im vorliegenden Fall (wie in vielen anderen Fällen) die für die Rechnung anscheinend angenommene Gleichverteilung der a-priori-Wahrscheinlichkeit über den ganzen Wertebereich von 0 bis 100% nicht realistisch. Wenn man das Vorwissen (so was wie "ich darf a priori füglich annehmen, dass die gesuchte Prozentzahl im Bereich zwischen 40% bis 80% liegt, peak bei 40%") einbezieht, wir ein Vorteil von Bayes-Verfahren sichtbar.

Mit freundlichen Grüßen

PonderStibbons

[bele]

Wenn es häufig so sein sollte, dass die beiden Verfahren ähnlich verbleiben, hätte das einen gewissen Charme, dann wäre die Fehlinterpretation von frequentistischen CIs de facto nicht sonderlich danaben.

Ich glaube, das ist bei vielen "Brot-und-Butter-Statistiken" so, jeweils unter der Annahme eines nichtinformativen Priors. Ist halt nur mäßig tröstlich, wenn man nicht weiß, wann diese Faustregel nicht mehr gilt.

Wenn man das Vorwissen (so was wie "ich darf a priori füglich annehmen, dass die gesuchte Prozentzahl im Bereich zwischen 40% bis 80% liegt, peak bei 40%") einbezieht, wir ein Vorteil von Bayes-Verfahren sichtbar.

Ein Vorteil von vielen. Ein anderer, schon jetzt sichtbarer, Vorteil ist, dass wir nicht einen Punktschätzer oder ein Intervall erhalten, sondern eine Verteilung über den gesamten Bereich möglicher Werte. Man kann mit dem Bayes-Resultat die Frage beantworten, wie wahrscheinlich ein p zwischen 0,45 und 0,55 ist und hängt damit nicht mehr in dem Problem fest, dass man eine (zweiseitige) Nullhypothese nicht bestätigen kann.

LG,
Bernhard