Homepage von Oliver Lenz

Statistik: Evidenceblasiert

Geschrieben von Oliver Lenz am 08. Mai 2004 09:54:43:

Die Behauptung war mal, daß es einen medizinischen Fortschritt sehr wohl auch außerhalb von Studien geben kann.

Ich muß mich korrigieren: Studien allein als Beweis (Evidence) der Wirksamkeit von Therapien anzuerkennen, ist, ist, ist ... (Worte such) ... sehr befremdlich.

Ein Beispiel soll das Problem deutlich machen:

Ein Musikkenner behauptet, er wisse nach spätestens drei Sekunden zuhören, ob eine Sinfonie von Schubert oder von Mozart stammt.

Zum Test spielen wir ihm drei-Sekunden-Ausschnitte von 10 Sinfonien vor: fünfmal Schubert, fünfmal Mozart, zufällige Reihenfolge.

Der Musikus benennt den Komponisten in jedem Fall richtig.

Glauben wir ihm?

Die Wahrscheinlichkeit, daß er bei bloßem Raten jedesmal richtig liegt beträgt 0,510, also 1/1024, oder etwa 0,1%.

Ja, wir glauben ihm.

Formal gesprochen: Wir verwerfen die Nullhypothese (der Musiker verfügt NICHT über die versprochene Fähigkeit), weil die beobachteten Daten nur mit einer Wahrscheinlichkeit von 0,1% mit der Nullhypothese zu vereinbaren sind.

Zweiter Fall. Am Freitagabend in der Kneipe behauptet eine angetrunkene Person, er könne vorhersagen, ob eine geworfene Münze Kopf oder Zahl zeigen wird.

Um seine Behauptung zu überprüfen, werfen wir 10 Münzen. Der Betrunkene sagt das Ergebnis jedesmal richtig voraus.

Glauben wir ihm?

Auch in diesem Fall liegt die Wahrscheinlichkeit, daß er bei bloßem Raten jedesmal richtig liegt bei 0,510, also 1/1024, oder etwa 0,1%.

Trotzdem werden wir die Nullhypothese (die Person kann nicht in die Zukunft sehen) vernünftigerweise nicht verwerfen.

Wir werden statt dessen wohl von einer Glückssträhne sprechen und ggf. auf Wiederholung des Experimentes bestehen.

Aber ganz gewiß nicht von nun an an die Existenz von außersinnlichen Wahrnehmungen (ASW) glauben!

Wie kommt dieser Unterschied in der Glaubwürdigkeit des Ergebnisses einer Studie zustande, obwohl doch die Ergebnisse die gleichen sind?

Das kommt vom "Vorwissen". Wir _wissen_ dass es ASW eher nicht gibt, aber wir _wissen_ daß es Musiker mit Fachwissen und feinem Gehör sehr wohl gibt.

Und was hat das mit der Medizin zu tun?

Die evidencebasierte Medizin will sich NUR auf die Ergebnisse von Studien stützen, und auf das "Vorwissen"/Fachwissen von Fachleute verzichten.

Glauben wir ihnen? ;-)

(Die hier angeführte Logik entspricht der Bayesschen Theorie. Nur damit das Wort "Bayes" mal gefallen ist.)

Geschrieben von Tip:

Nu ich versuchs nochmal:
Selbstverständlich mach Statistik nur da Sinn, wo sie Sinn macht.

Um bei der MS zu bleiben:
Bei Medikamente mit schnellem und deutlichem Wirkungseintritt, da ist Statistik maximal zur generellen Beschreibung der Wirkungen gut. Es ist ganz ohne Statistik möglich, die Wirkung ganz individuell als Patient oder als Arzt zu erfassen. Beispiele sind ACL und Amantadin bei Fatique oder Psoraderm und Baclofen bei Spastik.

Bei schwachen und/oder langfristigen Effekten aber sind Individual- urteile von Arzt oder Patient dermaßen fehleranfällig, dass man Studien braucht.

So banal und simpel ist das.

Das Vorwissen, auf das Du anspielst, das ist nicht entscheidend.

Weil der Mensch mit den pseudohellseherischen Fähigkeiten ist nicht durch Vorwissen, sondern genau durch Statistik zu packen.

Man mache den Test mit den 10 Münzen z.B. 10 mal. Schon ist die Wahrscheinlichkeit vollständiger Treffer 1/2 hoch 20, d.h. kleiner als eine Million zwinker.

Der Musiker hingegen wird seine Treffsicherheit der Töne über nahezu beliebig viele Messungen behaupten können.

Und genau das kommt bei Statistik heraus. Nichts ist es also mit Vorwissen.

Und was sollte das überhaupt für ein Vorwissen der Ärzte sein bei MS? Das sogenannte Vorwissen stützt sich einfach auf vergangene Empirie (im Idealfall) oder auf wilde Annahmen (= Ideologie, im nicht so idealen Fall).

Du kannst also möglicherweise sehen, dass Deine Argumentation nicht haltbar ist.

Tip

Geschrieben von Oliver Lenz am 10. Mai 2004 11:50:45:

Als Antwort auf: Re: Evidence-b(l)asierte Medizin geschrieben von Tip am 08. Mai 2004 16:42:12:

Wenn ich Außersinnliche Wahrnehmung (ASW) für ausgeschlossen halte, dann kann mir ein Mensch 30 erfolgreiche Münzversuche vorführen - ich werde weiterhin an Glück, Halluzination (von mir), Zaubertrick oder sonstwas denken: Aber nicht an ASW.

Also ist eine Studie u. U. nicht geeignet, mir neues Wissen zu vermitteln. Ich lerne nicht dazu, wenn mein Vorwissen mir sagt, daß das beobachtete Ereignis unmöglich ist.

Statt eines "sicheren" Vorwissen ist auch als anderer Extremfall "kein" Vorwissen möglich.

Auch dann bringen mir 30 erfolgreiche Münzversuche keinen Gewinn. Ich kann weiterhin nicht im geringsten quantifizieren, wie wahrscheinlich ASW ist.

Beispiel: Ich habe eine Elektronikbox mit einem Hebel und ein Lampe, die entwerde rot und grün leuchten kann. Auf Hebeldruck leuchtet eine der Farben auf. Ich weiß nicht, was sich in der Box befindet.

Jetzt kommt jemand daher und sagt, er könne vorhersagen, welche Farbe aufleuchtet, wenn er den Hebel drückt. Dann macht er das 30x, 50x, ja 1000x erfolgreich.

Glaubt jetzt jemand an ASW aufgrund dieses Versuchs?

Mit Sicherheit nicht. Ohne Vorwissen über die Box ist kein sinnvolle Aussage zu ASW möglich.

Wir könnten höchstens sagen, daß die Beobachtung mit der Existenz von ASW vereinbar ist.

Weiß ich hingegen, daß die Box reine Zufallsereignisse generiert, dann und nur dann, werde ich die Versuche als Indiz, möglicherweise sogar Beweis, für die Existenz von ASW werten.

Mit anderen Worten: Ohne Vorwissen gibt es keinen Erkenntnisgewinn.

Auch für einen MS-Arzt nicht.

Das "Vorwissen" spielt eine wichtige Rolle bei der Beurteilung von Ereignissen der realen Welt. Das ist m. E. offensichtlich.

Versöhnlicherweise möchte ich sagen, daß die Extremfälle (kein Vorwissen/sicheres Vorwissen) eher selten ist.

Gemeinhin wir Arzt A aufgrund seiner Erfahrungen/Wissen die Wahrscheinlichkeit für einen benignen Verlauf der MS so einschätzen. Und Arzt B eben anders. Sagen wir 20% zu 80%.

Eine Studie zum natürlichen Verlauf der MS führt dann dazu, daß sowohl A als auch B ihren jeweiligen Standpunkt revidieren. Und zwar um den gleichen Faktor.

Aber da der Ausgangswert unterschiedlich war, wird, trotz des gleichen Faktors, das Ergebnis unterschiedlich sein.

Nichtsdestoweniger führen immer mehr Studien dazu, daß der Einfluß des Ausgangswertes immer kleiner wird und sich die Beurteilung der beiden Ärzte immer mehr annähert.

Wie gesagt, daß ist das versöhnliche.

Aber niemand soll sich wundern, daß eine allgemein anerkannte Studie nicht dazu führt, daß verschiedene Ärzte die gleiche Ansicht von der Welt haben. ;-)

Geschrieben von Tip:

Okay, jetzt weiß ich, was Du mit Vorwissen meinst:

Die Nebenbedingung dass ich untersuchen kann, ob Beschiss oder Betrug im Spiel ist. Das ist natürlich klar.

Wenn ich bei 30 Versuchen (= 1/2 hoch 30) richtige Ergebnisse sähe und nachvollziehen könnte, dass die Maschine nicht betrügt, dann kämen mir ernsthafte Zweifel an der Nichtexistenz der ASW. Glücklicherweise ist mit so einem Test praktisch eben jeder mit der Behauptung von ASW-Fähigkeiten leicht zu überlegen, da er schon Superextremglück bräuchte und ich den Test auf 100 Durchgänge erhöhen würde. Dann sind wir bei mehr Möglichkeiten als Atome in der Milchstraße.