Ist die Wissenschaft tot? Mit einem Wort: Nein

Vor ein paar Wochen schrieb Jonah Lehrer einen etwas niedergeschlagenen und sensationellen Artikel für Der New Yorker mit dem Titel "Die Wahrheit lässt nach": Stimmt etwas mit der wissenschaftlichen Methode nicht? Darin zitiert Lehrer anekdotische Beweise (und ein paar Daten), um die These zu untermauern, dass die wissenschaftliche Methode - wie wir unsere Hypothesen mit Daten und Statistiken wissenschaftlich validieren - möglicherweise schrecklich schief gegangen ist.

Was Lehrer jedoch nicht bemerkte, ist, dass die meisten Forscher bereits über die von ihm beschriebenen Mängel Bescheid wissen und fleißig daran arbeiten, die Auswirkungen dieser Probleme zu minimieren.

Die wissenschaftliche Methode ist nicht gebrochen. Was Lehrer beschreibt, ist einfach Wissenschaft bei der Arbeit - und Arbeit.

Die beste Antwort auf diesen Aufsatz kommt vom ScienceBlogs-Autor PZ Myers, Science is not dead. In dieser Gegenargumentation weist Myers auf die Hauptprobleme der Wissenschaft hin, wenn sie frühere Ergebnisse nicht wiederholen kann:

1. Regression auf den Mittelwert: Mit zunehmender Anzahl von Datenpunkten erwarten wir, dass die Durchschnittswerte auf den wahren Mittelwert zurückgehen… und da die ersten Arbeiten häufig auf der Grundlage vielversprechender früher Ergebnisse durchgeführt werden, erwarten wir, dass mehr Daten zufällig ausgeglichen werden signifikantes frühes Ergebnis.
2. Der Datei-Schubladen-Effekt: Ergebnisse, die nicht signifikant sind, sind schwer zu veröffentlichen und werden in einem Schrank aufbewahrt. Wenn sich jedoch herausstellt, werden gegenteilige Ergebnisse interessanter und publizierbarer.
3. Voreingenommenheit der Ermittler: Es ist schwierig, die wissenschaftliche Leidenschaft aufrechtzuerhalten. Wir alle würden es lieben, wenn unsere Hypothesen bestätigt würden, daher neigen wir dazu, bewusst oder unbewusst Ergebnisse auszuwählen, die unsere Ansichten begünstigen.
4. Kommerzielle Voreingenommenheit: Pharmaunternehmen wollen Geld verdienen. Sie können mit einem Placebo Geld verdienen, wenn es statistische Unterstützung dafür gibt. Es besteht sicherlich eine Tendenz, statistische Ausreißer für Gewinn zu nutzen.
5. Populationsvarianz: Der Erfolg in einer genau definierten Untergruppe der Bevölkerung kann zu einem leichten Kriechen führen: Wenn das Medikament dieser Gruppe bei genau definierten Symptomen hilft, sollten wir es möglicherweise bei dieser anderen Gruppe mit marginalen Symptomen versuchen. Und das ist nicht der Fall ... aber diese Zahlen werden weiterhin zur Abschätzung der Gesamtwirksamkeit verwendet.
6. Einfache Chance: Ich habe festgestellt, dass es schwierig ist, Menschen zu vermitteln. Wenn jedoch etwas bei p = 0,05 signifikant ist, bedeutet dies immer noch, dass 1 von 20 Experimenten mit einem völlig nutzlosen Medikament immer noch einen signifikanten Effekt zeigt.
7. Statistisches Fischen: Ich hasse dieses und sehe es die ganze Zeit. Das geplante Experiment ergab keine signifikanten Ergebnisse, daher werden die Daten überarbeitet und jede signifikante Korrelation wird erfasst und veröffentlicht, als ob dies beabsichtigt wäre. Siehe vorherige Erklärung. Wenn der Datensatz komplex genug ist, finden Sie immer zufällig eine Korrelation irgendwo.

Nummer 1 erklärt viele der Probleme, die wir heute in der Wissenschaft finden, insbesondere in der Psychologie. Sie kennen die meisten Experimente, über die Sie gelesen haben Psychologische Wissenschaft, das Flaggschiff der Association for Psychological Science? Sie sind Mist. Es handelt sich um N = 20 Experimente, die an kleinen, homogenen Stichproben überwiegend kaukasischer Studenten an Universitäten des Mittleren Westens durchgeführt wurden. Die meisten von ihnen werden nie repliziert, und noch weniger werden auf Stichprobengrößen repliziert, die wahrscheinlich zeigen würden, dass die ursprünglichen Ergebnisse nichts weiter als ein statistischer Zufall waren.

Forscher wissen das bereits, leben aber nach einem ganz anderen Regelwerk als Sie oder ich. Ihr Lebensunterhalt hängt davon ab, dass sie weiterhin gute, publizierbare Forschung betreiben. Wenn sie diese Forschung einstellen (oder sie nicht in einem Peer-Review-Journal veröffentlichen können), besteht ein höheres Risiko, dass sie ihren Arbeitsplatz verlieren. Es ist im akademischen Bereich als "Veröffentlichen oder Untergehen" bekannt und eine sehr reale Motivation für die Veröffentlichung von Forschungsergebnissen, selbst wenn Sie wissen, dass die Ergebnisse wahrscheinlich nicht reproduzierbar sind. Siehe Nummer 3 oben.

Schließlich sehe ich in Forschungsstudien, die ich überprüfe, so viel von Nummer 7, dass es fast peinlich ist. Die wissenschaftliche Methode funktioniert nur dann gut und zuverlässig, wenn Sie zuvor Hypothesen formulieren, Ihre Probanden ausführen, um Ihre Daten zu sammeln, und diese Daten dann gemäß den Hypothesen analysieren, mit denen Sie begonnen haben. Wenn Sie die Hypothese an die Daten anpassen oder statistische Tests durchführen, mit denen Sie nicht gerechnet haben, beeinträchtigen Sie Ihre Ergebnisse. Sie starten eine Angelexpedition, die jeder Forscher durchgeführt hat. Aber nur weil alle es getan haben, bedeutet dies, dass es ein gutes oder ethisches Verhalten ist, sich zu engagieren.

Das Problem ist, dass Forschung zeitaufwändig und oft teuer ist. Wenn Sie gerade 100 Probanden durch eine Studie geführt haben und nichts von Bedeutung gefunden haben (gemäß Ihren Hypothesen), ist es nicht nur unwahrscheinlich, dass Sie diese Studie veröffentlichen, sondern Sie haben nur Monate (oder sogar Jahre) Ihres Berufslebens und $ X verschwendet Ihr immer begrenztes Forschungsbudget.

Wenn Sie nicht sehen können, wie dies dazu führen kann, dass nicht optimale Forschungsergebnisse veröffentlicht werden, sind Sie möglicherweise ein bisschen blind für die grundlegende menschliche Psychologie und Motivation. Weil Forscher keine Supermenschen sind - sie haben dieselben Fehler, Vorurteile und Motivationen wie alle anderen. Die wissenschaftliche Methode soll - wenn sie konsequent befolgt wird - dies erklären. Das Problem ist, dass niemand wirklich über Forscher wacht, um sicherzustellen, dass sie es befolgen, und es gibt keinen inhärenten Anreiz, dies zu tun.

Ich werde mit dieser Beobachtung noch einmal von PZ Myers enden.

Das ist alles, was diese Aufregung wirklich bedeutet, dass sich Hypothesen manchmal als falsch herausstellen, und manchmal, wenn die Unterstützung für die Hypothese auf schwachen Beweisen oder einer hoch abgeleiteten Interpretation eines komplexen Datensatzes beruht, kann dies lange dauern die richtige Antwort zu entstehen. So? Dies ist kein Misserfolg der Wissenschaft, es sei denn, Sie erwarten eine sofortige Befriedigung von allem oder eine Bestätigung jeder geschätzten Idee.

Amen.

Meinungen anderer zu Lehrers Aufsatz

Die Wissenschaft ist nicht tot - PZ Myers

Zum Lob des wissenschaftlichen Irrtums - George Musser

Sind Menschen das Problem mit der wissenschaftlichen Methode? - Charlie Petit

Die Wahrheit, an der wir zweifeln werden: Bedeutet der "Abnahmeeffekt", dass alle Wissenschaft "wahr" ist? - John Horgan

Der mysteriöse Abnahmeeffekt - Jonah Lehrer